QualcommIncorporated(NASDAQ:QCOM)今日通過(guò)其子公司QualcommTechnologies,Inc.宣布推出Qualcomm?視覺(jué)智能平臺(tái)(Qualcomm?VisionIntelligencePlatform),其中搭載了公司首個(gè)采用先進(jìn)的10納米FinFET制程工藝打造、專門面向物聯(lián)網(wǎng)(IoT)的系統(tǒng)級(jí)芯片(SoC)系列。QCS605和QCS603系統(tǒng)級(jí)芯片能夠?yàn)榻K端側(cè)的攝像頭處理和機(jī)器學(xué)習(xí)提供強(qiáng)大的計(jì)算能力,同時(shí)具備出色的功效和熱效率,面向廣泛的物聯(lián)網(wǎng)應(yīng)用。這兩款系統(tǒng)級(jí)芯片集成了QualcommTechnologies迄今為止最先進(jìn)的圖像信號(hào)處理器(ISP)和Qualcomm?人工智能引擎AIEngine,以及包括基于ARM的先進(jìn)多核CPU、向量處理器和GPU在內(nèi)的異構(gòu)計(jì)算架構(gòu)。該視覺(jué)智能平臺(tái)還包括QualcommTechnologies的先進(jìn)攝像頭處理軟件、機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺(jué)軟件開(kāi)發(fā)工具包(SDK),以及QualcommTechnologies可靠的連接和安全技術(shù)。該平臺(tái)可為工業(yè)級(jí)與消費(fèi)級(jí)智能安防攝像頭、運(yùn)動(dòng)攝像頭、可穿戴攝像頭、虛擬現(xiàn)實(shí)(VR)360度與180度攝像頭、機(jī)器人和智能顯示屏等領(lǐng)域帶來(lái)令人興奮的全新可能性。科達(dá)(KEDACOM)和理光THETA正計(jì)劃開(kāi)發(fā)基于Qualcomm視覺(jué)智能平臺(tái)的產(chǎn)品。
QualcommTechnologies,Inc.產(chǎn)品管理副總裁JosephBousaba表示:“通過(guò)幫助客戶打造強(qiáng)大的終端側(cè)智能、攝像頭處理與安全特性,我們的目標(biāo)是讓物聯(lián)網(wǎng)終端變得更加智能。人工智能已支持具備物體探測(cè)、追蹤、分類和面部識(shí)別能力的攝像頭,可自主避障的機(jī)器人,以及可學(xué)習(xí)并生成您最近一次探險(xiǎn)活動(dòng)視頻摘要的運(yùn)動(dòng)攝像頭,但這都還僅僅是個(gè)開(kāi)始。Qualcomm視覺(jué)智能平臺(tái)是我們多年來(lái)前沿研發(fā)的成果,匯集了攝像頭、終端側(cè)人工智能和異構(gòu)計(jì)算領(lǐng)域的突破性進(jìn)展。該平臺(tái)是支持制造商和開(kāi)發(fā)者打造全新智能物聯(lián)網(wǎng)終端世界的優(yōu)選平臺(tái)?!?/p>
強(qiáng)大的Qualcomm人工智能引擎AIEngine
該視覺(jué)智能平臺(tái)集成Qualcomm人工智能引擎AIEngine,其由多個(gè)集成的硬件和軟件組件組成,以加速終端側(cè)人工智能。Qualcomm人工智能引擎AIEngine包括了Qualcomm?驍龍?神經(jīng)處理引擎(NPE)軟件框架,其中包含采用TensorFlow、Caffe和Caffe2框架進(jìn)行開(kāi)發(fā)的分析、優(yōu)化與調(diào)試工具,ONNX(OpenNeuralNetworkExchange)交換格式,以及AndroidNeuralNetworkAPI和Qualcomm?Hexagon?NeuralNetwork庫(kù)。以上所有都旨在支持開(kāi)發(fā)者和OEM廠商輕松將訓(xùn)練網(wǎng)絡(luò)接入到此平臺(tái)。通過(guò)Qualcomm人工智能引擎AIEngine和驍龍神經(jīng)處理引擎軟件框架,該視覺(jué)智能平臺(tái)可為深度神經(jīng)網(wǎng)絡(luò)推理提供高達(dá)每秒2.1萬(wàn)億次運(yùn)算(TOPS)*的計(jì)算性能,與一些其它領(lǐng)先的可選解決方案相比提升超過(guò)兩倍。
卓越的圖像質(zhì)量
該視覺(jué)智能平臺(tái)可支持高達(dá)4K@60fps的視頻,或是5.7K@30fps,以及更低分辨率的多個(gè)并發(fā)視頻流。為了實(shí)現(xiàn)非凡的圖像質(zhì)量,該平臺(tái)集成了QualcommTechnologies迄今打造的最強(qiáng)大的攝像頭處理器——支持雙1600萬(wàn)像素傳感器的雙14位QualcommSpectra?270ISP,其頂級(jí)ISP功能的演進(jìn)在過(guò)去數(shù)代中一直居于DxOMark基準(zhǔn)測(cè)試的領(lǐng)先位置。此外,該視覺(jué)智能平臺(tái)包括物聯(lián)網(wǎng)細(xì)分領(lǐng)域所必需的先進(jìn)視覺(jué)處理功能,例如可防止高動(dòng)態(tài)范圍視頻出現(xiàn)“疊影”效果的交錯(cuò)式HDR(staggeredHDR)、先進(jìn)的電子穩(wěn)像、畸變校正、降噪、色差校正,以及硬件運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波(MCTF)。
異構(gòu)計(jì)算架構(gòu)和關(guān)鍵特性
該視覺(jué)智能平臺(tái)QCS605芯片組的異構(gòu)計(jì)算架構(gòu),集成八核Qualcomm?Kryo?360CPU、Qualcomm?Adreno?615GPU和Hexagon685向量處理器。該視覺(jué)智能平臺(tái)的集成式顯示處理器可為一系列顯示屏選項(xiàng)(包括高達(dá)WQHD分辨率的觸摸屏)提供硬件加速合成、3D覆蓋,以及包括OpenGL、OpenCL和Vulkan在內(nèi)的主流圖形API支持。該架構(gòu)支持多種高級(jí)操作系統(tǒng),旨在幫助開(kāi)發(fā)者和制造商在其解決方案中輕松構(gòu)建差異化特性,如VR360度攝像頭的端側(cè)內(nèi)容拼接,自主機(jī)器人導(dǎo)航與避障,以及運(yùn)動(dòng)攝像頭的視頻摘要。
該視覺(jué)智能平臺(tái)支持具備MU-MIMO和雙頻并發(fā)特性的2x2802.11acWi-Fi?、藍(lán)牙(Bluetooth?)5.1、Qualcomm?3D音頻套件、QualcommAqstic?音頻技術(shù)和Qualcomm?aptX?音頻。該平臺(tái)還具備Qualcomm?噪音抑制與回音消除技術(shù),以及先進(jìn)的終端側(cè)音頻分析與處理特性,支持自然語(yǔ)言處理、音頻語(yǔ)音識(shí)別和語(yǔ)音插播功能,打造可靠的語(yǔ)音界面,甚至在吵鬧或嘈雜的環(huán)境,或當(dāng)用戶遠(yuǎn)離終端時(shí)也可實(shí)現(xiàn)。
該平臺(tái)基于硬件的安全特性可通過(guò)下列功能支持可靠的物聯(lián)網(wǎng)終端,包括硬件可信根的安全啟動(dòng)、可信執(zhí)行環(huán)境、硬件加密引擎、存儲(chǔ)安全、貫穿生命周期控制的調(diào)試安全、密鑰分發(fā)和無(wú)線協(xié)議安全等。
生態(tài)系統(tǒng)和上市情況
制造商可依靠技術(shù)廠商生態(tài)系統(tǒng),通過(guò)其提供的、作為該視覺(jué)智能平臺(tái)補(bǔ)充的解決方案,加速開(kāi)發(fā)并進(jìn)一步實(shí)現(xiàn)產(chǎn)品差異化。上述技術(shù)廠商包括人工智能公司,如支持面部、圖像和物體識(shí)別的商湯科技SenseTime,支持如運(yùn)動(dòng)和物體探測(cè)、分類與追蹤等各種視覺(jué)任務(wù)的Pilot.ai,以及支持先進(jìn)圖像質(zhì)量校準(zhǔn)服務(wù)的MMSolutions等。
目前,Qualcomm?QCS605和QCS603正在出樣,包括多個(gè)SKU以滿足對(duì)技術(shù)和成本的不同需求。QualcommTechnologies與領(lǐng)先的攝像頭ODM廠商華晶科技合作提供的、基于QCS605的VR360度攝像頭參考設(shè)計(jì)現(xiàn)已面市,基于QCS603的工業(yè)級(jí)安防攝像頭參考設(shè)計(jì)預(yù)計(jì)將于2018年下半年面市。