在算力高速提升和模型演進(jìn)的AIoT新時(shí)代，智能視覺(jué)技術(shù)正變得越來(lái)越重要，尤其是在智慧家居、智慧城市、零售和智能制造等領(lǐng)域，智慧視覺(jué)技術(shù)帶來(lái)了更高效、更安全、更有競(jìng)爭(zhēng)力的輔助和監(jiān)控監(jiān)測(cè)等解決方案。

作為物聯(lián)網(wǎng)基石的Arm，其技術(shù)正驅(qū)動(dòng)著當(dāng)今市場(chǎng)上眾多智能視覺(jué)設(shè)備的發(fā)展。這個(gè)行業(yè)正處在關(guān)鍵節(jié)點(diǎn)，視覺(jué)應(yīng)用越來(lái)越普及，圍繞這些應(yīng)用，中國(guó)市場(chǎng)擁有一個(gè)多樣化且充滿活力的生態(tài)系統(tǒng)。

攜手安謀科技推出全新智能視覺(jué)參考設(shè)計(jì)

【資料圖】

就在近日，Arm正式宣布推出全新智能視覺(jué)參考設(shè)計(jì)，據(jù)Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健Chloe Ma介紹，這是最新的集Arm與安謀科技IP于一體的智能視覺(jué)參考設(shè)計(jì)，該方案的硬件參考設(shè)計(jì)包括CPU、ISP、NPU和VPU處理器選項(xiàng)以及將這些元件粘合在一起的子系統(tǒng)IP。這也是首次將Arm的IP與安謀科技的IP合在一起，并由安謀科技預(yù)先集成和預(yù)先驗(yàn)證。Chloe還進(jìn)一步強(qiáng)調(diào)：“由于中國(guó)視覺(jué)市場(chǎng)在世界上的領(lǐng)先地位以及創(chuàng)新活躍度，Arm智能視覺(jué)參考設(shè)計(jì)將服務(wù)于中國(guó)市場(chǎng)。”

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁 馬健 Chloe Ma

總體來(lái)看，Arm智能視覺(jué)參考設(shè)計(jì)采用成熟的Arm CPU IP作為基礎(chǔ)。此外，該設(shè)計(jì)帶有低功耗待機(jī)子系統(tǒng)，可以支持電池供電的視覺(jué)設(shè)備。安謀科技為此設(shè)計(jì)貢獻(xiàn)的玲瓏VPU提供了緊湊、多格式和高效的視頻編解碼器，以及周易NPU的高達(dá)4個(gè)TOPS的ML 加速，使該參考設(shè)計(jì)可以支持機(jī)器視覺(jué)的用例。

具體來(lái)看整個(gè)參考設(shè)計(jì)的主要組成部分，Arm Corstone－1000是首款為Cortex－A設(shè)計(jì)的子系統(tǒng)，該方案基本配置是經(jīng)過(guò)量產(chǎn)考驗(yàn)的Cortex－A35或Cortex－A53，并取得了Arm SystemReady IR認(rèn)證，確保Linux等操作系統(tǒng)的開(kāi)機(jī)即用，并簡(jiǎn)化軟件開(kāi)發(fā)。Arm Corstone－300在智能視覺(jué)參考設(shè)計(jì)中，可作為低功耗待機(jī)子系統(tǒng)，降低邊緣設(shè)備的功耗，提高系統(tǒng)效率。

ISP方面則選用的是Arm去年發(fā)布的Arm Mali－C55，這也是Arm迄今為止面積最小、功耗最低、且可配置性最高的ISP產(chǎn)品。據(jù)悉，Mali－C55提供升級(jí)的圖像質(zhì)量功能，可以在各種不同的照片和天氣條件下工作。Chloe表示：“像其他Arm產(chǎn)品一樣，Mali－C55擁有全方位的軟件工具支持，包括軟件驅(qū)動(dòng)實(shí)現(xiàn)自動(dòng)曝光、自動(dòng)白平衡、自動(dòng)對(duì)焦的3A庫(kù)以及全套調(diào)校和校準(zhǔn)工具，并有Arm批準(zhǔn)的ISP調(diào)優(yōu)合作伙伴助力客戶達(dá)到最優(yōu)畫(huà)質(zhì)。”

值得注意的是，在此次Arm和安謀科技的合作中，該智能視覺(jué)參考設(shè)計(jì)采用了安謀科技自研VPU和NPU，為視頻和機(jī)器學(xué)習(xí)能力方面提供了更多選項(xiàng)。

據(jù)安謀科技智能物聯(lián)及汽車(chē)業(yè)務(wù)線負(fù)責(zé)人趙永超介紹，“玲瓏”VPU 作為編解碼融合、靈活可配、可編程的多核視頻處理器，支持緊湊的、多格式 （例如H．264， H．265） 且高效能的視頻編解碼處理。此外由于“玲瓏”VPU軟件可編程，因此在硬件量產(chǎn)后仍然可以進(jìn)行優(yōu)化和迭代，并根據(jù)客戶的需求進(jìn)行升級(jí)，可以為合作伙伴提供靈活的組合和選擇。

靈活可配置的人工智能加速器“周易”NPU，可以為廣泛的機(jī)器學(xué)習(xí)用例提供高達(dá)4TOPS的性能表現(xiàn)。此外“周易”NPU還支持多種典型的深度學(xué)習(xí)框架，例如Tensorflow、Caffe、Pytorch等，可以加速客戶應(yīng)用的部署。目前已經(jīng)針對(duì) 100 多種算子算法進(jìn)行了優(yōu)化適配，并表現(xiàn)出了出色性能，包括常見(jiàn)的CNN網(wǎng)絡(luò)以及Transformer網(wǎng)絡(luò)，并已經(jīng)完成了對(duì)ChatGPT大模型的適配。

組建智能視覺(jué)合作伙伴計(jì)劃

在發(fā)布智能視覺(jué)參考設(shè)計(jì)的同時(shí)，Arm也宣布了另外一個(gè)好消息：通過(guò)組建Arm智能視覺(jué)合作伙伴計(jì)劃，Arm攜手AI視覺(jué)、芯片設(shè)計(jì)、軟件、算法、系統(tǒng)集成等伙伴共同打造基于Arm架構(gòu)智能視覺(jué)應(yīng)用的強(qiáng)大生態(tài)，進(jìn)一步加速視覺(jué)硬件、軟件和系統(tǒng)的開(kāi)發(fā)。

關(guān)于Arm組建智能視覺(jué)合作伙伴計(jì)劃的原因，Chloe表示：“智能視覺(jué)參考設(shè)計(jì)的目標(biāo)受眾通常是邊緣AI領(lǐng)域公司的初創(chuàng)公司、跨界創(chuàng)新公司或者是希望進(jìn)行垂直整合的系統(tǒng)公司。由于種種原因，這些公司并不擁有涵蓋所有芯片架構(gòu)前端、后端設(shè)計(jì)師的龐大團(tuán)隊(duì)，他們?cè)谝曈X(jué)領(lǐng)域的第一顆芯片通常要借力于芯片設(shè)計(jì)公司，通過(guò)這項(xiàng)生態(tài)計(jì)劃，我們希望使芯片設(shè)計(jì)服務(wù)伙伴們能夠訪問(wèn)并熟悉Arm的參考設(shè)計(jì)，并在參考設(shè)計(jì)的基礎(chǔ)上快速流片，助力客戶推出滿足SystemReady和PSA安全標(biāo)準(zhǔn)的芯片。”

據(jù)了解，目前已有十多家來(lái)自智能物聯(lián)網(wǎng)的芯片設(shè)計(jì)、系統(tǒng)集成、AI 算法、開(kāi)發(fā)平臺(tái)等國(guó)內(nèi)領(lǐng)先企業(yè)加入該項(xiàng)計(jì)劃。其中包括：百度飛槳已經(jīng)實(shí)現(xiàn)了基于飛槳的視覺(jué)模型庫(kù)和Arm虛擬硬件的整合適配；誠(chéng)邁科技作為軟件設(shè)計(jì)合作伙伴加盟，已成為中國(guó)第一個(gè)Arm批準(zhǔn)的ISP調(diào)優(yōu)伙伴；廈門(mén)星宸科技在月初通過(guò)了PSA安全認(rèn)證，展示了智能視覺(jué)界領(lǐng)軍者對(duì)安全和隱私保護(hù)重視程度的提高。

除了組建智能視覺(jué)合作伙伴計(jì)劃以外，針對(duì)當(dāng)前物聯(lián)網(wǎng)軟件開(kāi)發(fā)進(jìn)程越來(lái)越快的難題，Arm也在開(kāi)源社區(qū)方面的貢獻(xiàn)與投入巨大，助力加速了各類(lèi)物聯(lián)網(wǎng)設(shè)備的應(yīng)用。作為物聯(lián)網(wǎng)設(shè)計(jì)方法的全面解決方案的一部分， Arm推出了Arm虛擬硬件 （Arm Virtual Hardware），以加快未來(lái)物聯(lián)網(wǎng)設(shè)備的軟件開(kāi)發(fā)。通過(guò)Arm虛擬硬件，開(kāi)發(fā)者無(wú)需在物理芯片上進(jìn)行開(kāi)發(fā)，實(shí)現(xiàn)了軟硬件協(xié)同設(shè)計(jì)，并加速產(chǎn)品設(shè)計(jì)進(jìn)程。Arm還推出了Arm開(kāi)發(fā)者計(jì)劃 （Arm Developer Program），助力開(kāi)發(fā)者輕松訪問(wèn)Arm資源。

Chloe總結(jié)道：“我們堅(jiān)信隨著AI和大模型一日千里的發(fā)展，智能視覺(jué)技術(shù)將繼續(xù)在所有垂直行業(yè)得到更廣泛的應(yīng)用，視覺(jué)將無(wú)處不在。在視覺(jué)成為一種普世能力的趨勢(shì)下，預(yù)先集成、預(yù)先驗(yàn)證的標(biāo)準(zhǔn)化子系統(tǒng)會(huì)為加速視覺(jué)產(chǎn)品設(shè)計(jì)和創(chuàng)新提供堅(jiān)實(shí)的基礎(chǔ)，這也是Arm和安謀科技攜手為中國(guó)市場(chǎng)打造智能視覺(jué)參考設(shè)計(jì)的初衷。”Arm也希望有興趣的客戶評(píng)估使用該設(shè)計(jì)，并在它的基礎(chǔ)上更快的設(shè)計(jì)出更多創(chuàng)新的視覺(jué)系統(tǒng)。實(shí)現(xiàn)這個(gè)愿景需要整個(gè)生態(tài)系統(tǒng)的協(xié)同合作，Arm歡迎更多的伙伴加入，共同創(chuàng)建智能視覺(jué)的未來(lái)。