端側AI應用興起，安謀“周易”NPU加速算力升級
發布時間：2024-11-12 20:44
發布者：eechina
|
沉睡多年后，人工智能（AI）再次醒來，其勢如滔滔江河，不可阻擋。隨著天量資本不斷涌入，各種創新突破令人瞠目結舌。隨后，AI技術快速向各個應用領域滲透，成為提升產品競爭力的利器。 如今，AI部署已經從昂貴的數據中心云端蔓延到了尋常的應用終端，如手機、電腦和汽車，甚至可穿戴設備。端側的硬件AI算力成為提升AI設備性能的重要一環。那么，端側AI算力有何優勢？如何才能有效提升終端算力？在近期舉辦的E維智庫第12屆中國硬科技產業鏈創新趨勢峰會暨百家媒體論壇上，安謀科技產品總監鮑敏祺先生以“端側AI應用‘芯’機遇，NPU加速終端算力升級”為題進行了講解。 鮑敏祺以智能手機為例介紹了AI如何提升用戶體驗，包括AI大模型對語音、圖片和視頻的理解能力，以及其分析和總結能力，這些能力使得手機成為我們生活和工作中的得力助手。在AI的部署方式方面，以大語言模型（LLM）為例，廠商們的選擇各有不同。目前，除華為以外，所有中國手機廠商都在不同程度地布署了設備端AI，如下圖所示。 
鮑敏祺介紹說，與單純的云AI相比，端側AI具備兩個優勢：時效性和數據的安全性。雖然云AI的算力更強大，能夠獲得更強的理解力，但其響應存在延遲。此外，由于端側產品針對特定應用和特定用戶，所以AI的學習訓練也更加具有針對性，用戶體驗會更好，產品的用戶粘度也就更高。 鮑敏祺說，由于內存帶寬的限制（50-100GB/s），端側大模型的規模一般被限制在1B至3B，而7B是臨界值。從商業化的角度去看，芯片廠商達成了一個基本共識：消費類產品AI的未來投入重點是神經網絡處理器（NPU）。為方便芯片廠商設計研發NPU，安謀科技推出了“周易”NPU IP，它在功耗、成本和生態系統諸方面都具有優勢。 據介紹，“周易”NPU正朝著更高能效的方向演化。首先，其微架構實現了升級，保留了部分卷積神經網絡（CNN）功能，增強了transformer語言大模型能力。第二，通過混合精度量化、片內互聯、壓縮和稀釋等技術實現了更高效率。其次，通過數據/模型的并行處理、負載均衡和tiling技術提升了效率�！爸芤住盢PU的結構如下圖所示，重點是其任務日程管理器和異構策略。
鮑敏祺說，“周易”NPU可應用于智能汽車、智能手機、PC和AIOT等場景，其策略各有不同。下面是汽車應用的示例，其中不僅包含了安謀的“周易”NPU，也包含了安謀的山海SPU、玲瓏VPU和玲瓏DPU，以及Arm的Mali GPU和ISP。
鮑敏祺說，“周易”NPU能夠涵蓋ADAS、智能座艙、車載娛樂系統等不同汽車場景。上面的“周易”NPU具有20到320 TOPS可擴展性，以應對不同場景的不同算力需求。例如，車載信息娛樂系統（IVI）的要求不會很高，但ADAS在很多情況下要執行多任務，所以需要更高的算力。據悉，搭載了“周易”NPU的芯擎科技“龍鷹一號”芯片已累計出貨超過40萬片，并成功應用于吉利旗下的領克、銀河系列以及一汽紅旗等20余款主力車型中。對于下一代“周易”NPU，安謀會增強自動駕駛AI方面的算力和效率。 |
網友評論