CEVA憑借NeuPro-M異構安全處理器架構重新定義邊緣 AI 和邊緣計算設備的高性能 AI/ML 處理
發布時間：2022-1-14 18:37
發布者：eechina
CEVA推出用于人工智能和機器學習 (AI/ML) 推理工作的最新一代處理器架構NeuPro-M。NeuPro-M由多個專用協處理器和可配置硬件加速器組成，是瞄準廣闊的邊緣 AI 和邊緣計算市場的異構處理器架構，能夠同時無縫處理深度神經網絡的各種工作，性能較上一代產品提升 5到15 倍。NeuPro-M支持系統級芯片(SoC)和異構SoC (HSoC)可擴展性，最高性能可達 1,200 TOPS，并提供可選的穩健安全啟動和端至端數據隱私功能，開創了業界先河。
NeuPro–M系列處理器初始包含以下預配置內核： • NPM11 – 單個 NeuPro-M 引擎，在 1.25GHz 下算力高達 20 TOPS • NPM18 – 8 個 NeuPro-M 引擎，在 1.25GHz 下算力高達 160 TOPS 在處理 ResNet50卷積神經網絡時，單個 NPM11內核可將性能提升至上一代產品的五倍，并將內存帶寬消耗減少六倍，從而實現高達 24 TOPS/W的出色功效，完美體現其業界領先的性能水平。 以成功的上一代產品為基礎，NeuPro-M能夠處理所有已知的神經網絡架構，并集成了下一代網絡，如transformer、3D convolution、self-attention和全部類型的循環神經網絡的原生支持。經優化的NeuPro-M可處理 250 多種神經網絡、450 多種AI 內核和 50 多種算法。嵌入式矢量處理單元(VPU)確保對未來新的神經網絡拓撲和AI處理工作提供基于軟件的驗證和支持。而且，對于常見基準測試，CDNN離線壓縮工具可以將NeuPro-M的FPS/Watt性能提高 5到10 倍，并且對精度僅有極小的影響。 CEVA副總裁兼視覺業務部門總經理 Ran Snir評論道：“隨著生成的數據越來越多，以及傳感器相關軟件工作負載不斷遷移到神經網絡以獲得更好的性能和效率，對邊緣 AI和邊緣計算的人工智能和機器學習處理需求的增速驚人。由于這些設備的功率預算保持不變，我們必需找到創新方法，在這些日益復雜的系統邊緣使用人工智能。我們利用在數百萬臺無人機、安全攝像頭、智能手機和汽車系統應用等設備中部署 AI 處理器和加速器的豐富經驗來設計NeuPro-M架構。NeuPro-M創新的分布式架構和共享內存系統控制器將帶寬消耗和延遲降至最低，并提供出色的整體利用率和電源效率。這允許我們的客戶在 SoC 或 小芯片 (chiplet) 中連接多個NeuPro-M兼容內核來應對最嚴苛的 AI 工作，從而將智能邊緣處理器設計提升至全新的水平�！� NeuPro-M異構架構由特定功能協處理器和負載平衡機制組成，相比上一代產品，這是實現巨大的性能和效率飛躍的重要因素。通過將控制功能分配給本地控制器并以分層方式實現本地內存資源，NeuPro-M 實現了處理數據流的靈活性，從而實現超過90%的利用率，并且在任意給定時間內防止不同協處理器和加速器出現數據不足現象。它使CDNN 框架根據特定網絡、所需帶寬、可用內存和目標性能來實施各種數據流方案，從而獲得最佳的負載平衡。 NeuPro-M 架構亮點包括： • 由 4K MACs(乘累加單元)組成的主網格陣列，混合精度為 2到16 位 • 用于權重和激活操作的Winograd transform引擎，可將卷積時間減少兩倍，并允許在精度降低到少于0.5% 的情況下進行 8 位卷積處理 • 用于避免每層具有零值權重或激活操作的Sparsity引擎，最多可將性能提升四倍，同時減少耗用內存帶寬和降低功耗 • 具有完全可編程的矢量處理單元，用于處理未獲支持的全新神經網絡架構(具有全部數據類型)，從 32 位浮點到 2 位二進制神經網絡 (BNN) • 將可配置的權重數據壓縮至兩位，同時讀取內存時進行實時解壓縮以減少耗用內存帶寬 • 使用動態配置兩級內存架構，最大限度地減少與外部 SDRAM 之間的數據傳輸功耗 使用NeuPro-M 架構中創新功能，同時使用 Winograd 變換正交機制、Sparsity引擎和低分辨率 4x4 位激活，可將網絡(如 Resnet50 和 Yolo V3)的循環次數減少三倍以上。 由于神經網絡權重和偏差以及數據集和網絡拓撲成為所有者的重要知識產權，因而業界迫切需要保護這些信息免遭未經授權的使用。NeuPro-M架構可選用信任根、身份驗證和加密加速器來支持安全接入。 針對汽車市場，CEVA提供NeuPro-M 內核及其 CEVA 深度神經網絡 (CDNN)深度學習編譯器和軟件工具包，不僅符合汽車 ISO26262 ASIL-B 功能安全標準，并滿足嚴格的質量保證標準 IATF16949 和 A-Spice要求。 結合CEVA 屢獲殊榮的神經網絡編譯器 CDNN 及其功能強大的軟件開發環境，NeuPro-M架構可為客戶提供一個完全可編程的硬件/軟件 AI開發環境，最大限度地提升 AI操作性能。CDNN 包含創新的軟件，能夠充分利用客戶的 NeuPro-M定制硬件來優化功耗、性能和帶寬。CDNN 軟件還包含了用于減少耗用內存和優化負載平衡算法的內存管理器，并廣泛支持各種網絡格式(包括 ONNX、Caffe、TensorFlow、TensorFlow Lite、Pytorch 等)。CDNN 與常見的開源框架 (包括 Glow、tvm、Halide 和 TensorFlow) 兼容，并包含模型優化功能，例如“層融合(layer fusion)”和“訓練后量化(post training quantization)”，同時使用精確的守恒方法。 目前CEVA向主要客戶提供NeuPro-M授權許可，并于今年第二季提供全面授權許可。CEVA 還為客戶提供異構 SoC 設計服務，幫助其進行系統集成并支持系統設計和小芯片開發，從而為NeuPro-M客戶帶來裨益。如需了解更多的信息，請訪問公司網頁 https://www.ceva-dsp.com/product/ceva-neupro-m/。 |
網友評論