軟硬協同優化，安謀科技新一代“周易”NPU實現DeepSeek-R1端側高效部署
發布時間：2025-2-14 18:12
發布者：eechina
近日，搭載安謀科技最新一代“周易”NPU處理器的硬件平臺成功運行DeepSeek-R1系列模型，性能卓越、成本優異，為用戶帶來了更高效、便捷的AI應用體驗。這款創新性NPU處理器采用專為大模型特性優化的架構設計，其beta版本在2024年底已面向早期用戶開放評估測試，并獲得了廣泛認可與積極反饋。預計今年上半年，這款備受期待的NPU產品將正式亮相市場，屆時將為更多用戶帶來突破性的端側算力體驗。
DeepSeek自發布以來，憑借其出色的性能表現和低成本訓練模式，迅速成為AI領域的焦點。在DeepSeek-R1的1.5B和7B蒸餾版本推出后，安謀科技新一代“周易”NPU處理器短時間內在Emulation平臺上完成了部署與優化，并在FPGA平臺上成功實現了端到端應用的演示。 經過嚴苛的測試驗證，新一代“周易”NPU處理器在運行DeepSeek-R1的1.5B和7B蒸餾版本時表現優異。在標準單批次輸入、上下文長度為1024的測試環境中，其在首字計算階段的算力利用率突破40%，解碼階段的有效帶寬利用率高達80%以上。其帶寬利用率呈現高線性特性，能夠靈活適配16GB/s至256GB/s的系統帶寬需求。在7B版本、1024上下文長度的場景下，該處理器在充分保障模型應用精度的同時，最高處理速度可達40 tokens/s，并支持動態長度的模型推理輸入。面對復雜AI任務時，“周易”NPU處理器憑借其卓越的計算性能、高帶寬利用率和能效比，展現出顯著的技術優勢，為終端設備的智能化升級提供了強勁“芯”動力。
新一代“周易”NPU處理器運行DeepSeek-R1模型效果演示 新一代“周易”NPU處理器對DeepSeek等最新大模型的高效適配和調優，得益于其軟件棧對大模型的成熟支持。軟件棧提供高效的量化編譯工具，能夠在顯著壓縮模型體積的同時，保持高性能推理能力，并通過靈活的編譯選項滿足多樣化需求。此外，軟件棧針對大模型進行了深度優化，包括動態推理優化和硬件算力潛力的挖掘，從而顯著提升推理速度和吞吐量。目前，軟件棧已支持Llama、Qwen、DeepSeek、ChatGLM和MiniCPM等多種主流大模型，并提供了與Hugging Face模型庫的對接工具鏈，方便用戶直接部署主流模型。 在硬件層面，新一代“周易”NPU處理器突破了傳統設計限制，將對外帶寬提高至256GB/s，有效解決了大模型計算的帶寬瓶頸問題。為滿足端側大模型對高精度的需求，該NPU處理器全面支持FP16計算，并提供完整的int4軟硬量化加速方案，確保模型高效穩定運行。針對端側模型的低首字延遲需求，“周易”NPU處理器通過軟硬協同優化，實現了多核算力的高效擴展。在7nm制程工藝下，單Cluster算力最高可達80 TOPS，能夠輕松應對超過16K上下文長度的大模型部署需求，同時滿足多模態場景及思維鏈計算的高算力要求。此外，該NPU處理器還具備強大的多任務并行處理能力，通過細粒度的任務調度和優先級資源分配，實現多任務靈活切換，確保傳統語音、視覺業務與大模型應用高效協同，為用戶帶來更加流暢的使用體驗。 目前，安謀科技正在積極拓展DeepSeek系列模型在端側加速卡的應用場景，通過提升模型推理性能，加速端側AI應用的商業化落地進程。依托雄厚的技術積累、生態系統優勢以及前瞻性布局，安謀科技將持續推動AI大模型技術在PC、手機、智能汽車、機器人、可穿戴設備等多終端領域的深度應用與創新，全面加速端側AI生態的構建與完善。 |
網友評論