Graphcore IPU-M2000在首個benchmark測試中顯著優于GPU
發布時間：2020-12-10 17:08
發布者：eechina
|
Graphcore業界領先的科技現已開始面向全球出貨 Graphcore為其最新的AI計算系統——IPU-M2000和縱向擴展的IPU-POD64發布了第一套性能benchmark。 在各種流行的模型中，Graphcore技術在訓練和推理方面均顯著優于NVIDIA的A100（基于DGX）。 亮點包括： 訓練 • EfficientNet-B4：吞吐量高18倍 • ResNeXt-101：吞吐量高3.7倍 • BERT-Large：與DGX A100相比，在IPU-POD64上的訓練時間快5.3倍（比雙DGX系統縮短2.6倍） 推理 • LSTM：以更低時延實現吞吐量提升超過600倍 • EfficientNet-B0：吞吐量提升60倍/時延縮短超過16倍 • ResNeXt-101：吞吐量提升40倍/時延縮短10倍 • BERT-Large：以更低的時延實現吞吐量提升3.4倍 Benchmark中包括了BERT-Large（基于Transformer的自然語言處理模型）在IPU-POD64的全部64個處理器上運行的結果。 BERT-Large的訓練時間比最新的NVIDIA DGX-A100快5.3倍（比雙DGX設置快2.6倍以上），這一結果彰顯了Graphcore的IPU-POD橫向擴展解決方案在數據中心的優勢，以及Poplar軟件棧管理復雜工作負載的能力，這些工作負載能夠利用多個處理器并行工作。 Graphcore軟件高級副總裁Matt Fyles在對測試結果發表評論時說：“這一整套全面的benchmark表明Graphcore的IPU-M2000和IPU-POD64在許多流行模型上的性能均優于GPU�！� “諸如EfficientNet之類的新型模型的benchmark特別具有啟發性，因為它們證明了AI的發展方向越來越傾向于IPU的專業架構，而非圖形處理器的傳統設計�！� “客戶需要能夠處理稀疏性以高效運行大規模模型的計算系統，而這正是Graphcore IPU所擅長的。在這種客戶需求的趨勢下，差距只會不斷擴大�！� Graphcore為阿里云HALO定制代碼正式在GitHub開源 Graphcore是阿里云HALO的合作伙伴之一，為阿里云HALO定制開發的代碼odla_PopArt已經在HALO的GitHub上開源，具體請見https://github.com/alibaba/heter ... ng-and-optimization MLCommons 除了發布其AI計算系統的全面benchmark外，Graphcore還宣布，其已經加入新成立的MLPerf下屬機構MLCommons，成為MLCommons的會員。 Graphcore將從2021年開始參加MLCommons的比較benchmark測試。更多信息，請參閱MLCommons的成立公告。 現已出貨 Graphcore最新benchmark的發布與IPU-M2000和IPU-POD64系統向全球客戶的推出時間剛好一致。一些早期發貨的產品已經在數據中心安裝并運行。 銷售工作得到了Graphcore全球合作伙伴網絡以及公司在歐洲、亞洲和美洲的銷售人員和現場工程團隊的支持。 PyTorch和Poplar 1.4 Graphcore用戶現在可以利用Poplar SDK 1.4，包括全面的PyTorch支持。PyTorch已成為從事尖端AI研究的開發人員的首選框架，在更廣泛的AI社區中也收獲了大批的追隨者，并且追隨者的數量還在快速增長。 PapersWithCode的最新數據顯示，在具有關聯代碼的已發表論文中，47%的論文使用了PyTorch框架（2020年9月）。 額外補充的PyTorch支持，再加上Poplar對TensorFlow的現有支持，這意味著絕大多數AI應用程序現在都可以輕松部署在Graphcore系統上。 與Poplar軟件棧的其他元素一樣，Graphcore正在將其用于IPU接口庫的PyTorch開源，從而使社區能夠對PyTorch的開發做出貢獻，并且加速PyTorch的開發。 關于IPU-M2000和IPU-POD IPU-Machine：M2000（IPU-M2000）是一臺即插即用的機器智能計算刀片，旨在輕松部署并為可大規模擴展的系統提供支持。 纖巧的1U刀片可提供1 PetaFlop的機器智能計算能力，并在機箱內部納入針對AI橫向擴展進行了優化的集成網絡技術。 每個IPU-Machine：M2000（IPU-M2000）均由Graphcore的4個新型7納米Colossus™ MK2 GC200 IPU處理器提供動力，并得到Poplar®軟件棧的完全支持。 IPU-POD64是Graphcore的橫向擴展解決方案，包括16臺IPU-M2000，這些機器使用Graphcore的超高帶寬IPU-Fabric™技術進行了預先配置和連接。 IPU-POD64專為需要大規模AI計算功能的客戶而設計，既可以跨多個IPU運行單個工作負載以進行并行計算，也可以通過Graphcore的Virtual-IPU軟件供多個用戶共享使用。 詳情參見附件 
Graphcore MK2 Benchmarks.pdf
(3.07 MB)
|
網友評論