浙江兆龍互連科技股份有限公司

當人工智能遇到PCIe，會擦出怎樣的火花？

發布者：兆龍互連發布時間：2023-09-08

人工智能這么重要（火爆），那么，人工智能的作用有多“大”？投資人工智能的都是“誰“?” PCIe 技術可以在人工智能領域發揮什么作用？為什么一定要選擇“ PCIe 技術”來助力人工智能的發展？在人工智能領域， PCIe 技術將會有怎樣“令人驚喜”的“潛在市場”呢？兆龍互連目前擁有哪些 PCIe 技術相關的電纜和連接產品？

...

以上問題，請見本文。

人工智能的作用有多“大？投資人工智能的都是“誰”？

根據 ABI Research 的分析報告，人工智能正在成為人類社會不可或缺的一部分，包括我們的生活、工作和娛樂等各個方面。例如，最近兩年大火的 Chat GPT 以及其他可以自動生成圖片和視頻的 AI app，基于人工智能的推薦引擎、購物 app 上的智能回復客服等等。此外，為了實現流程自動化、提高生產效率，企業還開發了用于倉庫自動化和質量檢測的高性能模型，同時部署了機器人和自動駕駛車輛。不僅限于私營部門，公共機構也一直在部署人工智能來治療疾病、克服供應鏈危機、優化城市基礎設施和加強公共安全。

為了滿足人工智能工作負載的內部需求，從云服務提供商到跨國公司和國家研究實驗室，所有組織都在積極推出人工智能基礎設施。

圖 1：云計算和邊緣人工智能芯片組收入（來源：ABI Research）

由上圖可知，2020年 -- 2023 年，云 AI 芯片組和邊緣 AI 芯片組的年收入逐年遞增，2022 年云 AI 芯片組和邊緣 AI 芯片組的年收入組目前收入已達到 300 億以上，預計到 2027 年云 AI 芯片組和邊緣 AI 芯片組將可以達到 600 億美元以上的收入。

人工智能的發展離不開云計算和邊緣人工智能芯片組等的發展，云計算和邊緣人工智能芯片組的收入可以作為人類對于人工智能投資”的其中一個證明。由圖 1 可知，人類很重視“人工智能”的發展、在積極布局、推進推廣人工智能的發展。

人工智能目前的發展現狀如何？

有了先進的人工智能基礎設施，人工智能研究人員和開發人員正在爭分奪秒地創建更復雜、更精確的人工智能模型。人工智能和 ML 訓練模型的快速發展導致模型規模大約每 3 到 4 個月就會翻一番。例如，在 DL 的早期，AlexNet 只有 7 層深度，而現在最流行的卷積神經網絡（CNN），如 ResNet 和 Inception v3，深度已超過 40 層。與此同時，自然語言處理（NLP）模型的規模也在不斷擴大。例如，OpenAI 的 GPT-3 被廣泛認為是 2021 年最先進的 NLP 模型，根據支持的用例類型，它擁有 1.25 億到 1750 億個參數。展望未來，對話式人工智能模型的參數可能是 GPT-3 的兩倍，而生成式電子郵件或文檔摘要等高級應用可能需要擁有數百億參數的網絡。

所有這些大型人工智能模型都是在大量數據的基礎上訓練出來的。人工智能系統必須能夠通過人工智能開發管道移動大型數據集。因此，研究人員和開發人員需要具有廣泛計算能力和內存帶寬的計算系統來進行訓練和推理。這可以通過直接快速訪問內存來實現，以減少處理過程中的延遲。他們還非常看重任何能夠根據最終用戶的要求在不犧牲性能和延遲的情況下擴大或縮小人工智能工作負載的技術。

此外，人工智能的未來并不局限于圖像和文本的專門模型。新的人工智能技術，如多模態學習、圖神經網絡和深度強化學習，為人工智能的訓練和推理帶來了額外的復雜性。這些模型使用廣泛的數據源和數據類型。人工智能訓練過程日益復雜，需要更多高性能的人工智能訓練和推理芯片組。除了通用 CPU 和 GPU 之外，人工智能開發人員正在將新的人工智能加速器納入現有的人工智能系統。這些人工智能加速器具有高速計算、高內存帶寬的特點，并針對并行計算進行了全面優化。

更重要的是，CPU、GPU 和人工智能加速器的組合創造了一種異構計算環境，標準互連技術將使這種環境受益匪淺。

PCIe 技術可以在人工智能領域發揮什么作用？

人工智能技術供應商有很多理由考慮采用 PCIe 架構。首先，PCIe 架構是一種廣泛采用的芯片到芯片互連協議，可減少互操作性方面的挑戰，使最終用戶能夠充分利用人工智能的異構計算。人工智能研究人員和開發人員無需擔心人工智能系統不同組件（包括人工智能加速器、計算芯片組、存儲卡、交換機和網卡）之間的互連問題。PCIe 技術將確保在各種定制電路板設計和系統拓撲結構中實現必要的高數據速率串行傳輸。

使用 PCIe 技術作為加速器互連解決方案，人工智能芯片組供應商將自動確保加速器可以連接到幾乎所有可用的計算芯片。該技術可確保向后兼容現有的人工智能基礎設施。已在人工智能基礎設施上投入巨資的企業無需擔心不斷升級其人工智能系統，以兼容新的人工智能加速器。相反，可以使用標準軟件驅動程序、工具和庫實現即時部署，從而降低部署成本，縮短產品上市時間。

最后，PCIe 技術有助于提高能效，使人工智能研究人員和開發人員能夠最大限度地減少“碳足跡”。可持續發展是近年來的一個熱門話題，而人工智能所帶來的便利——相對“低功耗”，可以實現“低碳”“少碳排放”的可持續發展目標。其中，PCIe 技術可實現高效的點對點通信，從而縮短訓練時間、降低推理延遲或提高推理吞吐量，從而提高人工智能訓練和推理工作負載的效率。此外，PCIe 技術還提供鏈路功率狀態，可根據空閑時間和帶寬使用情況調節鏈路功耗。隨著人工智能工作負載的不斷飆升，可以大大提升能效。

為什么一定要選擇 “PCIe技術“ 來助力人工智能和AI服務器發展？

PCIe技術是人工智能和AI服務器發展的重要助力之一，原因如下：

峰值下載和上傳速度高：正如 PCIe 技術概述部分所強調的，PCIe 接口可為外圍元件提供市場領先的上傳和下載速度，可以有效滿足AI應用中大量數據和信息的快速傳輸和處理需求，從而提高整體計算效率。

可擴展性：受到人工智能和數據中心、云計算等數據密集型應用的驅動，數據中心架構正在持續發展，這對 PCIe 接口提出了更高的要求。作為 CPU 與擴展卡之間的連接通道，PCIe一直在穩步發展著、持續提高速率。選擇 PCIe 技術的話，有助于供應商利用每一代 PCIe 技術推向市場所帶來的速率增長。去年初，PCIe 6.0 標準正式發布，相比較上一代 PCIe 5.0 規范，速率再次翻倍，達到了 64 GT / s，預計將是 PCIe 5.0 的兩倍。

電源管理功能：PCIe 3.0 代之后開發的 L1 子板可在 PCIe 收發器內啟用高速邏輯喚醒設備。其目標是在激活狀態下實現近乎零功耗。簡單地說，PCIe 接口可以在不使用任何電源的情況下準備就緒。這樣就能節省大量功耗。這將有助于移動設備延長電池壽命--這對終端用戶來說是至關重要的價值驅動因素。

實時數據處理：PCIe技術可以提供實時數據處理能力，滿足AI應用中對實時性要求高的場景，如實時分析、實時控制等。

5. 集成其他技術：PCIe技術可以與其他技術如GPU、FPGA等進行集成，實現更高效的數據傳輸和處理，提高AI應用的性能和可靠性。

綜上所述，PCIe技術具有高速、高效、兼容性強、擴展性好、可與其他技術集成等優點，非常適合用于助力人工智能和AI服務器的發展。隨著技術的不斷進步，PCIe將繼續發揮重要作用，推動AI應用的進一步發展。

可應用于服務器的兆龍PCIe技術相關的內部線產品方案

目前，兆龍互連已經擁有較為豐富的高速互連內外部連接產品方案。其中，高速互連MCIO/PCle Riser Cable/Gen-Z/Slim SAS/MiniSAS HD等內部連接產品方案主要可用在AI服務器等服務器內部，外部線（比如CDFP）主要用在GPU卡的擴展互聯上。

兆龍開發出的PCIe 5.0 Riser Cable產品，特性如下：

支持PCIe 5.0長距離應用
客戶系統結構可以更靈活設計
降低客戶端PCBA成本
優化焊點阻抗和衰減
PCBA根據客戶需求靈活設計
可提供從設計到成品出貨整體打包方案

圖為兆龍RISER CABLE

同時，兆龍也開發出完全符合 OCSP 標準Riser Cable,特性如下：

結構尺寸完全符合OCSP標準。
速率滿足PCIe 5.0 32GT/s標準。
自研LONGSPEED? HSC裸線，提供低損耗，高質量的SI性能。

圖為兆龍PCIe 5.0 X16 to MCIO 16X

兆龍提供的MCIO Cable Assembly特性如下：

可支持30AWG 1M長距離應用
提供定制化方案
支持30~34AWG不同線規85ohm差分阻抗設計
SI 標準符合Internal Cable Specification for PCI Express 5.0 and 6.0 Rev0.7
可提供 4X (38Pos) , 8X (74Pos), 16X (124Pos) & 24X (148 Pos)
直頭 (STR) / 彎頭 (R/A) & 側出(LSE/RSE)
結構尺寸完全符合SFF-TA-1016（MCIO）標準
速率支持 PCI-e 5.0 32 GT/s 標準，可向下兼容 PCI-e 4.0
自研 LONGSPEED? HSC 裸線，提供低損耗，高質量的SI性能。

另外，兆龍還可提供更低功耗的DAC/ACC等外部線產品方案：

提供800/400/200/100/50/25 Gbps產品
支持小外徑銅纜，機架布線更彈性
ACC使用redriver IC功耗更低
DAC功耗低至0.05W
ACC長距離性價比更高

在人工智能領域，PCIe技術將會有怎樣“令人驚喜”的“潛在市場呢？

ABI Research 預計，到 2030 年，人工智能領域的 PCIe 技術 TAM（包括邊緣和數據中心部署）將從 4.4933 億美元增長到 27.84 億美元，年復合增長率為 22%。隨著越來越多的企業垂直部門部署邊緣服務器，以及人工智能不斷民主化，邊緣人工智能市場可能會以 50% 的復合年增長率快速增長。