DPU：5G邊緣雲的新基石

2021年7月24日，由江蘇省未來(lái)網絡創新研究院主辦、SDNLAB承辦的2021中國5G網絡創新論壇上(shàng)，多家機構談到(dào)了(le)DPU的進展，我們對(duì)此進行了(le)整理(lǐ)，以飨讀者。 5G時(shí)代帶來(lái)通信帶寬的巨大(dà)提升，更多的帶寬使能(néng)更多的應用(yòng)。數據量的迅猛增多以及服務器網絡帶寬的快(kuài)速增長都已經遠超計(jì)算(suàn)能(néng)力的增長，有線速I/O處理(lǐ)需求的應用(yòng)程序受到(dào)CPU和(hé)内存的限制，現(xiàn)有系統也(yě)會(huì)因爲CPU資源占用(yòng)而導緻延遲增加，包處理(lǐ)性能(néng)出現(xiàn)波動。 5G時(shí)代帶來(lái)互聯終端設備的大(dà)爆發，也(yě)帶來(lái)數據大(dà)爆發。據統計(jì)2019年全球産生數據45ZB，預計(jì)到(dào)2024年這(zhè)一數字将達到(dào)142ZB，其中24%的數據将來(lái)自(zì)終端實時(shí)數據。海量數據條件下(xià)低(dī)時(shí)延網絡傳輸及數據處理(lǐ)的算(suàn)力需求及性能(néng)壓力巨大(dà)。 5G時(shí)代帶來(lái)個性化定制私域網絡時(shí)代。5G網絡不止用(yòng)于公衆客戶，更主要的賦能(néng)各行各業，作(zuò)爲新基建的重要組成，推動社會(huì)發展。5G将大(dà)量部署在網絡邊緣，提供實時(shí)應用(yòng)和(hé)服務。據IDC統計(jì)，近10年來(lái)全球算(suàn)力增長明(míng)顯滞後于數據的增長。每3.5個月全球算(suàn)力的需求就會(huì)翻一倍，遠超算(suàn)力增長的速度。算(suàn)力，作(zuò)爲先進生産力，承載了(le)十萬億美(měi)元規模經濟。在5G的推動下(xià)，計(jì)算(suàn)組織從(cóng)“端-雲”一體，到(dào)“端-邊緣-雲”一體；從(cóng)内存計(jì)算(suàn)發展到(dào)網内計(jì)算(suàn)。基礎設施雲資源作(zuò)爲5G發展的重要基石，也(yě)發生了(le)極大(dà)的變化。 5G的需求 5G MEC是一種分布式計(jì)算(suàn)部署架構，将計(jì)算(suàn)能(néng)力、業務以及部分5G網絡能(néng)力部署到(dào)網絡邊緣，實現(xiàn)低(dī)時(shí)延的就地數據處理(lǐ)、敏感數據本地處理(lǐ)。MEC可以很(hěn)好(hǎo)的适配低(dī)頻、頻次不确定性同時(shí)時(shí)間敏感的業務場景。(來(lái)源：網絡通信與安全紫金(jīn)山實驗室) 5G MEC包括5G網關UPF、邊緣應用(yòng)平台MEP、行業應用(yòng)APP以及虛拟化基礎設施。5G MEC作(zuò)爲一體式設備部署在靠近終端用(yòng)戶側的邊緣位置，提供大(dà)帶寬、低(dī)時(shí)延的網絡連接能(néng)力，AI、圖像渲染等計(jì)算(suàn)能(néng)力，以及面向行業的安全能(néng)力。圖1：邊緣雲網融合架構(來(lái)源于會(huì)上(shàng)中國電信研究院的演講) 邊緣計(jì)算(suàn)将從(cóng)傳統的集中式互聯網交換(Internet EXCHange IX)模型擴展到(dào)邊緣交換模型。位于邊緣的最終用(yòng)戶和(hé)設備遠離主要IX點，流量到(dào)達這(zhè)些(xiē)位置所需的距離會(huì)降低(dī)性能(néng)并顯著增加傳輸成本。網絡互聯需要在靠近最終用(yòng)戶的最後一公裏網絡附近的邊緣進行。數據在邊緣互聯和(hé)共享，不涉及核心網。邊緣互聯将更多流量保留在本地。 低(dī)延遲網絡是邊緣計(jì)算(suàn)的重要組成，要求網絡節點盡可能(néng)靠近本地。随着越來(lái)越多的數據在本地産生本保存，網絡互聯密度将在邊緣激增，骨幹網将延伸到(dào)邊緣，對(duì)等互聯和(hé)數據交換将發生在接入網的1-2跳内。随着邊緣計(jì)算(suàn)基礎設施的建設，許多設施将發揮網絡間數據交換點的作(zuò)用(yòng)。網絡彙聚于這(zhè)些(xiē)節點，爲邊緣服務提供支持，降低(dī)邊緣服務延遲，縮短光纖距離，減少網絡跳數。随着計(jì)算(suàn)向邊緣擴展，網絡交叉連接也(yě)将更加分散。預計(jì)到(dào)2025年，75%的數據将在工(gōng)廠(chǎng)、醫(yī)院、零售、城(chéng)市的邊緣産生、處理(lǐ)、存儲和(hé)分析。 5G具有靈活的前導碼，以滿足低(dī)延遲連接的需求。随着邊緣計(jì)算(suàn)需求的增長，現(xiàn)有的回傳網絡處理(lǐ)速度無法匹配5G網絡數據産生的速度和(hé)容量需求，需要在邊緣部署新的、更快(kuài)和(hé)更高(gāo)容量的路由。 5G虛拟化網絡功能(néng)需要高(gāo)度分布式的數據中心。這(zhè)類數據中心可以部署足夠多的服務器，在運行5G網絡的同時(shí)運行邊緣雲服務。 将工(gōng)作(zuò)負載置于邊緣要求對(duì)應用(yòng)構建和(hé)運行的方式進行調整，讓代碼可以從(cóng)數據中心的服務器到(dào)客戶場所設備中的微控制器。需要管理(lǐ)高(gāo)度分布式的應用(yòng)和(hé)數據，編排大(dà)規模的邊緣操作(zuò)。(雲原生技術和(hé)DevSecOps技術)推送到(dào)邊緣的代碼應該是自(zì)包含的，每個組件必須完整，包含代碼、配置、庫以及軟件定義的環境，代碼作(zuò)爲一個整體構建、測試和(hé)部署，确保容器或虛拟機可以在任何地方運行。 DPU的出現(xiàn) 在雲基礎設施領域，CPU用(yòng)于通用(yòng)計(jì)算(suàn)，構建應用(yòng)生态，虛拟化技術例如Hypevisor等占用(yòng)大(dà)量的内存和(hé)CPU資源，而真正用(yòng)作(zuò)共享的資源受到(dào)較大(dà)的影響。以網絡協議(yì)處理(lǐ)爲例，解析報(bào)文(wén)需要接近100個cycle，線速處理(lǐ)10G的網絡需要約4個Xeon CPU的核，單做網絡數據包處理(lǐ)，就可以占去一個8核高(gāo)端CPU一半的算(suàn)力。而GPU用(yòng)于加速計(jì)算(suàn)，專注于圖像處理(lǐ)、流媒體處理(lǐ)，并繼續朝着AR、VR處理(lǐ)，AI加速的方向發展。在雲基礎設施領域，需要一種技術，能(néng)夠卸載CPU負荷，最大(dà)限度的将硬件資源共享給租戶。 十年前，網絡處理(lǐ)器(NP)主要用(yòng)于包處理(lǐ)、協議(yì)處理(lǐ)加速，應用(yòng)在各種網關、防火牆、UTM等設備上(shàng)，多采用(yòng)多核NOC架構。後來(lái)Intel推出了(le)DPDK技術，在用(yòng)戶空(kōng)間上(shàng)利用(yòng)自(zì)身提供的數據平面庫手法數據包，繞過linux内核協議(yì)棧，極大(dà)提升了(le)包轉發速率，原來(lái)需要NP來(lái)實現(xiàn)的網關類設備，現(xiàn)在X86就能(néng)滿足性能(néng)要求。而DPU則是5G時(shí)代集網絡加速爲一體的新型數據處理(lǐ)單元。DPU内部融合了(le)RDMA、網絡功能(néng)、存儲功能(néng)、安全功能(néng)、虛拟化功能(néng)。接手CPU不擅長的網絡協議(yì)處理(lǐ)、數據加解密、數據壓縮等數據處理(lǐ)任務，同時(shí)兼顧傳輸和(hé)計(jì)算(suàn)的需求。DPU起到(dào)連接樞紐的作(zuò)用(yòng)，一端連接CPU、GPU、SSD、FPGA加速卡等本地資源，一端連接交換機/路由器等網絡資源。總體而言，DPU不僅提高(gāo)了(le)網絡傳輸效率，而且釋放(fàng)了(le)CPU算(suàn)力資源，從(cóng)而帶動整體數據中心的降本增效。 1950年以來(lái)，CPU是計(jì)算(suàn)機或智能(néng)設備的核心 1990年以來(lái)，GPU登上(shàng)舞台 而5G的時(shí)代是數據革命時(shí)代，也(yě)是DPU的時(shí)代。 什(shén)麽是DPU DPU是相當于智能(néng)網卡的升級版本，增強了(le)網絡安全和(hé)網絡協議(yì)的處理(lǐ)能(néng)力，增強了(le)分布式存儲的處理(lǐ)能(néng)力，将軟件定義網絡、軟件定義存儲、軟件定義加速器融合到(dào)一個有機的整體中，解決協議(yì)處理(lǐ)，數據安全，算(suàn)法加速等計(jì)算(suàn)負載，替代數據中心用(yòng)于處理(lǐ)分布式存儲和(hé)網絡通信的CPU資源。 DPU本質上(shàng)是分類計(jì)算(suàn)，是将數據處理(lǐ)/預處理(lǐ)從(cóng)CPU卸載，同時(shí)将算(suàn)力分布在更靠近數據發生的地方，從(cóng)而降低(dī)通信量，涵蓋基于GPU的異構計(jì)算(suàn)，基于網絡的計(jì)算(suàn)(In-NetworkComputing)、基于内存(In-Memory-Computing)的計(jì)算(suàn)等多個方面。DPU定位于協同處理(lǐ)單元，是數據面與控制面分離思想的一種實現(xiàn)，其與CPU協作(zuò)配合，後者負責通用(yòng)控制，前者專注于數據處理(lǐ)。在局域網場景下(xià)DPU通過PCIe/CXL等技術連接同一邊緣内各種CPU、GPU，廣域網場景下(xià)主要通過Ethernet/infiniband等技術實現(xiàn)邊緣與邊緣間、邊緣與雲之間的連接。 DPU包括特定的報(bào)文(wén)處理(lǐ)引擎，如P4、POF等，此外(wài)還包含ARM等協處理(lǐ)器能(néng)夠處理(lǐ)路由器場景中的大(dà)量分支預測。具備低(dī)延遲的交換能(néng)力，能(néng)将不同類型的數據包快(kuài)速分發給不同的處理(lǐ)單元。 基于DPU的網絡處理(lǐ)模塊是完全可編程的。相比于ASIC，DPU能(néng)随着網絡、協議(yì)、封裝和(hé)加密算(suàn)法的快(kuài)速變化，以軟件的速度改變硬件的能(néng)力。通過DPU提高(gāo)每個網絡節點上(shàng)的計(jì)算(suàn)能(néng)力，相比标準網卡，同等算(suàn)力所需的服務器數量更少，降低(dī)了(le)前期成本、空(kōng)間、電力和(hé)散熱的要求，DPU會(huì)降低(dī)大(dà)規模部署網絡服務的TCO。 DPU将成爲新的數據網關，集成安全功能(néng)，使網絡接口成爲隐私的邊界。可将開(kāi)銷巨大(dà)的加解密算(suàn)法如國密标準的非對(duì)稱加密算(suàn)法SM2、哈希算(suàn)法SM3和(hé)對(duì)稱分組密碼算(suàn)法SM4，交由DPU處理(lǐ)。未來(lái)，随着區(qū)塊鏈技術的成熟，共識算(suàn)法POW、驗簽等都會(huì)消耗大(dà)量的CPU算(suàn)力也(yě)可以固化在DPU中。 DPU将成爲存儲的入口。分布式系統中NVMeof協議(yì)擴展到(dào)InfiniBand或TCP互聯的節點中，實現(xiàn)存儲的共享和(hé)遠程訪問。這(zhè)些(xiē)數據流的協議(yì)處理(lǐ)可以集成在DPU中，作(zuò)爲各種互聯協議(yì)控制器。 DPU将成爲雲服務提供商管理(lǐ)資源的工(gōng)具，雲服務提供商将雲資源管理(lǐ)占用(yòng)全部下(xià)沉至DPU，将CPU、GPU全部釋放(fàng)出來(lái)，作(zuò)爲基礎設施提供給雲租戶。提供者與使用(yòng)者兩者之間的資源嚴格區(qū)分，管理(lǐ)界面清晰，方便使用(yòng)。 DPU實現(xiàn)的方式： 不同廠(chǎng)商DPU實現(xiàn)方式不一：Marvell收購了(le)Innovium，提供面向5G的基帶處理(lǐ) DPU，其OCTEON 10系列DPU，采用(yòng)台積電5nm制程，首次采用(yòng)ARM Neoverse N2 CPU内核； Netronome，其NFP4000流處理(lǐ)器，包括48個數據包處理(lǐ)内核和(hé)60個流處理(lǐ)内核，所有這(zhè)些(xiē)内核都可以通過P4編程； Pensando其Capri處理(lǐ)器具有多個可編程的P4處理(lǐ)單元。 Fungible，其DPU基于MIPS，面向網絡、存儲、虛拟化，包含52個MIPS小(xiǎo)型通用(yòng)核以及6個大(dà)類的專用(yòng)核。英偉達 2019年3月，收購以色列芯片公司Mellanox，其推出的BlueField-2包括8個ARM Cortex-A72核及多個專用(yòng)加速核區(qū)域。DOCA(data center infrastructure-on-a-chip Architecture)作(zuò)爲 DPU上(shàng)的軟件開(kāi)發平台，提供标準API，将驅動程序、庫、示例代碼、文(wén)檔和(hé)與包裝的容器組合在一起，支持基于DPU應用(yòng)和(hé)服務的快(kuài)速開(kāi)發。 英特爾，收購了(le)深度學習芯片公司Nervana System，以及移動和(hé)嵌入式機器學習公司Movidius，将CPU與FPGA結合在一起構建DPU。提供DPDK(Intel Data Plane Development Kit)，爲用(yòng)戶空(kōng)間高(gāo)效的數據包處理(lǐ)提供庫函數核驅動的支持，通過SR-IOV技術，實現(xiàn)不同應用(yòng)通過DMA直接與PCIe設備一起工(gōng)作(zuò)。FPGA擴展到(dào)300萬個邏輯單元，可以與其他(tā)處理(lǐ)模塊一起實現(xiàn)網絡、内存、存儲和(hé)計(jì)算(suàn)。 Broadcom基于Arm實現(xiàn)DPU，主要面向交換機、路由器芯片。以NetXtreme E系列控制器爲基礎，搭載TruFlow技術，推出了(le)Stingray SmartNIC。 Xilinx 2019年收購了(le)solarFlare，其最新發布的Alveo SN1000系列基于 16nm UltraScale+FPGA架構，容量爲100萬個LUT，包含一個NXP的16核ARM處理(lǐ)器，可以在FPGA上(shàng)每秒處理(lǐ)400萬個狀态連接和(hé)1億個數據包。其solarFlare onload(TCPDirect)功能(néng)應用(yòng)于全球90%的金(jīn)融交易所。 AWS Nitro，采用(yòng)了(le)網絡卡、存儲卡、控制器卡多卡形态來(lái)實現(xiàn)DPU功能(néng)。收購了(le)以色列芯片上(shàng)Annapurna labs。 阿裏雲，推出了(le)MOC卡産品，集成了(le)志強D處理(lǐ)器、FPGA，是一種單卡形态産品。 英偉達的DPU(BlueField-2)功能(néng)特色 從(cóng)2021中國5G網絡創新論壇上(shàng)英偉達沈宇希嘉賓的演講中獲知(zhī)，英偉達的BlueField-2采用(yòng)SoC架構設計(jì)，最大(dà)200Gbps帶寬，編碼方式支持NRZ 25Gbps模式和(hé)PAM4 50Gbps模式，内置ConnectX-6 Dx網卡芯片，支持RDMA，同時(shí)支持TLS/IPSec。圖2：BlueField-2 DPU芯片 DPU可以提供實時(shí)時(shí)鐘(zhōng)。搭載ConnectX-6DX的DPU，通過PHC2SYS能(néng)夠實現(xiàn)服務器與網卡之間400ns的同步精度，ConnetX-6DX之間借助PTP4l可以實現(xiàn)20ns的同步精度，滿足5G無線DU時(shí)鐘(zhōng)同步需求。 DPU增強邊緣網絡部署智能(néng)。DPU支持裸金(jīn)屬、虛拟化、容器化部署模式。裸金(jīn)屬控制層通過DPU仿真NVMe設備，數據層借助DPU的ASIC芯片高(gāo)速轉發，并通過NVMatrix基于Infiniband或RoCEv2無損網絡連接後端高(gāo)通量分部式集群。DPU可爲裸金(jīn)屬物理(lǐ)機接入靈活可擴展的高(gāo)速雲盤服務。 DPU可以提供靈活可擴展的網絡設備。DPU可以配置爲兩類設備：一類爲NVIDIA原生設備，包括PF/VF、SF；另一類爲VirtIO-Net設備。其中，SF專門(mén)針對(duì)基于裸金(jīn)屬的大(dà)規模容器開(kāi)發，功能(néng)與VF設備相當，支持RDMA、内核協議(yì)棧，開(kāi)啓無需打開(kāi)SR-IOV。該DPU最大(dà)支持512個SF(SubFunction)。圖3：DPU示意圖 DPU對(duì)網絡加速。DPU采用(yòng)了(le)ASAP2網絡加速技術。ConnetX-6DX内置了(le)Embeded switch(E-Switch)，能(néng)夠實現(xiàn)網絡設備之前的數據交換和(hé)處理(lǐ)。E-Switch可編程，支持查表操作(zuò)及表跳轉，表項與OVS數據面匹配。OVS數據面可卸載至E-Switch，通過ASIC實現(xiàn)了(le)内核OVS的卸載，轉發性能(néng)高(gāo)。通過ASAP2 将OVS數據面、控制面、管理(lǐ)面分開(kāi)，後兩者通過DPU的ARM計(jì)算(suàn)組件來(lái)實現(xiàn)，數據面卸載到(dào)E-Switch，從(cóng)而實現(xiàn)加速的效果。E-Switch支持多種Overlay協議(yì)的卸載，如VXLAN、GRE等，支持報(bào)文(wén)頭修改，實現(xiàn)NAT功能(néng)。E-Switch支持Connection Track，實現(xiàn)TCP連接的狀态監控，此外(wài)還支持流量統計(jì)和(hé)限速、鏡像；E-Switch與現(xiàn)有SDN控制器及編排工(gōng)具無縫兼容。基于該DPU，裸金(jīn)屬雲可以快(kuài)速部署，實現(xiàn)網絡性能(néng)的提升。 DPU提供高(gāo)可靠的存儲。相比于智能(néng)網卡，DPU增加了(le)存儲卸載功能(néng)，通過SNAP技術向主機OS呈現(xiàn)多個存儲設備。應用(yòng)對(duì)DPU的訪問由IO Processor統一處理(lǐ)，包括SPDK和(hé)硬件卸載兩種處理(lǐ)方式。用(yòng)戶可以在DPU連接的存儲設備上(shàng)安裝操作(zuò)系統，并啓動，從(cóng)而構建本地完全沒有磁盤的裸金(jīn)屬架構，實現(xiàn)比本地磁盤更高(gāo)的可靠性。租戶對(duì)存儲的定義和(hé)訪問都通過DPU完成，對(duì)主機操作(zuò)系統無依賴，同時(shí)可以充分利用(yòng)遠端存儲支持數據快(kuài)速遷移(分鐘(zhōng)級)。 小(xiǎo)結 當前，雖然有衆多巨頭的參與，DPU市場仍然處于初級階段。随着網絡流量指數上(shàng)漲，在任何有大(dà)流量的地方，DPU都将存在，市場前景廣闊。在DPU加持下(xià)，5G時(shí)代邊雲協同、雲網一體都将逐漸成爲現(xiàn)實。 作(zuò)者：5G研究小(xiǎo)組? 來(lái)源：SDNLAB君