【導讀】隨著更快的圖形處理單元(GPU)能夠提供明顯更高的計算能力,存儲設備和GPU存儲器之間的數(shù)據(jù)路徑瓶頸已經(jīng)無法實現(xiàn)最佳應用性能。NVIDIA的Magnum IO GPUDirect存儲解決方案通過在存儲設備和GPU存儲器之間實現(xiàn)直接路徑,可以極大地幫助解決該問題。
隨著更快的圖形處理單元(GPU)能夠提供明顯更高的計算能力,存儲設備和GPU存儲器之間的數(shù)據(jù)路徑瓶頸已經(jīng)無法實現(xiàn)最佳應用性能。NVIDIA的Magnum IO GPUDirect存儲解決方案通過在存儲設備和GPU存儲器之間實現(xiàn)直接路徑,可以極大地幫助解決該問題。然而,同等重要的是要使用容錯系統(tǒng)來優(yōu)化其已經(jīng)非常出色的能力,從而確保在發(fā)生災難性故障時備份關鍵數(shù)據(jù)。該解決方案通過PCIe?結(jié)構(gòu)連接邏輯RAID卷,在PCIe 4.0規(guī)范下,這可以將數(shù)據(jù)速率提高到26 GB/s。為了解如何實現(xiàn)這些優(yōu)勢,首先需要檢查該解決方案的關鍵組件及其如何協(xié)同工作來提供結(jié)果。
Magnum IO GPUDirect存儲
Magnum IO GPUDirect存儲解決方案的關鍵優(yōu)勢是其能夠消除主要性能瓶頸之一,方法是不使用CPU中的系統(tǒng)存儲器將數(shù)據(jù)從存儲設備加載到GPU中進行處理。通常將數(shù)據(jù)移動到主機存儲器并傳送到GPU,這依賴于CPU系統(tǒng)存儲器中的回彈緩沖區(qū),在數(shù)據(jù)傳送到GPU之前,會在其中創(chuàng)建數(shù)據(jù)的多個副本。但是,通過這種路徑移動大量數(shù)據(jù)會產(chǎn)生延遲時間,降低GPU性能,并在主機中占用許多CPU周期。借助Magnum IO GPUDirect存儲解決方案,無需訪問CPU并避免了回彈緩沖區(qū)效率低下( 圖1 )。
圖1.Magnum IO GPUDirect存儲解決方案無需訪問CPU,避免了從數(shù)據(jù)路徑回彈緩沖
性能直接隨著傳送數(shù)據(jù)量的增加而提高,傳送數(shù)據(jù)量則隨著人工智能(AI)、機器學習(ML)、深度學習(DL)和其他數(shù)據(jù)密集型應用所需的大型分布式數(shù)據(jù)集呈指數(shù)級增長。當數(shù)據(jù)在本地存儲或遠程存儲時,可以實現(xiàn)這些優(yōu)勢,從而允許以比CPU存儲器中的頁面緩存更快的速度訪問數(shù)拍字節(jié)的遠程存儲。
優(yōu)化RAID性能
該解決方案中的下一個元素是包括RAID功能,用于保持數(shù)據(jù)冗余和容錯能力。雖然軟件RAID可以提供數(shù)據(jù)冗余,但底層軟件RAID引擎仍然使用精簡指令集計算機(RISC)架構(gòu)進行操作,例如奇偶校驗計算。當比較高級RAID級別(例如RAID 5和RAID 6)的寫I/O延遲時間時,硬件RAID仍然比軟件RAID快得多,因為提供了專用處理器來執(zhí)行這些操作和回寫高速緩存。在流傳輸應用中,軟件RIAD的長期RIAD響應時間會導致數(shù)據(jù)堆積在高速緩存中。硬件RAID解決方案不存在緩存數(shù)據(jù)堆積問題,并且具有專門的備用電池,可以防止出現(xiàn)災難性系統(tǒng)掉電時數(shù)據(jù)丟失的情況。
標準硬件RAID雖然減輕了主機的奇偶校驗管理負擔,但大量數(shù)據(jù)仍需經(jīng)過RAID控制器才能發(fā)送到NVMe?驅(qū)動器,導致數(shù)據(jù)路徑更加復雜。針對此問題的解決方案是NVMe優(yōu)化的硬件RAID,該解決方案提供了簡化的數(shù)據(jù)路徑,無需經(jīng)過固件或RAID片上控制器即可傳送數(shù)據(jù)。它還允許維護基于硬件的保護和加密服務。
混合PCIe結(jié)構(gòu)
PCIe Gen 4現(xiàn)在是存儲子系統(tǒng)內(nèi)的基本系統(tǒng)互連接口,但標準PCIe交換網(wǎng)具有與前幾代相同的基于樹的基本層級。這意味著,主機間通信需要非透明橋接(NTB)來實現(xiàn)跨分區(qū)通信,這使其變得復雜,特別是在多主機多交換網(wǎng)配置中。Microchip的PAX PCIe高級結(jié)構(gòu)交換網(wǎng)等解決方案能夠克服這些限制,因為它們支持冗余路徑和循環(huán),而這是使用傳統(tǒng)PCIe無法實現(xiàn)的。
結(jié)構(gòu)交換網(wǎng)具有兩個獨立的域,主機虛擬域(專用于每個物理主機)和結(jié)構(gòu)域(包含所有端點和結(jié)構(gòu)鏈路)。來自主機域的事務會在結(jié)構(gòu)域中轉(zhuǎn)換為ID和地址,反之,結(jié)構(gòu)域中通信的非分層路由也是如此。這樣,系統(tǒng)中的所有主機便可共享連接到交換網(wǎng)和端點的結(jié)構(gòu)鏈路。
在嵌入式CPU上運行的結(jié)構(gòu)固件通過可配置的下行端口數(shù)虛擬化符合PCIe標準的交換網(wǎng)。因此,交換網(wǎng)將始終顯示為具有直連端點的標準單層PCIe設備,而與這些端點在結(jié)構(gòu)中的位置無關。由于結(jié)構(gòu)交換網(wǎng)會攔截來自主機的所有配置平面通信(包括PCIe枚舉過程)并選擇最佳路徑,因此它可以實現(xiàn)這一點。這樣,GPU等端點便可綁定到域中的任何主機(圖2)。
圖2.交換網(wǎng)固件虛擬化的主機域顯示為每個主機符合PCIe標準的單層交換網(wǎng)
在以下示例( 圖3 )中,我們給出了雙主機PCIe結(jié)構(gòu)引擎設置。此處,我們可以看到,結(jié)構(gòu)虛擬化允許每個主機看到一個透明PCIe拓撲,其中包含一個上行端口、三個下行端口和三個連接到它們的端點,并且主機可以正確枚舉它們。圖3中的有趣之處是具有一個包含兩個虛擬功能的SR-IOV SSD,通過Microchip的PCIe高級結(jié)構(gòu)交換網(wǎng),同一驅(qū)動器的虛擬功能可以共享給不同的主機。
圖3.雙主機PCIe?結(jié)構(gòu)引擎
這種PAX結(jié)構(gòu)交換網(wǎng)解決方案還支持在各結(jié)構(gòu)之間直接跨域點對點傳輸,因此可減少根端口阻塞并進一步緩解CPU性能瓶頸,如圖4所示。
圖4.通過結(jié)構(gòu)路由通信,可減少根端口阻塞
性能優(yōu)化
在探索了NVMe驅(qū)動器和GPU之間數(shù)據(jù)傳輸?shù)男阅軆?yōu)化過程中涉及的所有組件之后,現(xiàn)在可以結(jié)合使用這些組件來實現(xiàn)預期的結(jié)果。說明這一點的最佳方式是利用圖示演示各個步驟,圖5顯示了主機CPU及其根端口以及可實現(xiàn)最佳結(jié)果的各種配置。
如 REF _Ref90992504 \h VALUE 圖5 左側(cè)所示,盡管使用的是高性能NVMe控制器,但由于根端口的開銷,PCI Gen 4 x 4(4.5 GB/s)的最大數(shù)據(jù)速率也限制為3.5 GB/s。不過,通過RAID(邏輯卷)同時聚合多個驅(qū)動器(如右側(cè)所示),SmartRAID控制器可為四個NVMe驅(qū)動器各創(chuàng)建兩個RAID卷,并通過根端口創(chuàng)建傳統(tǒng)PCIe點對點路由。這會將數(shù)據(jù)速率提高到9.5 GB/s。
但是,利用跨域點對點傳輸(底部的圖),可以通過結(jié)構(gòu)鏈路而不是根端口來路由通信,從而實現(xiàn)26 GB/s的速率,這是使用SmartROC 3200 RAID控制器可達到的最高速率。在最后一個場景中,交換網(wǎng)提供不受固件影響的直接數(shù)據(jù)路徑,并且仍然保持基于硬件的RAID保護和加密服務,同時充分利用GPUDirect存儲的全部潛能。
圖5.實現(xiàn)26 GB/s的路徑
總結(jié)
高性能PCIe結(jié)構(gòu)交換網(wǎng)(例如Microchip的PAX)允許多主機共享支持單根I/O虛擬化(SR-IOV)的驅(qū)動器,以及動態(tài)劃分可在多個主機之間共享的GPU和NVMe SSD池。Microchip的PAX結(jié)構(gòu)交換網(wǎng)可以將端點資源動態(tài)重新分配給需要這些資源的任何主機。
這種解決方案還使用了SmartROC 3200 RAID控制器系列支持的SmartPQI驅(qū)動程序,因此無需自定義驅(qū)動程序。Microchip的SmartROC 3200 RAID控制器是目前惟一能夠提供最高傳輸速率(即26 GB/s)的設備。它具有極低的延遲時間,可向主機提供最多16個PCIe Gen 4通道,并向后兼容PCIe Gen 2。與Microchip基于Flashtec?系列的NVMe SSD結(jié)合使用時,可在多主機系統(tǒng)中發(fā)揮PCIe和Magnum IO GPUDirect存儲的全部潛能??傮w而言,上述所有特性使其能夠構(gòu)建一種強大的系統(tǒng),該系統(tǒng)可以滿足AI、ML、DL以及其他高性能計算應用的實時需求。
作者:Microchip技術(shù)工程師Wilson Kwong;Microchip產(chǎn)品營銷經(jīng)理Sandeep Dattaprasad
免責聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題,請聯(lián)系小編進行處理。
推薦閱讀:
如何快速、經(jīng)濟地將工業(yè)以太網(wǎng)添加到工業(yè) 4.0 設備中