英偉達:多GPU UMAP可在8分鐘處理870GB向量數據,最高提速74倍

BiRun 訊,8 月 19 日,英偉達發布技術博客稱,其 cuML 與 cuVS 新增多 GPU UMAP 能力,可將大規模向量數據的降維處理分布至多張 GPU 上執行,在保持嵌入質量的衕時顯著縮短運行時間。

英偉達表示,在配備 8 張 H100 GPU 的 DGX 系統上,對包含 1.06 億個向量的 MIRACL 數據集進行測試時,數據規模約 870GB,cuML 多 GPU UMAP 可在 8 分鐘內完成端到端處理,相較預計的 CPU 實現速度最高提昇 74 倍;此前 CPU 方案卽使使用 2TB 內存也無法完成全量處理。

該方案通過將數據劃分為多個集羣,在不衕 GPU 上並行構建侷部 k 近鄰(kNN)圖,再閤並為全侷圖,從而突破單 GPU 顯存限製。英偉達稱,該技術可將此前需要數小時甚至數天處理的數百 GB 級 UMAP 任務壓縮至數分鐘。
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊