在近日舉辦的華為全聯(lián)接大會2025數(shù)據(jù)存儲峰會上，華為公司副總裁、數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰博士以狄更斯的名言開場，分享了華為對AI時代數(shù)據(jù)存儲產(chǎn)業(yè)變革的深刻思考。

“好”的一面是AI已深入各行各業(yè)，存儲作為數(shù)據(jù)的核心支柱，其戰(zhàn)略地位日益凸顯，整個產(chǎn)業(yè)也站上了新的風(fēng)口。“壞”則在于AI應(yīng)用激增的背后，是諸如數(shù)據(jù)共享不暢、算力利用率不高、推理體驗(yàn)不佳等一系列亟待解決的挑戰(zhàn)。針對于此，周躍峰全面闡釋了華為數(shù)據(jù)存儲持續(xù)進(jìn)化的四大路徑，并明確了AI時代數(shù)據(jù)存儲的新標(biāo)準(zhǔn)。

1.高效數(shù)據(jù)歸集與融合，構(gòu)建AI語料庫

眾所周知，AI大模型的強(qiáng)大，得益于海量數(shù)據(jù)的“投喂”。然而現(xiàn)實(shí)是，海量數(shù)據(jù)在源頭就被丟棄，能夠被有效保存下來的數(shù)據(jù)不到3%，且形成了一座座難以共享的“數(shù)據(jù)孤島”。這種數(shù)據(jù)現(xiàn)狀，極大地制約了AI模型的訓(xùn)練和落地。

為此，華為提出了AI數(shù)據(jù)湖架構(gòu)，旨在高效歸集海量語料，從根本上解決“存不下”和“連不上”的問題。

周躍峰介紹，支撐這一架構(gòu)的核心技術(shù)是多模態(tài)數(shù)據(jù)融合。傳統(tǒng)的存儲系統(tǒng)通常只擅長處理單一類型的數(shù)據(jù)（如文件、塊或?qū)ο螅?，而AI時代的數(shù)據(jù)是多模態(tài)的，包含文本、圖片、語音、視頻等多種形式。在實(shí)踐上，華為AI數(shù)據(jù)湖通過統(tǒng)一的元數(shù)據(jù)管理和智能索引，將這些不同來源、不同格式的數(shù)據(jù)整合為一個有機(jī)的整體，形成高質(zhì)量的AI語料庫。

另一項(xiàng)必須的能力是按需流動與共享。AI數(shù)據(jù)湖不是一個靜態(tài)的“倉庫”，而是一個動態(tài)的“織網(wǎng)者”。它通過數(shù)據(jù)編織能力（Data Fabric）打破企業(yè)內(nèi)部不同部門、不同業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)壁壘，使數(shù)據(jù)能夠像血液一樣在整個組織中自由流動。

這一架構(gòu)也已率先在行業(yè)落地，例如支持醫(yī)療行業(yè)海量非結(jié)構(gòu)化數(shù)據(jù)的存儲，并實(shí)現(xiàn)跨院區(qū)、跨科室的互聯(lián)互通，讓沉睡的病理切片數(shù)據(jù)轉(zhuǎn)化為寶貴的AI訓(xùn)練語料。

2.以存強(qiáng)算，提升AI訓(xùn)練集群效率

在AI基礎(chǔ)設(shè)施建設(shè)者乃至企業(yè)管理層眼中，AI算力集群往往是昂貴的“吞金獸”，然而其可用度通常低于50%。究其原因，是GPU/NPU等算力單元大部分時間都處于空閑狀態(tài)，在等待數(shù)據(jù)加載（off-loading）和模型訓(xùn)練存檔（checkpoint）。這不僅造成了巨大的算力浪費(fèi)，也嚴(yán)重拖慢了AI模型的訓(xùn)練進(jìn)程。

應(yīng)對這些問題，華為提出了“以存強(qiáng)算”的理念，通過超高性能的AI存儲系統(tǒng)，提升數(shù)據(jù)吞吐能力，以提升AI集群的實(shí)際利用率。

這一理念的關(guān)鍵支撐是華為OceanStor A系列存儲。這是華為研發(fā)的超高性能AI存儲產(chǎn)品，在MLPerf Storage v2.0基準(zhǔn)測試中斬獲多項(xiàng)全球第一。其技術(shù)核心在于能夠提供超高的IOPS（每秒讀寫次數(shù)）和帶寬，滿足AI訓(xùn)練中海量小文件和超大文件的混合讀寫需求。

針對AI訓(xùn)練中模型存檔過程耗時巨大的問題，OceanStor A系列實(shí)現(xiàn)了高效的模型存檔。華為數(shù)據(jù)存儲技術(shù)人員介紹，一個原本需要30分鐘的模型存檔過程，在華為高性能AI存儲的加持下，可以縮短到2-3分鐘。從長周期訓(xùn)練任務(wù)來看，這將GPU利用率從30%提升至60%甚至更高，將昂貴的算力資源從“等待”中解放出來，使其全身心投入到計算任務(wù)中，形成“以存強(qiáng)算”的價值。

3.UCM技術(shù)創(chuàng)新提升AI推理體驗(yàn)

AI大模型推理，尤其是多輪對話和長上下文推理，面臨著嚴(yán)重的效率和成本挑戰(zhàn)。數(shù)據(jù)顯示，當(dāng)前國外主流模型的單用戶輸出速度已進(jìn)入200 Tokens/s區(qū)間（時延5ms），而我國普遍小于60 Tokens/s（時延50 - 100ms），如何提升推理效率成為了行業(yè)亟待解決的難題。

為此，華為發(fā)布了AI推理創(chuàng)新技術(shù)——UCM（Unified Cache Manager）推理記憶數(shù)據(jù)管理器，旨在通過多級緩存機(jī)制消除重復(fù)計算，顯著提升AI推理的效率。

具體而言，大模型的推理過程中，許多重復(fù)的前綴或上下文會被反復(fù)計算。UCM通過層級化自適應(yīng)的全局前綴緩存技術(shù)，將這些“記憶”存儲在高性能存儲中。當(dāng)用戶發(fā)起類似或重復(fù)的提問時，系統(tǒng)就可以直接調(diào)用緩存數(shù)據(jù)，避免重復(fù)計算，實(shí)測可將首Token時延最大降低90%。

“最重要的就是要存儲在整個推理過程當(dāng)中積累的信息?！敝苘S峰表示。

傳統(tǒng)方案中，大模型的KV Cache（鍵值緩存）全部存儲在昂貴的GPU顯存中，容量受限，難以支持長上下文推理。而華為UCM將KV Cache擴(kuò)展到外置的高性能AI存儲中，將知識庫容量從GB級擴(kuò)展到了PB級。這一創(chuàng)新性架構(gòu)使大模型能夠輕松應(yīng)對長文本輸入，并實(shí)現(xiàn)“秒級”查詢響應(yīng)，為AI Agent和知識庫問答等應(yīng)用場景提供強(qiáng)大支撐。

值得一提的是，華為計劃后續(xù)將UCM的核心技術(shù)進(jìn)行開源，與全行業(yè)開發(fā)者共同探索和完善AI推理的未來。

4.面向Agentic AI，構(gòu)建AI記憶系統(tǒng)

業(yè)界普遍認(rèn)為，AI Agent是下一代AI應(yīng)用的重要方向。而AI Agent的爆發(fā)，對數(shù)據(jù)存儲系統(tǒng)的需求不再是簡單的存和讀。未來的AI Agent需要具備類似于人類的“短期記憶”和“長期記憶”，以及業(yè)務(wù)域知識，以實(shí)現(xiàn)持續(xù)學(xué)習(xí)和高效決策。

所以，華為將數(shù)據(jù)存儲定位為AI Agent的“記憶系統(tǒng)”，通過高性能緩存和分級存儲架構(gòu)，為AI Agent提供了雙重記憶能力。高性能AI存儲如同人類的短期記憶，用于快速處理高頻、實(shí)時的交互數(shù)據(jù)；而海量數(shù)據(jù)湖則如同長期記憶，用于存儲和管理龐大的多模態(tài)知識庫。

華為正致力于構(gòu)建一個能夠支持新型服務(wù)語義和多模態(tài)知識庫的強(qiáng)大數(shù)據(jù)底座，為AI Agent提供堅(jiān)實(shí)、可靠的“記憶”，使其能夠更高效地執(zhí)行復(fù)雜任務(wù)，并從海量數(shù)據(jù)中提煉出有價值的信息。

5.AI存儲正向新的能力標(biāo)準(zhǔn)持續(xù)進(jìn)化

從華為存儲發(fā)展的技術(shù)路徑中，我們看到了AI時代存儲的新標(biāo)準(zhǔn)。傳統(tǒng)的存儲能力標(biāo)準(zhǔn)通常聚焦于性能、數(shù)據(jù)范式和可靠性，而面向AI時代，華為數(shù)據(jù)存儲新的標(biāo)準(zhǔn)新增了如下關(guān)鍵能力：

• 數(shù)據(jù)編織能力：能夠打破數(shù)據(jù)孤島，實(shí)現(xiàn)全局?jǐn)?shù)據(jù)的可視、可管、可用。

• 綠色節(jié)能：通過高密度存儲和重刪壓縮等技術(shù)，有效降低能耗和成本。

• 可擴(kuò)展性：橫向擴(kuò)展至EB級容量，縱向擴(kuò)展實(shí)現(xiàn)算力加速。

這幾大維度的能力，共同構(gòu)成了AI時代數(shù)據(jù)存儲的全新畫像。華為正通過持續(xù)的技術(shù)創(chuàng)新，為開發(fā)者和企業(yè)提供更高效、更可靠的AI數(shù)據(jù)存儲基礎(chǔ)設(shè)施，共同迎接AI大模型產(chǎn)業(yè)化落地的實(shí)際挑戰(zhàn)與機(jī)遇。