DOCA Memos框架

DOCA Memos框架是英偉達公司推出的一款軟體框架，隨BlueField-4 STX機架一同亮相。該框架專為BlueField-4 STX機架設計，是其構建AI原生存儲基礎架構的組成部分。

DOCA Memos框架能夠處理大型語言模型生成的鍵值快取數據。通過專用的KV快取存儲處理技術，該框架可用於提升推理吞吐量並降低能耗。這實現了POD範圍內的上下文共享，從而有助於提升與AI智慧型體的多輪互動效率。

核心技術

DOCA Memos框架是一種軟體框架，可運行於BlueField-4 STX機架，用於構建AI原生存儲基礎架構。其核心功能包括處理大型語言模型生成的鍵值快取數據。

該框架採用了專用的KV快取存儲處理技術，用於提升推理吞吐量與能效。它能夠實現POD範圍內的上下文共享，以支持與AI智慧型體的多輪互動。

發布與事件

DOCA Memos框架隨英偉達全新AI平台Vera Rubin一同亮相發布。作為該平台AI原生存儲基礎架構的關鍵軟體框架，旨在更好地匹配智慧型體AI的實際套用場景。

市場影響

DOCA Memos框架是Vera Rubin平台的組成部分。該框架在部分套用場景中提升了推理吞吐量並降低了能耗，從而有助於提高基礎設施的利用率。