雲海(京東雲自主研發的分散式存儲系統)

本詞條是多義詞,共14個義項
更多義項 ▼ 收起列表 ▲

雲海是京東雲推出的分散式統一存儲平台,基於存算分離架構實現千萬級IOPS輸出能力與百微秒級延遲。該系統支持塊存儲、檔案存儲、對象存儲等五種服務模式,採用全自研統一存儲引擎與QLC-SSD技術,存儲冗餘度最低可壓縮至1.1x副本。通過RDMA網路最佳化與分散式一致性協定,單實例延遲低於100微秒,性能接近本地磁碟。在京東618等場景驗證中,該平台使存儲利用率提升至90%,綜合成本降低超30%。

基本介紹

  • 開發商:京東雲
  • 架構類型:存算分離
  • 核心技術:自研統一存儲引擎
  • 發布形式:純軟體/軟硬一體機
  • 延遲指標:<100μs
  • 副本算法:EC 1.375冗餘
技術架構,性能突破,套用場景,技術創新,行業部署,

技術架構

採用存算分離架構設計,實現計算與存儲資源的動態解耦,通過RDMA網路技術構建超低時延通信鏈路。全自研的統一存儲引擎兼容X86及國產化伺服器平台,支持塊存儲、對象存儲、檔案存儲等五種數據類型統一管理。系統通過用戶態NVMe協定棧最佳化,使單盤讀寫性能達百萬級IOPS,突破傳統分散式存儲性能瓶頸。

性能突破

  • 單集群輸出能力達千萬級IOPS,單實例4K隨機讀寫延遲穩定在百微秒級
  • 塊存儲場景下實現平均延遲<200μs,百萬IOPS負載下仍保持性能線性擴展
  • 對象存儲服務通過1.375副本EC編碼技術,在保證數據可靠性的同時降低存儲冗餘度
  • 支持萬級節點規模擴展,經京東618大促場景驗證,單集群支撐千萬級SKU數據存取

套用場景

人工智慧訓練2024年發布的雲海3.0版本可支持千億級參數 AI 大模型,通過並行檔案存儲協定實現GPU集群的高並發數據吞吐。在自動駕駛領域,某企業採用雲海極速版支撐L3/L4級模型研發,滿足上百GPU節點同時訪問訓練數據集的需求。
商業套用實踐為某音頻平台提供跨地域雙活存儲方案,實現核心業務系統全年零故障運行。某消費金融公司通過存儲集群最佳化,將基礎設施投入成本降低60%。系統同時承載京東物流1600個倉庫的超大規模數據存儲需求。

技術創新

  • 獨創"磁碟級"可靠性保障機制,採用全追加寫架構與多機房災備設計,實現100%寫操作高可用
  • 通過軟硬協同最佳化,QLC-SSD存儲密度較傳統方案提升3倍,磁碟利用率達90%
  • 研發智慧型調度算法,在2023年技術疊代中實現存儲資源利用率同比提升35%
  • 支持國產化硬體適配,已完成鯤鵬、飛騰等平台的兼容性認證

行業部署

截至2024年,系統已形成公有雲與私有雲雙軌交付模式。公有雲側提供對象存儲、大數據存儲等6類標準化服務,私有雲側推出軟硬一體機解決方案。在政務數位化領域,支撐多地智慧城市項目實現存儲基礎設施國產化替代。金融行業套用案例顯示,系統可滿足核心交易系統對存儲性能與數據一致性的嚴苛要求,幫助客戶節省超30%基礎設施成本。

相關詞條

熱門詞條

聯絡我們