DeepSeek V2

DeepSeek V2，是一個強大的混合專家（MoE）語言模型，以經濟高效的訓練和推理為特點。

基本介紹

• 外文名：DeepSeek V2
• 開發商：深度求索

模型能力

它包含2360億個總參數，其中每個token激活210億個參數。與DeepSeek 67B相比，DeepSeek-V2不僅實現了更強的性能，同時還節省了42.5%的訓練成本，將KV快取減少了93.3%，並將最大生成吞吐量提升至5.76倍。在一個包含8.1萬億token的多樣化且高質量的語料庫上對DeepSeek-V2進行了預訓練。

產品簡介

DeepSeek V2，是一個強大的混合專家（MoE）語言模型，以經濟高效的訓練和推理為特點。