Unsloth AI

Unsloth AI是一個開源AI項目，通過最佳化GRPO訓練方法，將記憶體使用減少80%，讓7GB顯存GPU就能本地運行DeepSeek-R1級別的推理模型。

Unsloth實現了與vLLM的深度整合，可將模型吞吐量提升20倍，同時僅需一半VRAM，使單張48GB GPU就能微調Llama 3.3 70B。該項目在GitHub獲2萬多星，其核心團隊僅由兩兄弟組成。在千問3.5系列模型發布後，Unsloth AI與蘋果mlx-vlm、LMSYS Org、vLLM、LM Studio等全球知名企業、框架及開源社區平台第一時間完成適配上架。

基本介紹

• 外文名：Unsloth AI
• 類型：AI項目

產品優勢

Unsloth實現了與vLLM的整合，有助於提升模型吞吐效率並降低顯存占用。

在千問3.5系列模型發布後，Unsloth完成了對該系列模型的適配。

產品團隊

該項目在GitHub獲2萬多星，其核心團隊僅由兩兄弟組成，成功大幅降低了AI推理模型的部署門檻。