LM Studio

LM Studio是一款面向開發者的跨平台桌面應用程式,支持在本地離線運行開源大語言模型。該軟體基於llama.cpp推理運行時構建,支持從Hugging Face平台下載Llama、Mistral、Gemma等架構的模型檔案,兼容GGUF/Q4_K_M等量化格式。

該程式提供圖形化模型管理界面與本地聊天互動功能,支持Windows/macOS/Linux作業系統。通過CUDA 12.8技術實現NVIDIA GeForce RTX系列GPU加速,可最佳化模型載入速度與推理性能。開發者可通過兼容OpenAI API的本地伺服器進行工作流集成,並利用tool_choice參數、系統提示詞編輯器等工具進行模型微調和二次開發。其0.3.15版本於2025年6月4日發布,新增GPU性能加速與開發者功能增強模組。

基本介紹

  • 外文名:LM Studio
  • 產品類型:桌面應用程式 
核心功能
本地模型運行:支持多種架構LLM離線運行
模型管理:集成Hugging Face模型下載
OpenAI兼容API:提供本地伺服器模擬接口
跨平台支持:適配Windows/Mac/Linux系統
開發者工具:支持模型微調與二次開發

相關詞條

熱門詞條

聯絡我們