Web LLM

Web LLM 是由陳天奇團隊發布的模組化、可定製的JavaScript包，用於在 Web 瀏覽器中直接引入語言模型聊天功能。它在瀏覽器內部運行，無需伺服器支持，通過WebGPU加速實現高性能推理，支持OpenAI兼容 API、結構化生成（如JSON模式）、多模型支持（兼容 Llama 和Gemma等）以及 100% 本地化數據處理以保護隱私。該項目是 MLC LLM 的附屬項目，可用於構建 AI 助手，並支持流式回響。

基本介紹

• 外文名：Web LLM
• 技術背景：McGill-NLP 

研發背景

WebLLM是由陳天奇團隊（MLC.AI 社區）於2023年4月20日發布的開源項目，其核心關鍵技術是機器學習編譯（MLC）。該項目是 MLC LLM 的伴侶項目，專注於將大型語言模型（LLM）原生部署到 Web 瀏覽器中，實現在瀏覽器中純粹運行聊天機器人，無需伺服器支持。Web LLM 的技術基礎來源於 Apache TVM Unity 項目，並利用了Hugging Face、LLaMA、Vicuna、Wasm 和 WebGPU 等開源生態系統。通過這一方案，Web LLM 旨在降低使用門檻，讓沒有龐大 GPU 資源的中小企業和個人開發者也能輕鬆探索大語言模型的功能。

核心功能

瀏覽器內推理：WebGPU加速的端側LLM推理

OpenAI兼容API：無縫對接標準OpenAI接口

結構化生成：支持JSON模式數據輸出

多模型支持：兼容Llama/Gemma等主流模型

隱私計算：100%本地化數據處理

核心技術

Web LLM的核心技術基於機器學習編譯（MLC），主要流程建立在Apache TVM Unity之上，在TVM中編譯語言模型的IRModule並利用其原生動態形狀支持以避免填充到最大長度，從而減少計算和記憶體消耗。使用TensorIR生成最佳化程式，結合專家知識和自動調度器，並採用int4量化技術壓縮模型權重以適應記憶體，同時構建靜態記憶體規劃以跨層復用記憶體。

利用Emscripten和TypeScript構建TVM Web運行時來部署生成的模組，並使用WebGPU進行加速，同時支持切換到本地GPU運行時進行性能對比或本地部署。此外，使用Wasm連線埠的SentencePiece分詞器，並支持Llama、Gemma、Phi、Mistral、Qwen等多種主流模型。

核心團隊

Web LLM項目由陳天奇團隊主導開發。陳天奇是機器學習領域著名的青年華人學者，本科畢業於上海交通大學ACM班，博士畢業於華盛頓大學計算機系，研究方向為大規模機器學習。Web LLM背後的團隊是MLC.AI社區，該社區成立於2022年6月，並由Apache TVM主要發明者陳天奇帶領團隊上線了MLC線上課程。

重要事件

2023年4月20日，陳天奇團隊正式發布Web LLM項目，該項目基於WebGPU加速，無需伺服器支持；發布後短短數日即在GitHub上獲得3.2K星標；項目是MLC.AI社區繼Web Stable Diffusion之後，在瀏覽器端運行AI模型的又一重要實踐。