dots.vlm1是小紅書hi lab於2025年8月6日發布並開源的多模態大模型，基於DeepSeek V3 MoE大語言模型與自研12億參數NaViT視覺編碼器構建，支持動態解析度處理和圖文聯合推理。模型採用三階段訓練流程：視覺編碼器預訓練階段使用雙重監督策略（下一Token預測與下一Patch生成），VLM預訓練階段整合跨模態互譯與融合數據，後訓練階段通過有監督微調提升泛化能力。
該模型核心組件包含42層Transformer架構的NaViT視覺編碼器、輕量級MLP適配器及語言模型，訓練數據覆蓋結構化圖表、OCR場景、視頻幀等類型，並採用dots.ocr工具處理PDF文檔生成圖文交錯數據。在MMMU、MathVision等視覺評測集中接近Gemini 2.5 Pro與Seed-VL1.5水平，文本推理任務表現與DeepSeek-R1-0528相當。實際套用展示出處理數獨推理、紅綠色盲識別、高考數學題解答等複雜場景的能力。
基本介紹
- 外文名：dots.vlm1
- 產品類型：多模態大模型
發展歷史,功能介紹,
發展歷史
2025年8月6日，小紅書hi lab研發並開源的首個多模態大模型 dots.vlm1 正式發布。
功能介紹
dots.vlm1在大部分多模態評測集上接近閉源SoTA模型的水平，並在文本能力和主流文本模型相當。
NaViT 視覺編碼器：沒有基於成熟視覺編碼器進行微調，完全從零開始訓練，原生支持動態解析度。同時在文本監督上增加純視覺監督，提升感知能力上限。此外，訓練數據上在傳統的Image Caption數據上還引入大量結構化圖片進行原生訓練，提升VLM模型的感知能力（例如各類 OCR 能力）。
多模態訓練數據：在傳統思路上，額外引入多種合成數據思路，覆蓋多樣的圖片類型（例如表格 / Chart / 文檔 / Graphics 等）及其描述（例如 Alt Text / Dense Caption / Grounding 等）；同時，利用多模態大模型來重寫圖文交錯網頁數據，顯著提升訓練數據質量；
通過大規模預訓練與精細化後訓練調優，dots.vlm1在視覺感知與推理方面達到了接近SOTA的表現，為開源視覺語言模型樹立了新的性能上限，同時在純文本任務中仍保持一定競爭力。
