Grok-1.5是由埃隆·馬斯克旗下AI創企xAI於2024年3月推出的AI模型系列。該系列初期版本專注於長文本理解和高級推理，2024年4月推出的Grok-1.5 Vision版本實現了多模態能力突破，新增對文檔、圖表、截圖等視覺信息的處理能力。在RealWorldQA基準測試中，其表現超越GPT-4V、Gemini Pro 1.5等主流競品，目前已套用於代碼生成、教育輔助、工業維修等多個領域，並通過開放測試持續推進技術疊代。
基本介紹
- 開發商：xAI公司
- 推出時間：2024年3月
- 模型類型：多模態大模型
- 核心功能：文本推理、視覺解析
- 技術突破：RealWorldQA測試領先
- 套用場景：教育、編程、工業
技術演進,多模態能力,性能表現,套用場景,開發計畫,
技術演進
Grok-1.5模型系列包含兩個主要版本：2024年3月28日發布的Grok-1.5基礎版具備128k長文本處理能力，延續了前代Grok-1的3140億參數規模；2024年4月12日發布的Grok-1.5 Vision（簡稱Grok-1.5V）新增多模態處理架構，可解析文檔、圖表、截圖及照片等非文本信息。
多模態能力
該模型通過融合視覺編碼器與語言模型，實現了以下技術特性：
- 流程圖識別：可將白板草圖轉換為可執行的Python代碼
- 圖表解析：支持將PDF/JPEG格式表格自動轉為CSV檔案
- 實物理解：通過木材腐朽照片提供維修建議
- 跨模態創作：根據兒童繪畫生成完整睡前故事
性能表現
在2024年4月的RealWorldQA基準測試中：
- 在RealWorldQA基準測試中處理700餘張真實場景圖片，評估物理空間理解能力
- 綜合得分超越GPT-4V
- 在數學推理、代碼生成任務中表現優異
套用場景
xAI官方公布的典型套用包括：
- 教育領域：解析文檔、圖表、截圖及照片等視覺信息並分步講解解題過程
- 食品工業：通過包裝配料表自動計算食物卡路里
- 軟體開發：將白板流程草圖轉化為Python代碼
- 文化傳播：解釋網路流行梗圖的創作背景及文化內涵
開發計畫
xAI已啟動分階段測試計畫：
- 2024年4月13日起向早期測試用戶開放Grok-1.5V接口
- 現有Grok用戶可通過付費訂閱體驗多模態功能
- 計畫未來拓展音頻/視頻處理能力，並考慮部分開源
