LangSmith是由LangChain團隊開發的LLM應用程式DevOps平台，於2023年7月18日上線，提供開發、測試、部署及監控全生命周期管理。其核心功能包括鏈路追蹤、提示工具、數據集管理、自動評估與線上部署，支持實時檢查調用鏈、多版本測試及雲服務集成，適用於AI助手、對話系統等LLM套用開發。
該平台於2023年7月發布基礎版本，2024年10月增強數據分析模組，12月上線模型監控功能。2025年2月與LangGraph深度集成實現多步驟AI工作流支持，3月新增動態少樣本示例選擇功能。LangSmith已實現商業化，採用免費增值模式。其核心被定位為可觀測性增強版，並推出了無代碼智慧型體創建平台。通過Python SDK和API密鑰管理，可對接OpenAI等主流模型，並與AWS、Azure等雲平台實現混合架構部署。
基本介紹
- 外文名：LangSmith
- 上線時間：2023年7月18日
核心功能,研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
核心功能
調試與測試：提供LLM套用全流程調試支持
性能監控：實時追蹤模型運行指標數據
協作開發：支持團隊共享與提示管理
評估最佳化：自動化評估模型輸出質量
數據管理：存儲分析模型輸入輸出數據
研發背景
LangSmith於2023年秋季發布，旨在彌合讓LangChain脫穎而出的原型設計功能與構建生產質量大語言模型應用程式之間的差距。LangSmith提供監控、評估和調試應用程式的工具，包括能夠自動跟蹤所有模型調用以發現錯誤並測試不同模型配置下的性能，這種可視化旨在為更強大、更具成本效益的應用程式提供支持。
發展歷程
2023年7月18日，LangSmith平台正式發布，推出首個版本，提供LLM套用調試、測試與部署功能。
2024年10月18日，基於ClickHouse實現高吞吐量數據記錄與分析能力。
2024年12月20日，正式推出模型監控與維護功能，完善LLM開發生命周期。
2025年2月11日，集成LangGraph部署管理，支持複雜多步驟AI工作流。
2025年3月5日，引入動態少樣本示例選擇功能，最佳化模型疊代效率。
核心技術
LangSmith的核心技術架構圍繞“可觀測性增強版（Observability++）”構建，為LLM套用提供從開發到生產的全鏈路可觀測性、評估與監控能力。
LangSmith提供全鏈路追蹤能力，記錄跨組件的完整調用鏈，例如串聯LangGraph節點調用、資料庫查詢、API請求等，並以可視化的樹狀圖呈現。
LangSmith提供一套完整的自動化評估框架，允許開發者構建數據集、定義目標函式並利用LLM作為裁判進行自動化評分，支持對不同的Prompt、LLM執行A/B測試並生成質量評估。
LangSmith提供生產環境實時監控與告警能力，關鍵觀測指標包括請求量、延遲、錯誤率、Token消耗分布、工具調用成功率等。
LangSmith基於ClickHouse實現高吞吐量的數據記錄與分析能力。
運營模式
LangSmith採用免費增值模式。開發者可免費使用其基礎功能，面向小團隊的協作功能需要付費，並為大型組織提供定製化方案。自推出以來，LangSmith已成為LangChain公司收入增長的主要組成部分，據稱貢獻了1200萬至1600萬美元的年度經常性收入。其客戶包括Klarna、Rippling和Replit等公司。在新興的LLM運營領域，LangSmith是市場中的重要參與者之一，但也面臨Langfuse和Helicone等開源競爭對手的挑戰。
核心團隊
LangSmith是由LangChain團隊開發的LLM應用程式DevOps平台。在LangChain生態中，LangSmith提供監控、評估和調試應用程式的工具，旨在彌合讓LangChain脫穎而出的原型設計功能與構建生產質量大語言模型應用程式之間的差距。
重要事件
2023年7月18日，LangSmith平台正式發布，提供LLM套用調試、測試與部署功能。2024年10月18日，LangSmith完成可觀測性升級，基於ClickHouse實現高吞吐量數據記錄與分析能力。2024年12月20日，LangSmith正式推出模型監控與維護功能。2025年2月11日，LangSmith集成LangGraph部署管理，支持複雜多步驟AI工作流。2025年3月5日，LangSmith引入動態少樣本示例選擇功能，最佳化模型疊代效率。2025年12月，LangSmith與AI對話系統RealChar完成深度集成，提供全鏈路追蹤、性能分析、異常診斷的完整技術方案，採用包含對話引擎層、觀測中心層、分析平台層的分層架構設計。截至2026年3月，LangSmith與LangGraph Studio實現無縫協作，支持對基於LangGraph構建的智慧型體進行完整的評估跟蹤和歷史分析。
