Workers AI 是Cloudflare推出的無伺服器 AI 推理平台，於2023年10月30日開啟測試，並正式發布。
該平台在測試階段即提供多種開源模型。2023年12月，平台為其大型語言模型增加了流式回響支持。Stable Diffusion和Code Llama模型在超過100個城市上線。2024年4月，與Hugging Face的合作服務正式上線。在正式發布時，平台更新了定價並宣布支持用Python編寫 Workers。
研發背景,發展歷程,核心技術,運營模式,核心團隊,重要事件,
研發背景
Workers AI 是Cloudflare推出的 AI 推理即服務平台。
其技術基礎是依託 Cloudflare 全球邊緣網路和部署於其上的 GPU 資源來運行機器學習模型推理任務，通過在靠近用戶的位置運行模型，以支持較低延遲的推理。
該平台為開發者提供 AI 推理服務，其設計旨在簡化相關的開發與部署流程。它採用無伺服器架構，開發者無需管理底層 GPU 基礎設施，其付費模式基於實際計算消耗。
發展歷程
2023年9月，Cloudflare首次宣布推出Workers AI，最初在7個城市部署GPU。2023年10月30日，Workers AI開啟公開測試，提供包括文本生成（Llama 2）、自動語音識別、翻譯、文本分類、圖像分類、嵌入在內的有限模型，並公布初步定價模型。2023年11月，Workers AI將Mistral-7B-v0.1-instruct模型添加到目錄中，並宣布支持使用server-sent events對LLM模型進行流式文本回響。2023年11月23日，Stable Diffusion和Code Llama作為Workers AI的一部分提供，服務擴展至全球100多個城市運行。2023年12月7日，Workers AI宣布支持所有大型語言模型（LLM）的流式回響，並增加了Llama-2模型的背景信息長度和序列長度。
2024年2月，Workers AI宣布新增8個新模型用於文本生成、分類和代碼生成，並改進了模型效能。2024年4月8日/9日，與Hugging Face的集成服務“部署到Cloudflare Workers AI”正式上線，用戶可直接將Hugging Face Hub上的模型部署至Workers AI平台。2024年6月6日，Workers AI結束公測，正式發布（GA）。同時公布詳細定價、提升速率限制、改進儀錶盤，並宣布計畫在2024年底前將GPU覆蓋擴展至幾乎所有數據中心。此外，宣布支持自帶LoRA微調（測試版）和Python Workers（公測版）。2024年7月3日，AI Gateway正式發布，該產品已原生支持Workers AI。
2026年3月21日，Cloudflare宣布將Kimi K2.5作為Workers AI平台上線的首個開源模型。
核心技術
Workers AI基於Cloudflare遍布全球的數據中心部署GPU，在分布全球150多個城市的GPU上運行推理，使推理任務能在靠近用戶的位置執行。系統可根據各城市GPU容量和佇列情況動態路由請求，如果請求在當前城市必須排隊，它可被路由到另一個位置，以最佳化回響速度和資源利用率。
Workers AI對模型進行成本最佳化，使Llama 2的運行成本降低了7倍多，Mistral 7B的運行成本降低了14倍多，並將改進措施整合到了vLLM框架中以提升性能。平台支持流式傳輸（Server-Sent Events）、長上下文處理，以及通過LoRA適配器進行模型微調。開發人員可以構建遠程模型上下文協定(MCP)伺服器，讓AI代理能夠訪問來自外部服務的工具和資源。
運營模式
Workers AI推理平台已正式發布。該平台採用按使用量付費的後付費模式。
該平台每日設有10000個神經元的免費使用額度。該免費額度適用於其免費與付費等多種用戶計畫。
核心團隊
Workers AI 由Cloudflare公司內部的團隊研發與運營。Cloudflare Workers AI 團隊致力於構建一個全球規模的平台和工具。團隊在技術上進行探索，例如將改進措施整合到vLLM框架中。團隊注重實踐與成本最佳化，內部採用Kimi K2.5等開源模型進行安全審計，並處理每日大量的智元。同時，團隊也在擴大規模，以進一步發展其全球無伺服器 GPU 驅動的推理平台。
重要事件
2023年9月，Workers AI項目首次對外公布。2023年10月，Workers AI開啟公開測試，並宣布與Hugging Face建立合作夥伴關係。2024年4月，在Cloudflare的Developer Week上，宣布“部署到Cloudflare Workers AI服務”正式上線，這是與Hugging Face集成的新服務，使得通過Cloudflare邊緣數據中心部署的先進GPU、輕鬆使用開放模型作為無伺服器API成為可能。
2024年6月，Workers AI推理平台正式發布（GA），公布了定價，提高了速率限制，並宣布將在2024年底前在幾乎所有地方部署GPU。同時，AI Gateway宣布原生支持Workers AI。2024年7月，AI Gateway正式發布，為包括Workers AI在內的多供應商AI服務提供統一管理界面。2026年3月，Cloudflare將Kimi K2.5作為Workers AI平台上線的首個開源模型。
