菜品識別是通過計算機視覺技術對菜品表面特徵進行分析，實現自動化標名識別的技術。該技術主要依託卷積神經網路（CNN）架構，通過圖像預處理、特徵提取和分類匹配等流程完成識別任務。其核心技術涵蓋目標檢測算法（如Faster R-CNN、YOLO）、特徵提取模型（如ResNet50架構）以及多模態融合策略。套用場景包括智慧型收銀系統、無人化餐廳和餐飲數據分析，有效提升餐廳運營效率與顧客體驗。
基本介紹
- 中文名：菜品識別
- 技術基礎：深度學習框架支撐
- 核心算法：卷積神經網路（CNN）
- 套用領域：智慧型餐飲系統
- 技術挑戰：非剛性特徵識別難度
- 核心優勢：無需硬體晶片支持
- 專利技術：基於視覺目標檢測和重識別的多源兩階段菜品識別方法
技術實現原理,核心技術方案,研發背景,發展歷程,識別服務,典型套用場景,運營模式,核心團隊,重要事件,發展挑戰與趨勢,行業影響,
技術實現原理
通過圖像預處理（去噪、對比度增強）最佳化輸入數據質量後，分三個階段完成識別：
- 目標檢測：採用YOLO等算法定位菜品區域，通過旋轉邊界框技術減少背景干擾
- 特徵提取：利用預訓練的ResNet50等模型提取菜品表面紋理、顏色等多維度特徵向量
- 分類識別：基於餘弦相似度算法匹配預存菜品特徵庫，實現標名分類
為應對複雜場景，部分方案引入雙模型並行檢測機制，同步分析菜品與餐具特徵，通過置信度融合提升準確率。部分系統採用連續幀靜止狀態分析技術，降低動態場景識別誤差。
在工程部署中，為平衡精度與效率，常採用輕量級模型進行最佳化，並結合前後端分離架構實現實時處理與信息返回。
核心技術方案
當前主流方案包含三類技術路線：
- 兩階段檢測架構：先定位餐盤區域再識別菜品，結合形狀分類約束條件最佳化識別效率
- 端到端檢測方案：直接通過改進型YOLOV5模型實現檢測與識別一體化處理
- 多模態融合系統：集成視覺特徵與紅外感測器數據，突破單一視覺特徵局限
特徵提取模型普遍採用殘差網路架構，通過遷移學習適應菜品特徵差異。除ResNet系列外，EfficientNet等網路也被驗證在菜品識別任務中具有優異表現，如在Sabah Food Dataset和VIREO-Food172數據集上分別達到94.01%和86.57%的分類準確率。在實際部署中，考慮到計算開銷和實時性要求，ResNet-18等輕量級模型也常被採用，並通過微調適配特定菜系識別任務。部分專利方案改進網路結構：
- 去除ResNet50的平均池化層保留空間信息
- 引入注意力機制聚焦顯著性區域
- 構建分層CNN結構處理細粒度特徵
在技術實現層面，集成專用AI晶片可有效提升傳統設備的算力，支持跨平台調用，以滿足毫秒級識別的實時性要求。此外，針對中文餐飲場景，出現了基於Vision Transformer（ViT）與中文BERT的雙塔結構模型，通過跨模態對齊學習支持中文標籤輸出與增量學習。
研發背景
發展歷程
2023年，由中科院自動化所等機構聯合構建的大規模基準數據集Food2K在IEEE T-PAMI發布，該數據集包含2000類食品和超100萬張圖像，推動了細粒度菜品識別的研究。針對食品圖像識別的挑戰，研究者提出了深度漸進式區域增強網路，採用多尺度特徵融合和注意力機制，在測試集上達到了89.3%的top-1準確率。
至2025年，菜品識別技術已深度融入智慧餐飲體系，成為智慧食堂的核心基建。其通過‘免訓練’算法和通用性適配，降低了食堂的運營門檻，實現了快速菜品註冊與結算，顯著提升了運營效率與消費體驗。同時，技術能力也推動了健康管理、智慧型家電、科研支持等領域的數位化轉型，支持企業進行定製化模型訓練和API/SDK集成。
識別服務
菜品識別服務能夠識別多種菜品，並支持創建自定義菜品圖庫。服務可返回菜品的名稱、置信度、卡路里數值以及百科信息。
該服務可用於餐飲健康與智慧型結算等場景。
服務的輸入圖像支持JPEG、JPG、PNG、BMP格式，大小需小於10 MB，解析度在100×100像素至4096×4096像素之間，且URL地址中不能包含中文字元。
菜品識別服務已停止新用戶開通，計畫於2026年04月20日後下架。
典型套用場景
在餐飲智慧型化進程中主要套用於三大場景：
- 智慧型收銀系統：通過攝像頭自動識別菜品並完成計價，2022年已在佛山團餐場景實現商業化套用
- 庫存管理系統：通過菜品識別技術實時統計菜品銷量數據，動態調整採購計畫與庫存分配
- 無人餐廳服務：結合機械臂實現從菜品識別到分揀的全流程自動化操作
部分系統支持新菜品動態擴展功能，通過梯度下降算法線上更新特徵庫，避免傳統方案需重新訓練模型的缺陷。
運營模式
菜品識別技術的運營模式主要體現為技術提供商將算法能力產品化、服務化，為不同行業客戶提供解決方案。
以樂牛智慧食堂為代表的解決方案，通過將菜品識別技術深度集成到智慧型硬體中，構建了覆蓋食堂前後台管理的全鏈路體系。其方案包括視覺識別智慧餐檯，可實現多菜品秒級識別與結算；智慧型留樣秤，結合AI識別實現自動化留樣管控；出入庫智慧型秤，用於原材料貨品的智慧型識別與管理。該方案內置超過1500種菜品的資料庫，支持快速新菜品註冊，並能適應食堂選單的靈活調整。
支撐上述運營模式的關鍵技術優勢包括“免訓練”算法，該算法無需針對每道菜採集海量圖片進行模型訓練，僅需錄入菜品名稱、價格及一張特徵圖即可完成註冊，顯著降低了技術部署和日常維護的複雜度與成本。此外，算法不依賴特定餐盤，可直接識別任意容器中的菜品，增強了方案的通用性和適應性。
部分技術提供商採用雲端API服務模式，向開發者或企業客戶開放菜品識別能力。服務通常支持識別數千至上萬種菜品，允許客戶創建自定義菜品圖庫，並提供按調用次數計費或定製化解決方案等商業化選項。
核心團隊
朴食科技構建了菜品識別算法庫，並申請了多項相關發明專利。該公司研發了結算台模型與“朴食AI營養師”大模型。
重要事件
2018年9月，PixFood推出基於菜品識別的食譜推薦服務，同期國內套用“悅糖”也提供了類似功能，但該服務後續已下線。2023年9月，河北寧晉某中學發生疑似食物中毒事件，東貝食安展示了其利用多菜品AI識別技術實現自動留樣台賬的“智慧型AI留樣”產品方案。根據2025年11月的公開信息，某主流雲服務商的菜品識別能力服務宣布將停止新用戶開通，並於2026年4月20日後全面下架。
發展挑戰與趨勢
面臨的主要技術瓶頸包括：
- 非剛性菜品形態導致特徵穩定性不足
- 大規模標註數據集缺失影響模型泛化能力
- 相似菜品（如不同烹飪方式的土豆製品）區分困難
業界通過以下途徑推動技術演進：
- 構建專用菜品特徵資料庫（如ChineseFoodNet數據集）
- 開發輕量化模型適配移動端設備（壓縮殘差網路方案）
- 引入細粒度識別技術增強特徵判別能力
構建包含超100萬張圖像、覆蓋多菜系的大規模基準數據集（如Food2K），並在Food2K等數據集上，通過多尺度特徵融合網路、注意力機制最佳化等方法，使模型識別準確率提升至89.3%。技術套用探索結合視覺與文本的多模態特徵融合，並拓展至營養成分分析、個性化推薦及增強現實（AR）實景點餐等方向。
2024年的專利中，旋轉邊界框檢測與動態模型更新技術成為重點創新方向，相比傳統方案將檢測精度提升12.7%。菜品識別服務於即日起停止新用戶開通調用，2026年04月20日後該服務將下架。
行業影響
菜品識別技術通過計算機視覺與深度學習算法，已廣泛套用於智慧食堂、健康管理、餐飲零售等領域，有效提升運營效率與顧客體驗，並推動行業數位化轉型。在提升運營效率方面，智慧食堂引入菜品識別結算系統後，結算環節人力成本減少70%，高峰期顧客排隊時間從10分鐘壓縮至2分鐘，結算錯誤率歸零，系統通過AI視覺識別技術能在0.5秒內完成菜品識別與計價，效率較傳統方式提升300%。在改善消費體驗方面，系統支持無感支付減少排隊焦慮，同時結合營養資料庫支持菜品營養分析和常見過敏原檢測，準確率達97.2%，為用戶提供個性化的健康飲食建議。在減少食物浪費方面，基於菜品識別系統收集的實時銷量數據，食堂可進行精準的按需備餐，某試點食堂廚餘垃圾量因此下降了30%。在推動行業數位化轉型方面，菜品識別技術已成為智慧食堂的核心基礎設施，通過數據採集與分析驅動食堂運營從傳統的經驗判斷轉向科學決策。
