Signs是由英偉達聯合美國聾童協會（ASDC）與數字代理公司Hello Monday共同開發的AI平台，專注於美式手語（ASL）的互動式教學。該平台通過3D虛擬人物演示標準手語動作，並利用攝像頭實時捕捉用戶手勢進行動作反饋與糾錯。其構建的開放數據集包含40萬段經認證的ASL視頻，覆蓋1000個基礎單詞，為無障礙技術開發提供資源支持。
基本介紹
- 開發者：英偉達
- 合作方：美國聾童協會、Hello Monday
- 核心技術：多模態識別、3D虛擬演示
- 上線時間：2025年2月20日
- 適用人群：ASL學習者、開發者
- 覆蓋辭彙：1000個（計畫）
平台功能,合作與開發,數據集與技術,社會影響,
平台功能
- 通過攝像頭實時分析用戶手部動作、手指姿態及手掌位置，提供動作軌跡匹配與音效反饋
- 3D虛擬教學系統可360度演示標準手語動作，支持學習者進行對照練習
- 系統內置100個基礎辭彙教學模組（截至2025年2月），計畫擴展至40萬段視頻覆蓋1000個手語單詞
合作與開發
- 美國聾童協會（ASDC）負責提供語言學專業指導，確保教學內容符合聾人文化特徵
- Hello Monday主導界面設計與用戶體驗最佳化，與羅切斯特理工學院無障礙研究中心聯合測試系統
- 英偉達提供AI訓練框架與算力支持，實現實時手勢追蹤精度
數據集與技術
- 構建包含40萬段視頻的開源資料庫（計畫2025年完成），每段視頻均經ASL認證使用者審核
- 採用多模態識別系統，同步解析面部表情（占比15%識別權重）和空間定位數據
- 訓練模型聚焦自然語境理解，而非機械手勢識別，支持連續手語句子的語義分析
社會影響
- 為聾童家庭提供免費學習渠道，使ASL學習效率提升約37%（根據2025年測試數據）
- 開放數據集已套用於AI代理、視頻會議字幕生成等12類無障礙工具開發
- 推動美式手語（ASL）教育數位化進程，促使3家科技巨頭新增ASL支持功能
