人機互動中的體態語言理解

《人機互動中的體態語言理解》是2014年8月由電子工業出版社出版的圖書，作者是徐光祐、陶霖密、邸慧軍。

基於廣義彈性運動跟蹤的人體動作分析，三維空間人體定位與體態估計，容忍視角和距離變化的人體動作識別，日常生活中動作（ADL）識別和理解，基於動態上下境模型的群體互動行為分析，支持覺察上下鏡計算的分散式多模態信息處理系統。

基本介紹

• 書名：人機互動中的體態語言理解
• 作者：徐光祐,陶霖密,邸慧軍
• 出版時間：2014-08
• 字數：812千

內容簡介

本書論述了與此相關的心理學和腦神經學基本概念，通過多模態信息處理來識別和理解體態語言是從非結構化的多模態感測器數據到高層語義的多層次特徵檢測和推理過程，也是一個約束不充分的逆向求解問題。本書對覺察上下境計算支撐的視覺處理和理解做了系統的論述，同時也介紹了上下境定義、上下境模型和覺察上下境計算的基本概念。主要包括：基於廣義彈性運動跟蹤的人體動作分析，三維空間人體定位與體態估計，容忍視角和距離變化的人體動作識別，日常生活中動作（ADL）識別和理解，基於動態上下境模型的群體互動行為分析，支持覺察上下鏡計算的分散式多模態信息處理系統。

目 錄

第1章 以人為中心的人機互動與體態語言理解 1

1.1 以人為中心的人機互動 1

1.1.1 普適計算和背景智慧型 3

1.1.2 物理—信息對偶空間 4

1.1.3 隱式人機互動和覺察上下境計算 11

1.2 非語言行為和體態語言 16

1.2.1 人際通信中的非語言行為 16

1.2.2 體態語言傳遞什麼樣的信息 19

1.2.3 體態語言與語言通信的關係 20

1.2.4 體態語言的信息集群 21

1.3 非語言通信與社交行為 22

1.3.1 非語言行為線索與社交信號 24

1.3.2 面對面的社交行為 26

1.4 社交信息處理和社交智慧型 27

1.4.1 社交能力與動作理解 27

1.4.2 社交信息處理 28

1.4.3 社交智慧型 30

1.5 以人為中心的人機互動正在走向現實 32

1.5.1 “人—機器人互動” 32

1.5.2 計算機為媒介的遠程互動系統 35

1.5.3 背景智慧型和智慧型輔助生活 38

參考文獻 38

第2章 動作理解的心理和神經機制基礎 48

2.1 動作理解中所涉及的問題 49

2.2 共同編碼理論簡介 54

2.3 動作的表示和內容 59

2.3.1 動作是什麼和動作的產生 60

2.3.2 運動想像是進入動作表示階段的視窗 61

2.3.3 動作意圖、規劃、準備和執行之間的關係 65

2.3.4 人類視覺系統中的子系統 66

2.3.5 動作表示內容 67

2.4 鏡面神經系統和它在動作識別中的作用 69

2.4.1 猴子和人體中的鏡面神經系統 70

2.4.2 鏡面神經系統在動作識別和理解中的功能 71

2.5 動作的共享表示 75

2.5.1 動作表示的不同層次 75

2.5.2 語義表示和實用表示 76

2.5.3 共享的是感知表示還是運動表示 77

2.5.4 動作表示的方式 78

2.6 人體與物體的互動與可承受性 80

2.6.1 Gibson的可承受性理論 81

2.6.2 可承受性與動作理解 83

2.6.3 可承受性和與物體互動 87

2.7 人類動作理解中的功能機理和神經網路 89

2.7.1 視覺理解理論簡介 90

2.7.2 對基於計算機視覺的動作理解的啟發 92

參考文獻 95

第3章 基於覺察上下境計算的體態語言理解 103

3.1 體態語言理解問題的本質 104

3.1.1 體態語言是人類的自然行為 104

3.1.2 體態語言線索、體態語言信號和體態語言 105

3.1.3 體態語言理解需要覺察上下境計算的支持 107

3.2 體態語言線索檢測 108

3.3 體態語言信號檢測 110

3.4 上下境和上下境模型 112

3.4.1 上下境信息在體態語言理解中的作用 112

3.4.2 上下境的定義 113

3.4.3 上下境模型 116

3.5 覺察上下境計算與系統 119

3.5.1 覺察上下境系統組成 121

3.5.2 覺察上下境系統的套用和性能 124

3.5.3 人體行為理解的研究現狀和存在問題 125

3.6 視覺信息處理中上下境的影響 128

3.6.1 人類視覺系統中上下境影響的研究 129

3.6.2 基於上下境的計算機視覺處理 132

3.6.3 覺察上下境的計算機視覺處理 137

3.7 基於覺察上下境計算的體態語言理解 139

3.7.1 基於動態上下文模型的群體互動行為分析 139

3.7.2 基於覺察上下境計算的人體日常活動識別和理解 142

3.7.3 支持覺察上下境計算的分散式多模態信息處理系統 145

參考文獻 146

第4章 基於廣義彈性運動跟蹤的人體運動分析 155

4.1 研究現狀 157

4.1.1 彈性運動跟蹤的研究現狀以及本章研究思路的提出 157

4.1.2 與廣義彈性運動跟蹤相關的研究工作 158

4.2 基礎彈性運動模型 159

4.2.1 彈性運動的纖維束表示 159

4.2.2 基於纖維束的融合思路 160

4.2.3 混合的變換隱馬爾科夫模型（MTHMM） 161

4.2.4 模型的推理算法 165

4.2.5 實驗結果與討論 170

4.2.6 小結 176

4.3 具有分類機制的彈性運動模型 177

4.3.1 彈性運動的分段纖維束表示以及分類機制的思路 177

4.3.2 具有分類機制的混合變換隱馬爾科夫模型（MTHMM-C） 179

4.3.3 模型的推理算法 181

4.3.4 實驗結果與討論 187

4.3.5 小結 193

4.4 廣義彈性運動跟蹤的套用 194

4.4.1 （半）自動建模 194

4.4.2 人頭姿態估計 195

4.4.3 基於廣義彈性運動跟蹤的運動描述 196

參考文獻 198

第5章 人體定位與體態估計 201

5.1 基於多攝像機的人體粗定位 202

5.1.1 多攝像機環境下的幾何約束 203

5.1.2 多攝像機人體定位算法 205

5.1.3 實驗結果 207

5.1.4 小結 211

5.2 多攝像機下人體頭肩部輪廓跟蹤與朝向估計 212

5.2.1 多視角輪廓約束 213

5.2.2 頭肩部輪廓的形狀表示和機率模型 215

5.2.3 多視角聯合跟蹤模型 224

5.2.4 度量表示與圖像度量模型 229

5.2.6 實驗結果分析 230

5.2.7 小結 233

5.3 基於梯度朝向直方圖的頭部姿勢估計 234

5.3.1 基於梯度朝向直方圖的二階統計特徵 237

5.3.2 線性子空間方法 238

5.3.3 實驗結果 239

5.3.4 小結 248

參考文獻 249

第6章 可容忍視角、位置變化的人體動作識別 251

6.1 基於時空表示的動作識別研究現狀 251

6.1.1 基於多視角樣本 255

6.1.2 基於不變數表示和不變數約束 256

6.2 容忍視角變化的體態表示——包容形狀 258

6.2.1 動作識別中的視角變化 258

6.2.2 預備分析 259

6.2.3 包容形狀的定義和推導 260

6.2.4 動作識別實驗 263

6.2.5 非正交下雙攝像機配置下的包容形狀 268

6.3 容忍位置變化和遮擋的自適應包容形狀 271

6.3.1 容忍位置變化的多攝像機系統 272

6.3.2 容忍遮擋的自適應包容形狀 279

6.4 動作識別系統 284

6.4.1 動作識別系統流程 284

6.4.2 人體檢測和特徵提取 285

6.4.3 體態表示和數據預處理 286

6.5 結論和展望 291

參考文獻 292

第7章 日常生活動作識別與行為分析 295

7.1 基於計算機視覺的日常活動（ADL）識別和理解 296

7.1.1 ADL識別和理解所面臨的技術挑戰 296

7.1.2 ADL識別方法研究的現狀 300

7.1.3 基於計算機視覺的ADL識別的關鍵課題 305

7.1.4 日常生活行為理解 311

7.1.5 上下境信息的建模和使用 316

7.2 容忍視角和距離變化的動作識別 317

7.2.1 分層的動作識別 318

7.2.2 多視角資料庫IXMAS 319

7.2.3 關注“焦點運動”的動作識別 321

7.2.4 特徵提取與動作表示 323

7.2.5 基於VSI-Surf表示的動作識別方法 332

7.3 支持覺察上下境計算的活動分析模型 336

7.3.1 日常生活場景中的上下境 338

7.3.2 覺察上下境的行為分析模型 341

7.4 基於ADL-DBN模型的行為線上推理 347

7.4.1 研究平台與套用場景 348

7.4.2 底層視覺特徵的提取 350

7.4.3 環境上下境 353

7.4.4 多層次動態貝葉斯網模型 354

7.4.5 實驗結果 359

7.5 結論與展望 364

參考文獻 365

第8章 基於動態上下境模型的群體行為分析 376

8.1 群體互動行為分析的關鍵問題及研究現狀 376

8.1.1 會議群體動作分析中的關鍵問題 377

8.1.2 會議動作自動分析的研究現狀 380

8.1.3 基於動態上下境模型的會議動作自動分析 382

8.2 面向群體互動行為分析的動態上下境模型 383

8.2.1 群體互動行為分析中的上下境定義 384

8.2.2 動態上下境的分層結構 385

8.2.3 動態上下境的模型的結構 388

8.2.4 動態上下境模型的運行機制 390

8.3 覺察上下境的多目標檢測與跟蹤算法 391

8.3.1 方法概述 393

8.3.2 人體檢測 396

8.3.3 人體跟蹤 399

8.3.4 高層上下境推理 402

8.3.5 個體局部特徵檢測 403

8.3.6 實驗結果 404

8.4 事件驅動的多層次DBN模型 410

8.4.1 群體互動場景中的事件檢測 411

8.4.2 事件驅動的多層次DBN模型 412

8.4.3 實驗結果 420

8.5 基於動態上下境的多層次事件自適應檢測方法 426

8.5.1 群體互動場景中的事件層次與處理粒度 427

8.5.2 多層次事件自適應檢測方法 428

8.5.3 多層次事件自適應檢測方法在會議分析中的套用 433

8.6 小結 445

參考文獻 446

第9章 支持覺察上下境計算的分散式多模態信息系統 451

9.1 引論 451

9.2 面向套用的服務共享模型（A-SSM） 452

9.2.1 模型總體框架 452

9.2.2 模型組成定義 453

9.2.3 基於本體論的計算服務資源管理 455

9.3 基於服務質量（QoS）的計算服務資源選擇策略 458

9.3.1 QoS計算參考公式 458

9.3.2 基於層次分析法（AHP）理論估計屬性權重 459

9.3.3 計算服務資源選擇算法 460

9.4 適應服務共享模型的覺察上下境計算 461

9.4.1 覺察上下境計算的“基元” 461

9.4.2 覺察上下境計算算法的“基元”化組織 466

9.5 分散式覺察上下境計算系統的總體結構設計 467

9.6 分散式處理的總體結構設計 468

9.6.1 數據/信息處理分析 468

9.6.2 服務進程設計 469

9.7 通用化平台的實現 471

9.8 日常行為理解與隱式互動實例研究 473

9.8.1 系統測試實驗 473

9.8.2 隱式互動實驗環境及硬體配置 475

9.8.3 實驗數據的採集 476

9.8.4 實驗數據的標註 479

9.8.5 知識輔助行為推理方法的實施 480

9.9 小結 482

參考文獻 483

附錄A 三維圓柱人體模型 486

附錄B 攝像機偏離引起的包容形狀誤差分析 488