《物聯網大數據處理技術與實踐》是2017年電子工業出版社出版的圖書，作者是王桂玲。
基本介紹
- 書名：物聯網大數據處理技術與實踐
- 作者：王桂玲等
- ISBN：9787121324215
- 頁數：244
- 出版社：電子工業出版社
- 出版時間：2017-08
- 開本：16開
內容簡介,目錄,
內容簡介
本書基於作者近幾年來的研究開發成果及套用實踐，對物聯網大數據技術體系進行了系統歸納，闡述了物聯網環境下感知數據的特性、數據模型、事務模型以及調度處理方法等核心概念及關鍵技術，並對物聯網大數據存儲、管理、計算與分析的基本概念和關鍵技術進行了剖析。本書還介紹了自行研發的面向物聯網的ChinDB實時感知資料庫系統以及針對雲計算環境下物聯網大數據管理與套用的DeCloud雲平台，介紹了它們在智慧型交通、智慧型電廠、教育、安全監控等多個行業的套用。書中所有實例，均來自作者所在團隊的實際套用，大部分在物聯網項目中得到了實踐套用。本書對物聯網套用的開發以及兩化融合、工業4.0環境下的大數據處理分析具有重要參考價值。
目錄
第1篇 緣起與發展趨勢篇
第1章 物聯網與產業發展 3
1.1 物聯網產業的發展 3
1.1.1 感測器與智慧型硬體 4
1.1.2 物聯網服務平台 5
1.1.3 工業4.0與CPS 5
1.2 物聯網與大數據 7
1.3 物聯網產業的機遇與挑戰 9
1.3.1 物聯網產業面臨的挑戰 9
1.3.2 物聯網作業系統與資料庫 10
1.3.3 物聯網大數據處理與套用 11
第2章 大數據處理技術的發展 12
2.1 大數據存儲和管理技術 12
2.1.1 面向大數據的檔案系統 13
2.1.2 面向大數據的資料庫系統 15
2.2 大數據計算技術 19
2.2.1 批處理計算模式 19
2.2.2 互動式查詢計算模式 20
2.2.3 流處理計算模式 21
2.2.4 大數據實時處理的架構：Lamda架構 23
2.3 大數據分析技術 24
2.3.1 傳統結構化數據分析 26
2.3.2 文本數據分析 26
2.3.3 多媒體數據分析 27
2.3.4 社交網路數據分析 27
2.3.5 物聯網感測數據分析 28
2.3.6 大數據分析技術的發展趨勢 28
第2篇 技術解析篇
第3章 物聯網大數據技術體系 31
3.1 物聯網中的大數據挑戰 31
3.1.1 網際網路大數據的特徵 31
3.1.2 物聯網大數據的特徵 34
3.2 技術體系 37
3.2.1 感知數據採集與傳輸 38
3.2.2 感知數據管理與實時計算 41
3.2.3 物聯網平台與大數據中心 42
第4章 感知數據特性與模型 44
4.1 感知數據的特性分析 44
4.1.1 常用的感知數據類型 44
4.1.2 感知數據的主要特徵 46
4.2 感知數據的表示與組織 49
4.2.1 物聯網數據模型 49
4.2.2 時態對象模型 51
4.3 感知資料庫的定位 52
4.3.1 感知資料庫的定位 52
4.3.2 感知資料庫的特徵 53
4.4 感知資料庫與傳統資料庫 53
4.4.1 感知資料庫與關係資料庫 53
4.4.2 感知資料庫與實時資料庫系統 54
4.4.3 感知資料庫與工廠資料庫系統 55
4.4.4 感知資料庫與流數據處理系統 55
第5章 感知資料庫管理系統 57
5.1 感知資料庫的總體設計 57
5.1.1 總體設計的主要原則 57
5.1.2 感知資料庫的設計框架 58
5.2 感知資料庫的分布部署體系 62
5.2.1 系統的集群部署模式 62
5.2.2 多層級的系統部署體系 64
5.2.3 服務分布的部署體系 66
5.3 感知資料庫中的關鍵技術 67
5.3.1 智慧型設備及感測器接口技術 67
5.3.2 流數據實時線上處理技術 68
5.3.3 事件驅動的高效處理機制 69
5.3.4 感知數據的壓縮存儲技術 75
第6章 實時事務調度處理技術 79
6.1 常見事務特性分析 79
6.1.1 感知事務 80
6.1.2 觸發事務 80
6.1.3 用戶事務 81
6.2 事務調度與並發控制 81
6.2.1 事務的調度方法 81
6.2.2 並發控制策略 82
6.3 伺服器與作業系統 83
6.3.1 伺服器體系結構與發展 83
6.3.2 作業系統的多任務機制 87
6.4 事務的執行框架與模式 90
6.4.1 通用系統模型與調度方法 91
6.4.2 事務處理框架的設計模式 91
6.5 系統框架的分析與性能最佳化 94
第7章 物聯網大數據存儲與管理 97
7.1 雲檔案系統的關鍵技術 99
7.1.1 HDFS的目標和基本假設條件 99
7.1.2 HDFS體系架構 100
7.1.3 性能保障 102
7.2 NoSQL資料庫關鍵技術 106
7.2.1 NoSQL資料庫概述 106
7.2.2 基於NoSQL資料庫的物聯網大數據存儲與管理 118
第8章 物聯網大數據計算與分析 123
8.1 物聯網大數據批處理計算 123
8.1.1 MapReduce的設計思想 124
8.1.2 MapReduce的工作機制 126
8.1.3 MapReduce在物聯網大數據中的套用 128
8.2 物聯網大數據互動式查詢 130
8.2.1 原生SQL on HBase 131
8.2.2 SQL on Hadoop 132
8.2.3 基於HBase的互動式查詢 133
8.3 物聯網大數據流式計算 134
8.3.1 流式計算的需求特點 134
8.3.2 流數據基本概念 135
8.3.3 流數據查詢操作 140
8.3.4 流數據定製化服務 142
8.3.5 評測基準 145
8.3.6 Spark Streaming及其在物聯網大數據中的套用 146
8.4 物聯網大數據分析 150
8.4.1 物聯網大數據OLAP多維分析 151
8.4.2 物聯網大數據深層次分析 157
第3篇 產品研發篇
第9章 物聯網網關CubeOne 175
9.1 工業物聯網網關 175
9.1.1 CubeOne產品概述 175
9.1.2 CubeOne功能特點 176
9.1.3 CubeOne的套用領域 178
9.2 無線感測器網路網關 178
9.2.1 無線感測器網路概述 178
9.2.2 ZigBee-WiFi網關 180
9.2.3 ZigBee網路套用案例 182
第10章 ChinDB感知資料庫系統 185
10.1 ChinDB系統概述 185
10.2 ChinDB組成與功能特點 186
10.3 ChinDB數據組織管理 188
10.3.1 標籤點及其屬性 188
10.3.2 標籤點的組織方式 189
10.3.3 關係數據管理 190
10.3.4 歷史數據管理 190
10.4 ECA規則與實時計算 191
10.5 ChinDB的HA方案 192
10.5.1 HA概述及模式分類 192
10.5.2 ChinDB HA的部署模式 193
10.6 物聯網套用平台 195
10.6.1 物聯網平台概述 195
10.6.2 平台主要特點 196
10.6.3 套用領域與套用案例 198
第11章 DeCloud物聯大數據云平台 202
11.1 DeCloud組成 202
11.1.1 軟體概述 202
11.1.2 通信服務 204
11.1.3 計算服務 206
11.1.4 存儲服務 207
11.1.5 數據發布/訂閱服務 208
11.2 DeCloud在智慧型交通領域的套用 209
11.3 DeCloud在教育物聯網雲服務平台中的套用 215
11.4 DeCloud在電廠設備故障預警的套用 218
11.5 DeCloud在電梯安全監控中的套用 222
11.6 DeCloud在高精度位置服務中的套用 225
總結與展望
