本書定位於企業級私有雲數據中心的規劃、實施與運維服務體系建設，並配合實踐用例系統地介紹國內外雲計算進展和數據中心向雲計算的演變趨勢，以及實現雲計算特徵的關鍵技術。本書分為4篇，第1篇系統介紹雲計算背景、原理、數據中心發展趨勢、主流架構等；第2篇介紹伺服器虛擬化技術,KVM、vmware；第3篇介紹雲計算架構，重點內容有私有雲資源平台架構、服務交付架構、運維流程架構、IaaS最佳實踐等；第4篇介紹Hadoop平台，主要內容有分散式檔案系統(HDFS)、分散式計算框架(MapReduce)、分散式非關係型資料庫(HBase)3個平台的搭建、部署、原理、使用、編程等。
基本介紹
- 書名：雲計算：從基礎架構到最佳實踐
- 作者：祁偉 劉冰 路士華 馮德林
- ISBN：9787302331216
- 出版社：清華大學出版社
- 裝幀：平裝
- 印刷日期：2013-7-24
- 印次：1-1
簡介,圖書目錄,
簡介
本書定位於企業級私有雲數據中心的規劃、實施與運維服務體系建設，並配合實踐用例系統地介紹國內外雲計算進展和數據中心向雲計算的演變趨勢，以及實現雲計算特徵的關鍵技術。本書分為4篇，第1篇系統介紹雲計算背景、原理、數據中心發展趨勢、主流架構等；第2篇介紹伺服器虛擬化技術；第3篇介紹雲計算架構，重點內容有私有雲資源平台架構、服務交付架構、運維流程架構、IaaS最佳實踐等；第4篇介紹Hadoop平台，主要內容有分散式檔案系統(HDFS)、分散式計算框架(MapReduce)、分散式非關係型資料庫(HBase)3個平台的搭建、部署、原理、使用、編程等。
圖書目錄
目 錄
第1篇 概 述
第1章 雲計算概述 1
1.1 從案例看雲計算 2
1.2 從服務產品看雲計算 4
1.2.1 Amazon雲計算服務簡介 4
1.2.2 Google雲計算服務簡介 6
1.2.3 Salesforce雲計算服務簡介 8
1.2.4 雲計算服務 8
1.3 計算模式的演變 9
1.4 “雲端”計算 11
1.5 並行計算 12
1.5.1 MPI函式 13
1.5.2 MapReduce算法 14
1.5.3 MPI的遺留問題 15
1.6 Hadoop 16
1.6.1 Hadoop的構造 17
1.6.2 HDFS檔案系統 18
1.6.3 MapReduce計算架構 20
1.6.4 Hadoop的局限 21
1.7 網際網路雲計算 21
1.8 傳統IT雲計算 22
1.9 虛擬化 23
1.9.1 資源池化 23
1.9.2 動態資源調度 25
1.10 有關雲計算的參考資料 28
1.11 小結 29
第2篇 虛 擬 化
第2章 擁抱虛擬化 31
2.1 為什麼選擇虛擬化 32
2.1.1 當前困境 32
2.1.2 虛擬化帶來的價值 32
2.1.3 可選的虛擬化架構 33
2.2 虛擬化技術 36
2.2.1 虛擬化概述 36
2.2.2 虛擬化特性 37
2.2.3 伺服器虛擬化分類 38
2.3 VMware與虛擬化功能介紹 39
2.3.1 VMware介紹 39
2.3.2 vSphere組件 40
2.3.3 物理拓撲 41
2.3.4 虛擬數據中心 42
2.3.5 計算與記憶體資源 43
2.3.6 網路資源 44
2.3.7 存儲資源 46
2.3.8 資源管理 47
2.3.9 分散式服務 49
2.4 其他虛擬化平台 51
2.4.1 Hyper-V平台 51
2.4.2 KVM平台 54
2.4.3 XEN介紹 56
2.4.4 VirtualBox介紹 57
2.4.5 OpenVZ介紹 58
2.4.6 非主流虛擬化平台 58
2.5 小結 59
第3章 虛擬化實踐進階 61
3.1 基於VMware的IaaS架構 62
3.1.1 VMware 數據中心架構 62
3.1.2 目標與定位 65
3.2 環境準備 66
3.2.1 基礎環境介紹 66
3.2.2 虛擬化節點部署 67
3.2.3 客戶端部署 70
3.2.4 虛擬化管理平台部署 71
3.3 虛擬主機創建的實踐 74
3.3.1 虛擬主機創建 74
3.3.2 虛擬主機編輯 77
3.3.3 作業系統部署 81
3.3.4 虛擬網路設定 82
3.4 簡單虛擬主機管理 86
3.4.1 虛擬主機導入 86
3.4.2 虛擬主機導出與快照 88
3.4.3 性能監控 89
3.5 小結 91
第4章 虛擬化高級管理 93
4.1 集群管理 94
4.1.1 集群創建 94
4.1.2 為集群添加物理主機 103
4.1.3 資源池管理 104
4.2 共享存儲池 106
4.2.1 共享存儲 106
4.2.2 案例：iSCSI共享存儲
搭建 109
4.3 虛擬主機高級套用 112
4.3.1 虛擬主機批量部署 112
4.3.2 虛擬主機熱遷移 113
4.4 多租戶及自助管理 116
4.4.1 多租戶案例 116
4.4.2 用戶自助服務 118
4.5 小結 120
第5章 虛擬化編程 121
5.1 ESX命令詳解 122
5.1.1 命令行管理接口介紹 122
5.1.2 ESX命令列表 125
5.2 命令管理實踐 127
5.2.1 虛擬主機管理 127
5.2.2 虛擬化網路管理 130
5.2.3 其他管理 135
5.3 腳本編程 137
5.3.1 虛擬主機狀態檢測 137
5.3.2 創建虛擬主機 140
5.3.3 批量複製虛擬主機 142
5.3.4 自動化備份 143
5.3.5 自動警告接口 145
5.4 PowerCLI與WebService 147
5.4.1 PowerCLI 147
5.4.2 WebService 152
5.4.3 Java SDK開發 153
5.5 小結 156
第6章 開源虛擬化平台 157
6.1 KVM詳解 158
6.1.1 KVM的主要功能及意義 158
6.1.2 環境準備與KVM安裝 159
6.1.3 KVM虛擬主機管理 160
6.2 KVM的命令 165
6.2.1 qemu-img 165
6.2.2 qemu-kvm 168
6.2.3 virsh 170
6.3 腳本與API接口 175
6.3.1 腳本實踐：虛擬化互動式
創建 175
6.3.2 腳本實踐：虛擬主機狀態
監測 177
6.3.3 Libvirt接口介紹 179
6.4 KVM虛擬平台開發案例 180
6.4.1 需求與架構 180
6.4.2 外掛程式配置與調用模組設計 181
6.4.3 用戶互動模組設計 183
6.4.4 幫助模組設計 183
6.4.5 運行與測試 184
6.5 小結 186
第3篇 雲計算架構
第7章 雲計算基礎架構 187
7.1 基礎架構概述 188
7.2 雲計算資源架構 188
7.2.1 資源需求 188
7.2.2 物理資源置備 190
7.2.3 資源池規劃 192
7.3 雲計算服務交付 194
7.3.1 服務目錄製訂 194
7.3.2 性能與容量管理 196
7.3.3 可用性管理 197
7.3.4 持續性管理 198
7.3.5 服務水平管理 198
7.3.6 安全管理 199
7.3.7 服務度量 200
7.3.8 自服務管理 200
7.4 雲計算運維流程建設 201
7.4.1 實施指導 201
7.4.2 實施路徑 203
7.4.3 配置流程管理 205
7.4.4 變更流程管理 206
7.4.5 服務台與事件流程管理 206
7.4.6 問題流程管理 207
7.4.7 團隊管理 208
7.5 小結 208
第8章 雲計算存儲架構 209
8.1 共享存儲模型 210
8.2 磁碟存儲陣列 212
8.2.1 磁碟存儲介質 212
8.2.2 RAID磁碟組 214
8.2.3 存儲邏輯單元 218
8.3 存儲網路 220
8.3.1 FC存儲網路 221
8.3.2 IP存儲網路 227
8.3.3 存儲虛擬化網關 232
8.4 已分享檔案系統 232
8.4.1 集群檔案系統 233
8.4.2 網路檔案系統 237
8.5 共享存儲架構 238
8.6 小結 239
第9章 雲計算網路架構 241
9.1 網路總體架構 242
9.2 接入層網路 245
9.2.1 物理架構 245
9.2.2 邏輯隔離 247
9.2.3 關於VLAN 250
9.3 主機網路虛擬化 252
9.3.1 虛擬交換機 253
9.3.2 分散式虛擬交換機 257
9.4 網路流量平面 259
9.4.1 IP數據平面 259
9.4.2 控制平面 261
9.4.3 管理平面 262
9.4.4 主機流量平面 262
9.5 小結 263
第10章 IaaS最佳實踐 265
10.1 私有雲基礎架構方案 266
10.1.1 私有雲實施動力與目標 266
10.1.2 演進路線與邏輯架構 267
10.1.3 存儲資源 268
10.1.4 計算資源 272
10.1.5 網路資源 274
10.1.6 虛擬化及自助服務設計 275
10.2 IaaS實施實踐 275
10.2.1 環境準備 276
10.2.2 存儲實施 276
10.2.3 網路實施 277
10.2.4 虛擬化及伺服器實施 278
10.2.5 管理平台實施 278
10.3 演示與驗證 282
10.3.1 終端用戶體驗 282
10.3.2 運維與業務管理人員體驗 284
10.3.3 高級管理體驗 287
10.4 小結 289
第4篇 Hadoop
第11章 分散式雲存儲 291
11.1 分散式檔案系統 292
11.1.1 什麼是分散式檔案系統 292
11.1.2 分散式檔案系統的特點 293
11.1.3 常見分散式檔案系統 293
11.1.4 Windows DFS部署 295
11.2 Hadoop的HDFS平台 299
11.2.1 Hadoop介紹 299
11.2.2 HDFS的設計原則 302
11.2.3 HDFS的架構與組成 303
11.2.4 HDFS的數據存取流程 307
11.3 HDFS偽分散式部署 308
11.3.1 環境與基礎信息配置 308
11.3.2 Java安裝與部署 310
11.3.3 SSH配置 310
11.3.4 HDFS的部署 312
11.3.5 HDFS的測試 314
11.4 HDFS的控制與編程 315
11.4.1 HDFS的命令集 315
11.4.2 HDFS的命令實踐 319
11.4.3 HDFS的編程接口 320
11.4.4 HDFS的編程示例 322
11.5 小結 325
第12章 分散式雲計算 327
12.1 MapReduce簡介 328
12.1.1 MapReduce的原理 328
12.1.2 Hadoop的MapReduce 329
12.1.3 MapReduce控制與命令 330
12.2 MapReduce集群部署 332
12.2.1 環境準備 333
12.2.2 Java環境安裝 334
12.2.3 SSH配置 334
12.2.4 Hadoop的安裝 335
12.2.5 Hadoop的啟動與測試 336
12.3 MapReduce開發接口 338
12.3.1 MapReduce編程框架 338
12.3.2 統計訪問量的Java示例 340
12.3.3 Streaming機制示例 343
12.4 小結 347
第13章 非關係型資料庫 349
13.1 NoSQL 350
13.1.1 NoSQL介紹 350
13.1.2 NoSQL原理 351
13.1.3 NoSQL項目 352
13.2 HBase的基礎操作 353
13.2.1 Hadoop的HBase 353
13.2.2 HBase的安裝與部署 354
13.2.3 HBase的常用命令 356
13.2.4 HBase的命令實踐 357
13.3 HBase的數據模型與架構 360
13.3.1 HBase的數據模型 360
13.3.2 HBase的表與區域 361
13.3.3 HBase的系統架構 362
13.4 HBase的套用實踐 364
13.4.1 HBase的開發接口 364
13.4.2 HBase套用開發實踐 366
13.5 小結 370
第1篇 概 述
第1章 雲計算概述 1
1.1 從案例看雲計算 2
1.2 從服務產品看雲計算 4
1.2.1 Amazon雲計算服務簡介 4
1.2.2 Google雲計算服務簡介 6
1.2.3 Salesforce雲計算服務簡介 8
1.2.4 雲計算服務 8
1.3 計算模式的演變 9
1.4 “雲端”計算 11
1.5 並行計算 12
1.5.1 MPI函式 13
1.5.2 MapReduce算法 14
1.5.3 MPI的遺留問題 15
1.6 Hadoop 16
1.6.1 Hadoop的構造 17
1.6.2 HDFS檔案系統 18
1.6.3 MapReduce計算架構 20
1.6.4 Hadoop的局限 21
1.7 網際網路雲計算 21
1.8 傳統IT雲計算 22
1.9 虛擬化 23
1.9.1 資源池化 23
1.9.2 動態資源調度 25
1.10 有關雲計算的參考資料 28
1.11 小結 29
第2篇 虛 擬 化
第2章 擁抱虛擬化 31
2.1 為什麼選擇虛擬化 32
2.1.1 當前困境 32
2.1.2 虛擬化帶來的價值 32
2.1.3 可選的虛擬化架構 33
2.2 虛擬化技術 36
2.2.1 虛擬化概述 36
2.2.2 虛擬化特性 37
2.2.3 伺服器虛擬化分類 38
2.3 VMware與虛擬化功能介紹 39
2.3.1 VMware介紹 39
2.3.2 vSphere組件 40
2.3.3 物理拓撲 41
2.3.4 虛擬數據中心 42
2.3.5 計算與記憶體資源 43
2.3.6 網路資源 44
2.3.7 存儲資源 46
2.3.8 資源管理 47
2.3.9 分散式服務 49
2.4 其他虛擬化平台 51
2.4.1 Hyper-V平台 51
2.4.2 KVM平台 54
2.4.3 XEN介紹 56
2.4.4 VirtualBox介紹 57
2.4.5 OpenVZ介紹 58
2.4.6 非主流虛擬化平台 58
2.5 小結 59
第3章 虛擬化實踐進階 61
3.1 基於VMware的IaaS架構 62
3.1.1 VMware 數據中心架構 62
3.1.2 目標與定位 65
3.2 環境準備 66
3.2.1 基礎環境介紹 66
3.2.2 虛擬化節點部署 67
3.2.3 客戶端部署 70
3.2.4 虛擬化管理平台部署 71
3.3 虛擬主機創建的實踐 74
3.3.1 虛擬主機創建 74
3.3.2 虛擬主機編輯 77
3.3.3 作業系統部署 81
3.3.4 虛擬網路設定 82
3.4 簡單虛擬主機管理 86
3.4.1 虛擬主機導入 86
3.4.2 虛擬主機導出與快照 88
3.4.3 性能監控 89
3.5 小結 91
第4章 虛擬化高級管理 93
4.1 集群管理 94
4.1.1 集群創建 94
4.1.2 為集群添加物理主機 103
4.1.3 資源池管理 104
4.2 共享存儲池 106
4.2.1 共享存儲 106
4.2.2 案例：iSCSI共享存儲
搭建 109
4.3 虛擬主機高級套用 112
4.3.1 虛擬主機批量部署 112
4.3.2 虛擬主機熱遷移 113
4.4 多租戶及自助管理 116
4.4.1 多租戶案例 116
4.4.2 用戶自助服務 118
4.5 小結 120
第5章 虛擬化編程 121
5.1 ESX命令詳解 122
5.1.1 命令行管理接口介紹 122
5.1.2 ESX命令列表 125
5.2 命令管理實踐 127
5.2.1 虛擬主機管理 127
5.2.2 虛擬化網路管理 130
5.2.3 其他管理 135
5.3 腳本編程 137
5.3.1 虛擬主機狀態檢測 137
5.3.2 創建虛擬主機 140
5.3.3 批量複製虛擬主機 142
5.3.4 自動化備份 143
5.3.5 自動警告接口 145
5.4 PowerCLI與WebService 147
5.4.1 PowerCLI 147
5.4.2 WebService 152
5.4.3 Java SDK開發 153
5.5 小結 156
第6章 開源虛擬化平台 157
6.1 KVM詳解 158
6.1.1 KVM的主要功能及意義 158
6.1.2 環境準備與KVM安裝 159
6.1.3 KVM虛擬主機管理 160
6.2 KVM的命令 165
6.2.1 qemu-img 165
6.2.2 qemu-kvm 168
6.2.3 virsh 170
6.3 腳本與API接口 175
6.3.1 腳本實踐：虛擬化互動式
創建 175
6.3.2 腳本實踐：虛擬主機狀態
監測 177
6.3.3 Libvirt接口介紹 179
6.4 KVM虛擬平台開發案例 180
6.4.1 需求與架構 180
6.4.2 外掛程式配置與調用模組設計 181
6.4.3 用戶互動模組設計 183
6.4.4 幫助模組設計 183
6.4.5 運行與測試 184
6.5 小結 186
第3篇 雲計算架構
第7章 雲計算基礎架構 187
7.1 基礎架構概述 188
7.2 雲計算資源架構 188
7.2.1 資源需求 188
7.2.2 物理資源置備 190
7.2.3 資源池規劃 192
7.3 雲計算服務交付 194
7.3.1 服務目錄製訂 194
7.3.2 性能與容量管理 196
7.3.3 可用性管理 197
7.3.4 持續性管理 198
7.3.5 服務水平管理 198
7.3.6 安全管理 199
7.3.7 服務度量 200
7.3.8 自服務管理 200
7.4 雲計算運維流程建設 201
7.4.1 實施指導 201
7.4.2 實施路徑 203
7.4.3 配置流程管理 205
7.4.4 變更流程管理 206
7.4.5 服務台與事件流程管理 206
7.4.6 問題流程管理 207
7.4.7 團隊管理 208
7.5 小結 208
第8章 雲計算存儲架構 209
8.1 共享存儲模型 210
8.2 磁碟存儲陣列 212
8.2.1 磁碟存儲介質 212
8.2.2 RAID磁碟組 214
8.2.3 存儲邏輯單元 218
8.3 存儲網路 220
8.3.1 FC存儲網路 221
8.3.2 IP存儲網路 227
8.3.3 存儲虛擬化網關 232
8.4 已分享檔案系統 232
8.4.1 集群檔案系統 233
8.4.2 網路檔案系統 237
8.5 共享存儲架構 238
8.6 小結 239
第9章 雲計算網路架構 241
9.1 網路總體架構 242
9.2 接入層網路 245
9.2.1 物理架構 245
9.2.2 邏輯隔離 247
9.2.3 關於VLAN 250
9.3 主機網路虛擬化 252
9.3.1 虛擬交換機 253
9.3.2 分散式虛擬交換機 257
9.4 網路流量平面 259
9.4.1 IP數據平面 259
9.4.2 控制平面 261
9.4.3 管理平面 262
9.4.4 主機流量平面 262
9.5 小結 263
第10章 IaaS最佳實踐 265
10.1 私有雲基礎架構方案 266
10.1.1 私有雲實施動力與目標 266
10.1.2 演進路線與邏輯架構 267
10.1.3 存儲資源 268
10.1.4 計算資源 272
10.1.5 網路資源 274
10.1.6 虛擬化及自助服務設計 275
10.2 IaaS實施實踐 275
10.2.1 環境準備 276
10.2.2 存儲實施 276
10.2.3 網路實施 277
10.2.4 虛擬化及伺服器實施 278
10.2.5 管理平台實施 278
10.3 演示與驗證 282
10.3.1 終端用戶體驗 282
10.3.2 運維與業務管理人員體驗 284
10.3.3 高級管理體驗 287
10.4 小結 289
第4篇 Hadoop
第11章 分散式雲存儲 291
11.1 分散式檔案系統 292
11.1.1 什麼是分散式檔案系統 292
11.1.2 分散式檔案系統的特點 293
11.1.3 常見分散式檔案系統 293
11.1.4 Windows DFS部署 295
11.2 Hadoop的HDFS平台 299
11.2.1 Hadoop介紹 299
11.2.2 HDFS的設計原則 302
11.2.3 HDFS的架構與組成 303
11.2.4 HDFS的數據存取流程 307
11.3 HDFS偽分散式部署 308
11.3.1 環境與基礎信息配置 308
11.3.2 Java安裝與部署 310
11.3.3 SSH配置 310
11.3.4 HDFS的部署 312
11.3.5 HDFS的測試 314
11.4 HDFS的控制與編程 315
11.4.1 HDFS的命令集 315
11.4.2 HDFS的命令實踐 319
11.4.3 HDFS的編程接口 320
11.4.4 HDFS的編程示例 322
11.5 小結 325
第12章 分散式雲計算 327
12.1 MapReduce簡介 328
12.1.1 MapReduce的原理 328
12.1.2 Hadoop的MapReduce 329
12.1.3 MapReduce控制與命令 330
12.2 MapReduce集群部署 332
12.2.1 環境準備 333
12.2.2 Java環境安裝 334
12.2.3 SSH配置 334
12.2.4 Hadoop的安裝 335
12.2.5 Hadoop的啟動與測試 336
12.3 MapReduce開發接口 338
12.3.1 MapReduce編程框架 338
12.3.2 統計訪問量的Java示例 340
12.3.3 Streaming機制示例 343
12.4 小結 347
第13章 非關係型資料庫 349
13.1 NoSQL 350
13.1.1 NoSQL介紹 350
13.1.2 NoSQL原理 351
13.1.3 NoSQL項目 352
13.2 HBase的基礎操作 353
13.2.1 Hadoop的HBase 353
13.2.2 HBase的安裝與部署 354
13.2.3 HBase的常用命令 356
13.2.4 HBase的命令實踐 357
13.3 HBase的數據模型與架構 360
13.3.1 HBase的數據模型 360
13.3.2 HBase的表與區域 361
13.3.3 HBase的系統架構 362
13.4 HBase的套用實踐 364
13.4.1 HBase的開發接口 364
13.4.2 HBase套用開發實踐 366
13.5 小結 370
