本書是“十二五”普通高等教育本科國家級規劃教材，且為教育部評選的“2008年度普通高等教育精品教材”。 本書系統地論述了香農資訊理論基本理論及某些套用問題，基本覆蓋了資訊理論的各個方面的內容。
基本介紹
- 書名：資訊理論——基礎理論與套用（第4版）
- ISBN：9787121247057
- 出版社：電子工業出版社
- 出版時間：2015-02-01
圖書內容,目 錄,
圖書內容
本書是“十二五”普通高等教育本科國家級規劃教材，且為教育部評選的“2008年度普通高等教育精品教材”。 本書系統地論述了香農資訊理論基本理論及某些套用問題，基本覆蓋了資訊理論的各個方面的內容。
內容包括：信息的定義和度量；各類離散信源和連續信源的信息熵；有記憶、無記憶、離散和連續信道的信道容量；香農資訊理論的三個基本定理：無失真信源編碼定理、限失真信源編碼定理和信道編碼定理；網路信息理論及保密系統的信息理論。本書還介紹了無失真數據壓縮(即無失真信源編碼)的實用的編碼算法與方法，以及信道糾錯編碼的基本內容和分析方法；最後簡要地介紹了資訊理論與熱力學、光學、統計學、生物學和醫學等其他學科交叉結合的套用內容。尤其是新增第13章,介紹量子力學與信息理論交叉結合而飛速發展起來，又極具誘人前景的量子信息科學。
目 錄
第1章 緒論
1.1 信息的概念
1.2 資訊理論研究的對象、目的和內容
1.3 資訊理論發展簡史與信息科學
第2章 離散信源及其信息測度
2.1 信源的數學模型及分類
2.2 離散信源的信息熵
2.2.1 自信息
2.2.2 信息熵
2.3 信息熵的基本性質
2．4 信息熵的唯一性定理
2.5 離散無記憶的擴展信源
2.6 離散平穩信源
2.6.1 離散平穩信源的數學定義
2.6.2 二維離散平穩信源及其信息熵
2.6.3 離散平穩信源的極限熵
2.7 馬爾可夫信源
2.7.1 馬爾可夫信源和m階馬爾可夫信源的定義
2.7.2 馬爾可夫信源和m階馬爾可夫信源的信息熵
2.8 信源剩餘度與自然語言的熵
2．9 意義信息和加權熵
小結
習題
第3章 離散信道及其信道容量
3．1 信道的數學模型及分類
3．1．1 信道的分類
3．1．2 離散信道的數學模型
3．1．3 單符號離散信道的數學模型
3．2 平均互信息及平均條件互信息
3．2．1 信道疑義度
3．2．2 平均互信息
3．2．3 平均條件互信息
3．3 平均互信息的特性
3．4 信道容量及其一般計算方法
3．4．1 離散無噪信道的信道容量
3．4．2 對稱離散信道的信道容量
3．4．3 準對稱信道的信道容量
3．4．4 一般離散信道的信道容量
3．5 信道容量的疊代算法
3．5．1 信道容量的疊代算法
3．5．2 信道容量疊代算法的收斂性
3．6 離散無記憶擴展信道及其信道容量
3．7 獨立並聯信道及其信道容量
3．8 串聯信道的互信息和數據處理定理
3．9 信源與信道的匹配
小結
習題
第4章 波形信源和波形信道
4.1 波形信源的統計特性和離散化
4.2 連續信源和波形信源的信息測度
4.2.1 連續信源的差熵
4.2.2 連續平穩信源和波形信源的差熵
4.2.3 兩種特殊連續信源的差熵
4.3 連續信源熵的性質及最大差熵定理
4.3.1 差熵的性質
4.3.2 具有最大差熵的連續信源
4.4 連續信源熵的變換
4.4.1 坐標變換後機率密度函式的變化
4.4.2 坐標變換後差熵的變化
4.5 熵功率
4.6 連續信道和波形信道的分類
4.6.1 按信道輸入和輸出的統計特性分類
4.6.2 按噪聲的統計特性分類
4.6.3 按噪聲對信號的作用功能分類
4.7 連續信道和波形信道的信息傳輸率
4.7.1 基本連續信道的平均互信息
4.7.2 多維連續信道的平均互信息
4.7.3 波形信道的信息傳輸率
4.7.4 連續信道平均互信息的特性
4.8 連續信道和波形信道的信道容量
4.8.1 單符號高斯加性信道
4.8.2 單符號非高斯加性信道
4.8.3 多維無記憶高斯加性連續信道
4.8.4 多維有記憶高斯加性連續信道
4.8.5 限帶高斯白噪聲加性波形信道
4.8.6 有色高斯加性波形信道
4.8.7 香農公式的重要實際指導意義
小結
習題
第5章 無失真信源編碼定理
5.1 編碼器
5.2 等長碼
5.3 漸近等分割性和ε典型序列
5.4 等長信源編碼定理
5.5 變長碼
5.5.1 唯一可譯變長碼與即時碼
5.5.2 即時碼的樹圖構造法
5.5.3 克拉夫特(Kraft)不等式
5.5.4 唯一可譯變長碼的判斷法
5.6 變長信源編碼定理
小結
習題
第6章 有噪信道編碼定理
6.1 錯誤機率和解碼規則
6.2 錯誤機率與編碼方法
6.3 聯合ε典型序列
6.4 有噪信道編碼定理
6.5 聯合信源信道編碼定理
小結
習題
第7章 保真度準則下的信源編碼
7.1 失真度和平均失真度
7.1.1 失真度
7．1．2 平均失真度
7.2 信息率失真函式及其性質
7.2.1 信息率失真函式
7．2．2 信息率失真函式的性質
7.3 二元信源和離散對稱信源的R(D) 函式
7.3.1 二元對稱信源的R(D)函式
7.3.2 離散對稱信源的R(D)函式
7.4 信息率失真函式的參量表述及其計算
*7.5 信息率失真函式的疊代算法
7.6 連續信源的信息率失真函式
7.6.1 連續信源的信息率失真函式
7.6.2 高斯信源的信息率失真函式
*7.6.3 連續信源R(D)函式的參量表述及其計算
7.7 保真度準則下的信源編碼定理
*7.7.1 失真ε典型序列
*7.7.2 保真度準則下信源編碼定理的證明
7．8 聯合有失真信源信道編碼定理
7.9 限失真信源編碼定理的實用意義
小結
習題
第8章 無失真的信源編碼
8.1 霍夫曼（Huffman）碼
8.1.1 二元霍夫曼碼
8.1.2 r元霍夫曼碼
8.1.3 霍夫曼碼的最佳性
8.2 費諾（Fano）碼
8.3 香農-費諾-埃利斯碼
8.4 遊程編碼和MH編碼
8.4.1 遊程編碼
8.4.2 MH編碼
8.5 算術編碼
8.6 字典碼
8.6.1 LZ77編碼算法
8.6.2 LZ78編碼算法
8.6.3 LZW編碼算法
8.6.4 LZ碼複雜度和性能分析
小結
習題
第9章 信道的糾錯編碼
9.1 差錯控制的基本形式
9.2 糾錯碼分類及基本概念
9.2.1 糾錯碼分類
9.2.2 糾錯碼的基本概念及其糾錯能力
9.3 線性分組碼
9.3.1 一致校驗矩陣和生成矩陣
9.3.2 伴隨式及標準陣列解碼
9.3.3 漢明碼
9.4 循環碼
9.4.1 循環碼結構及其多項式描述
9.4.2 循環碼的生成多項式和生成矩陣
9.4.3 循環碼的校驗多項式和伴隨式
9.4.4 循環碼的編、解碼器
9.5 卷積碼
9.5.1 卷積碼的解析表示
9.5.2 卷積碼的圖解表示
小結
習題
第10章 網路資訊理論
10.1 通信網信道的分類
10.2 多個隨機變數的聯合典型序列
10．3 相關信源編碼
10.4 多址接入信道
10.4.1 離散多址接入信道
10.4.2 多址接入高斯噪聲信道
10.5 相關信源和多址接入信道
10.5.1 相關信源和多址接入信道的對偶性
10.5.2 相關信源的多址接入信道
10.6 廣播信道
*10.7 中繼信道
*10.8 具有邊信息的信源編碼
-*10.9 具有邊信息的數據壓縮
小結
習題
第11章 保密系統的基本信息理論
11.1 保密學的基本概念
11.2 保密系統的數學模型
11.3 古典密碼體制
11.3.1 單表密碼
11.3.2 移位代換密碼
11.3.3 乘數密碼
11.3.4 固定周期d的位移置換
11.3.5 多表代換密碼
11.4 完全保密性
11.5 理論保密性
11.6 實際保密性
小結
習題
第12章 資訊理論與其他學科的關係和套用
12.1 信息熵與熱力學熵
12.2 資訊理論與光學
12.2.1 光學信息量
12.2.2 光量子信道的信道容量
12.2.3 最大熵光學圖像恢復
12.3 最大熵原理與譜估計
12.3.1 高斯隨機過程的熵率
12.3.2 伯格的最大熵定理
12.4 資訊理論與生命科學
12.4.1 DNA到蛋白質的通信系統
12.4.2 信息係數與信息分類
12.4.3 醫學中的信息分析
小結
第13章 量子信息科學簡介
13.1 量子力學的基本概念
13.1.1 波粒二重性和光量子
13.1.2 波函式和量子態
13.1.3 量子態疊加原理
13.1.4 量子測量與量子態塌縮
13.1.5 測不準原理
13.1.6 量子糾纏和糾纏態
13.1.7 量子隱形傳態
13.2 量子通信與量子保密通信
13.2.1 量子通信的基本概念
13.2.2 量子通信的優越性
13.2.3 量子通信的發展現狀與前景
13.3 量子資訊理論
13.3.1 量子比特
13.3.2 量子信息中的馮諾依曼熵
13.3.3 量子信源編碼定理
13.3.4 量子信道的信道編碼
附錄
附錄A 凸函式和詹森不等式
附錄B 馬爾可夫鏈
B.1 馬爾可夫鏈的定義
B.2 轉移機率和轉移矩陣
B.3 各態歷經定理
附錄C 熵函式的函式表
附錄D 所用符號及編寫說明
參考書目和文獻
