平均熵（mean entropy）是數學學科中的專業術語，指1993年經全國科學技術名詞審定委員會審定公布的數學名詞。
該術語收錄於《數學名詞》第一版，其命名及學科歸屬由權威學術機構審定確認。
基本介紹
- 中文名：平均熵
- 外文名：mean entropy
- 所屬學科：數學
- 公布時間：1993年
公布時間,出處,
公布時間
1993年，經全國科學技術名詞審定委員會審定發布。
出處
《數學名詞》第一版。
平均熵
相關詞條
- 平均熵
平均熵（mean entropy）是數學學科中的專業術語，指1993年經全國科學技術名詞審定委員會審定公布的數學名詞。該術語收錄於《數學名詞》第一版，其命名及學科歸屬由權威學術機構審定確認。公布時間1993年，經全國科學...
- 熵(是一個描述系統熱力學狀態的函式)
這個平均信息量即為香農熵。在資訊理論中，信息定義為 也稱為負熵。熵的測量 物質的熵只能通過熵測量法（entropymetry）間接測量。該方法限制於封閉系統中，使用熵來定義溫度，同時限制能量僅轉化為熱（即 ）。即：，再根據 測量熵。根據熱力學第三定律：凝聚系統的熵變在等溫可逆過程中隨溫度趨於零而趨於零，當物質...
- 熵率
的累積平均值將在0與1之間振盪，從而不存在極限。因此，該過程的 無定義。我們也可以定義熵率的一個相關的量(如果下列極限存在)：和 這兩個量反映了熵率概念的兩個不同方面。第一個量指的是n個隨機變數的每字元熵，而第二個量指在已知前面n-1隨機變數的情況下最後一個隨機變數的條件熵。重要定理 定理1 對...
- 熵(漢語二級字,物理學術語用字)
作為專業術語用字，熵在物理學中嚴格定義為：系統吸收的熱量（Q）與絕對溫度（T）的比值（S=Q/T），該公式量化了熱能轉化為有用功的效率極限。在資訊理論領域，漢字的熵值被用於衡量每個字元攜帶的平均信息量，據1994年語言學研究表明，漢字系統的熵值為9.65比特，高於拼音文字型系。套用領域 在文字識別技術中，熵...
- 熵指數
廣義熵指數表達式為：$$GE(\alpha)=\frac{1}{\alpha(\alpha-1)}\left[\frac{1}{n}\sum\left(\frac{y_i}{\mu}\right)^\alpha-1\right]$$ 其中$y_i$為個體收入，$\mu$為群體平均收入，$\alpha$為敏感度參數。當$\alpha$趨近0時，公式轉換為平均對數偏差指數：$$GE(0)=\frac{1}{n}\sum\...
- 平均方法
在物理探測領域，熵平均方法被套用於處理航空伽馬射線譜數據，以消除局部擾動。2019年國際會議上的一項研究探討了熵平均方法在航空伽馬射線譜中的套用。影響 在金融網路分析領域，為估計金融網路提出的最優模型平均方法通過最小化懲罰負對數似然準則的權重來平均候選模型的估計，被證明具有漸近最優性、權重收斂性和參數...
- 語言成分熵
漢字的熵隨著漢字容量的增加而增加，當漢字的容量大於12366時，漢字的熵就不再增加而穩定於9. 65bit.當考慮漢字彼此之間的影響時，還可以計算語言成分的極限熵.中國學者根據英漢雙語語料庫的文本容量對比，計算出漢字的極限熵介於3. 0212bit與5. 0713bit之間，其平均值為4. 0462bit，這個極限熵的值就是人們讀到...
- 信息熵
Shannon 借鑑了熱力學的概念，把信息中排除了冗餘後的平均信息量稱為“信息熵”，並給出了計算信息熵的數學表達式。基本內容 通常，一個信源傳送出什麼符號是不確定的，衡量它可以根據其出現的機率來度量。機率大，出現機會多，不確定性小；反之不確定性就大。不確定性函式f是機率P的減函式；兩個獨立符號所產生的...
- 平均場論
的參考系統對應的平衡態系綜取平均。如參考體系的哈密頓是無相互作用的，換言之，是如下形式：其中 代表系統中某個體的自由度。統計力學 統計力學（Statistical mechanics）是一個以玻爾茲曼等人提出以最大熵度理論為基礎，藉由配分函式將有大量組成成分（通常為分子）系統中微觀物理狀態（例如：動能、勢能）與巨觀物理量統
- 圖像熵
圖像熵（image entropy）是圖像“繁忙”程度的估計值。定義 圖像熵表示為圖像灰度級集合的比特平均數，單位比特/像素，也描述了圖像信源的平均信息量。對於離散形式的二維圖像，其信息熵的計算公式為：對於上式，其中，pi 為每一灰度級出現的機率。熵指的是體系的混亂的程度，對焦良好的圖像的熵大於沒有清晰對焦的...
- 熵力
把質量小的物體移開一點，他說，意味著改變了信息內容，或兩個質量體間的假想全息表面的熵（平均信息量）。這種信息變化與系統的能量變化有關。然後，利用統計數據研究小質量物體所有可能的運動和相關能量變化，Verlinde認為，小質量物體朝著大質量物體運動的傾向與熱力學運動非常類似。這種效應可以看作是有一股淨力將...
- 相對熵
上的兩個機率分布，則在離散和連續隨機變數的情形下，相對熵的定義分別為：推導 在信息理論中，相對熵是用來度量使用基於 的編碼來編碼來自 的樣本平均所需的額外的比特個數。典型情況下， 表示數據的真實分布， 表示數據的理論分布，模型分布，或 的近似分布。給定一個字元集的機率分布，我們可以設計一種編碼...
- 最大離散熵定理
該定理斷言:對於具有q個符號的離散信源，當q個信源符號出現的可能性相等時，信源的熵達到最大值，即 稱信源中的事件為等機率事件。即等機率分布的信源其平均不確定性最大。最大熵原理 最大熵原理是一種選擇隨機變數統計特性最符合客觀情況的準則，也稱為最大信息原理。隨機量的機率分布是很難測定的，一般只能測...
- 熵編碼
熵編碼即編碼過程中按熵原理不丟失任何信息的編碼。信息熵為信源的平均信息量（不確定性的度量）。常見的熵編碼有：香農(Shannon)編碼、哈夫曼(Huffman)編碼和算術編碼(arithmetic coding)。簡介 研究背景 數據壓縮技術的理論基礎就是資訊理論。資訊理論中的信源編碼理論解決的主要問題：（1）數據壓縮的理論極限；（2）...
- 香農熵
需要指出的是我們這裡講的 250 萬比特是個平均數，同樣長度的書，所含的信息量可以差很多。如果一本書重複的內容很多，它的信息量就小，冗餘度就大。不同語言的冗餘度差別很大，而漢語在所有語言中冗餘度是相對小的。這和人們普遍的認識“漢語是最簡潔的語言”是一致的。與熱熵的關係 熵這一名稱並不是香農首先...
- 條件熵
條件熵 條件熵 H(X|Y) 表示在已知隨機變數Y的條件下，隨機變數 X 的不確定性。定義 𝐻(X|Y)定義為在給定條件 𝑌 下，X 的條件機率分布的熵對 Y 的數學期望：性質 條件熵𝐻(X|Y)相當於聯合熵𝐻(𝑋,𝑌)減去單獨的熵𝐻(Y)，即 𝐻(X|Y)=𝐻(𝑋,𝑌)−𝐻(Y)
- 最大熵原理
離散信源情況下，等機率信源的熵為最大值。連續情形 連續信源在不同限制條件下的最大熵是不同的，在無限制的條件下，最大熵為無窮大。在具體套用中，只對連續信源的兩種情況感興趣，一是信源輸出幅度受限，即限峰功率情況；二是信源輸出平均功率受限。在限峰功率情況下，對於定義域為有限的隨機變數X，當它是均勻...
- 負熵
還有一個小機率事件對系統信息量的貢獻問題，也是具有熵定性的。例如一個農業上的作物抗病性實驗，1000株實驗作物，同時感染相同量的病菌，耗果999株中每株產生25～60個病斑，而另有一株一個病斑也沒有。如果試驗目的只是測定病菌的感染力，那么這一株不產生病斑的植株只是一點小小的噪聲，它對總體平均數的影響很...
- 有記憶信源
有記憶信源的熵需要用聯合機率來描述，記憶長度為L的信源，其熵用L維聯合機率分布函式計算：H(X1, X2, ..., XL) = − ∑ P(X1, X2, ..., XL) log P(X1, X2, ..., XL)，平均每個字元的熵為HL(X) = H(X1, X2, ..., XL) / L。如果把前面L−1個隨機變數作為條件，則可求得條件...
- equiprobable
在香農熵理論中，等機率事件使熵達到最大值。在粒子分組分配方案中，存在等機率方案。在醫學詞典中，其定義為指兩個事件發生機會均等。在量子信息中，研究等機率混合隨機密度矩陣的平均熵。在物理研究中，無限深勢阱中一維運動的大能量經典路徑被證明是漸近等機率的。該詞最早見於1921年J. M. Keynes的《機率論》中...
- 高斯信源嫡
高斯信源熵(entropy of Gauss source)是高斯信源的一種量度。高斯信源是指信源輸出的一維隨機變數X的機率密度分布是常態分配，即：式中m是X的均值，σ²是X的方差。這種連續信源稱為高斯信源。高斯信源的熵為：式中：當m=0時，X的方差σ²等於信源輸出的平均功率。信源 信息科學中最基本、最重要的概念之一。
- negentropy
negentropy（音標[ne'ɡentrəpi]），英語名詞，指負熵或負平均信息量，用於描述系統有序度的量化指標。數學定義為J(px)=S(φx)−S(px)，其中S(px)為分布熵的積分表達式；在資訊理論中被用作非高斯性度量，滿足非負性且高斯分布時取零值。負熵概念最早由萊奧·齊拉德於1929年提出，後由埃爾溫·薛丁格在其...
- 剩餘度
整個系統的平均訊息量為 H_s = sum_（i=1^n）p_i I_e = -sum_（i=1^n） p_i * log_2 p_i 熵的特點：（1）熵是體系的狀態函式，其值與達到狀態的過程無關；（2）熵的定義式是：dS=dQ/T，因此計算某一過程的熵變時，必須用與這個過程的始態和終態相同的過程的熱效應dQ來計算。（註：如果...
- 資訊理論基礎(含習題與解答)
4.3.1連續信源的熵與平均互信息 4.3.2連續隨機變數信息散度 4.3.3幾種特殊分布連續信源熵 4.3.4最大熵定理 4.3.5熵功率 4.3.6隨機矢量通過線性系統後信息的變化 4.3.7符號持續時間不同信源的熵 4.4本章小結 習題 第5章信道與信道容量 5.1信道的特性及其分類 5.1.1信道模型 5.1.2信道分類 5...
