自然梯度（natural gradient）是2018年公布的計算機科學技術名詞。
基本介紹
- 中文名：自然梯度
- 外文名：natural gradient
- 所屬學科：計算機科學技術
- 公布時間：2018年
- 出處：《計算機科學技術名詞 》第三版
定義
一種基於信息幾何的梯度下降方法改進，適用於參數空間不是歐氏空間而具有非平凡的黎曼度量的情況，被成功套用到神經網路、機器學習等領域。
自然梯度
相關詞條
- 自然梯度
自然梯度（natural gradient）是2018年公布的計算機科學技術名詞。定義一種基於信息幾何的梯度下降方法改進，適用於參數空間不是歐氏空間而具有非平凡的黎曼度量的情況，被成功套用到神經網路、機器學習等領域。1...
- 自然經濟系統
在中國金融改革的今天，建立起滿足國內、兼顧國際的有效金融海關體系，也許是中國政府在金融改革領域，向地球村層面自然經濟系統方向邁進中，選擇的自然梯度；科學文化知識、文學、藝術、空氣、水等是自由通過界面的，當代限制科學技術流通、智慧財產權保護等問題，已引起各國廣泛的關注，對這些如何管理，還有待形成統一的標準...
- 盲信號分離
自然梯度法的計算公式為：其中 為我們需要估計的矩陣。 為步長 是一個非線性變換，比如 ，實際計算時 為一個 矩陣，為原始信號個數，為採樣點個數。算法基本步驟為：1)初始化 為單位矩陣 2)循環執行如下的步驟，直到 與 差異小於規定值 (計算矩陣差異的方法可以人為規定)，有時候也人為規定疊代次數 3)...
- 獨立分量分析算法及其在高維數據特徵提取中套用研究
本項目組擬將ICA兩階段算法中的預白化步等價轉化為一階段算法中分離矩陣的加權正交約束，提出一階段的約束獨立分量分析算法並理論分析其收斂性；利用ICA問題最優的自然梯度，結合加權正交約束，研究基於自然梯度的一階段ＦＡＳＴ－ＩＣＡ算法並研究其收斂性。將新算法套用到多變數因果關係分析和高維數據的特徵提取問題...
- 盲源分離理論與算法
13.1 基於資訊理論的自然梯度算法 89 13.2 非線性激勵函式 91 13.3 最大似然估計算法 92 13.4 信息最大化算法(Informax) 94 第14章 信號不連續性最大化算法 96 14.1 信號的不連續性 96 14.2 目標函式與算法 96 14.3 重疊矩陣及其近似對角化 97 第15章 瞬時混合信號盲分離的頻域算法 99 15.1 純...
- 盲信號處理基礎及其套用
2. 5. 3 統計梯度下降法……… 25 2. 5. 4 最陡下降法的行為……… 26 2. 6 自然梯度自適應……… 28 2. 6. 1 歐氏幾何和黎曼幾何……… 28 2. 6. 2 自然梯度下降法……… 31 2. 6. 3 自然梯度與其他算法的關係……… 33 2. 7 自然梯度模擬實例……… 34 2. 7. 1 噪聲正弦函式的...
- 地下水污染——遷移與修復
6.10 擴散的自然梯度的現場實驗 第7章 污染物歸趨過程 7.1 前言 7.2 吸附與解吸 7.3 非生物歸趨過程 7.4 揮發 7.5 生物降解 7.6 歸趨過程的分析評價 第8章 生物降解與自然衰減模型 8.1 生物降解速率及動力學 8.2 生物降解過程的模擬 8.3 生物降解模型 8.4 自然衰減解析模型 8.5 自然衰減數值...
- 強化學習精要:核心算法與TensorFlow實現
3.1 梯度下降法 47 3.1.1 什麼是梯度下降法 47 3.1.2 優雅的步長 48 3.2 動量算法 53 3.3 共軛梯度法 59 3.3.1 精妙的約束 59 3.3.2 共軛 60 3.3.3 最佳化步長的確定 63 3.3.4 Gram-Schmidt 方法 64 3.3.5 共軛梯度 65 3.4 自然梯度法 69 3.4.1 基本概念 69 3.4.2 Fisher ...
