稀疏性

稀疏性,是指大多數信道係數的能量較小,而幾個能量較大的抽頭分布相隔較遠。

基本介紹

• 中文名：稀疏性
• 外文名：sparsity
• 含義：是指大多數信道係數的能量較小
• 特點：目標稀疏性及機動性的影響

"稀疏性" 英文 sparsity;

光學偵察受到海洋氣候和氣象條件的限制,海洋環境具有目標稀疏性及機動性的影響。

稀疏性限制

稀疏性可以被簡單地解釋如下。如果當神經元的輸出接近於1的時候我們認為它被激活，而輸出接近於0的時候認為它被抑制，那么使得神經元大部分的時間都是被抑制的限制則被稱作稀疏性限制。這裡我們假設的神經元的激活函式是sigmoid函式。如果你使用tanh作為激活函式的話，當神經元輸出為-1的時候，我們認為神經元是被抑制的。

令 表示輸入為 x 時自編碼神經網路隱藏神經元 j 的激活度，可得到

其中 p′ 表示隱藏神經元 j 的平均活躍度，注意，這裡是在訓練集上求平均。

然後，我們加入一個條件：

其中，p 為稀疏性參數，是一個比較接近於0的值，比如0.05.為了滿足這個條件，我們得讓大多數隱藏神經元的活躍度接近0.

為什麼要讓只要少部分中間隱藏神經元的活躍度，也就是輸出值大於0，其他的大部分為0.原因就是我們要做的就是模擬我們人腦。神經網路本來就是模型人腦神經元的，深度學習也是。在人腦中有大量的神經元，但是大多數自然圖像通過我們視覺進入人腦時，只會刺激到少部分神經元，而大部分神經元都是出於抑制狀態的。而且，大多數自然圖像，都可以被表示為少量基本元素（面或者線）的疊加。又或者說，這樣更加有助於我們用少量的神經元提取出自然圖像更加本質的特徵。