稀疏連線（Sparse Connectivity），又稱稀疏互動、稀疏權重。受神經科學中每個細胞只對一個視覺區域內極小的一部分敏感，而對其他部分則可以視而不見的現象啟發，稀疏連線成為卷積神經網路的一種重要思想，以幫助改進機器學習系統。
基本介紹
- 中文名：稀疏連線
- 外文名：Sparse Connectivity
- 又稱：稀疏互動;稀疏權重
- 意義：卷積神經網路的重要思想
- 來源：神經科學
- 套用：機器學習
CNN稀疏連線思想起源,圖形化解釋,稀疏連線的優勢,
CNN稀疏連線思想起源
卷積網路的歷史始於神經科學實驗，遠早於相關計算模型的發展。為了確定哺乳動物視覺系統如何工作的許多最基本的事實，神經生理學家 David Hubel和Torsten Wiesel 合作多年。他們的成就最終了諾貝爾獎。他們的發現對當代深度學習模型有最大影響的是基於記錄貓的單經元的活動。他們觀察了貓的腦內神經元如何回響投影在貓前面螢幕上精確點陣圖像。他們的偉大發現是，處於視覺系統較為前面的神經元對非常特定的光模如精確定向的條紋）反應最強烈，但對其他模式幾乎完全沒有反應。
從深度度學習的角度來看，在一種簡化的、草圖形式的大腦功能視圖中，我們關注被稱為V1的大腦的一部分，也稱為初級視層（primary visual cortex）。V1是大腦對視覺輸入開始執行顯著高級處理的第區域。在該草圖視圖中，圖像是由光到達眼睛並刺激視網膜（眼睛後部的光敏形成的。視網膜中的神經元對圖像執行一些簡單的預處理，但是基本不改變表示的方式。然後圖像通過視神經和稱為外側膝狀核的腦部區域。這些解剖區主要作用是僅僅將信號從眼睛傳遞到位於頭後部的V1。卷積網路層被設計為描述V1的三個性質：
（1）V1可以進行空間映射。它實際上具有二維結構來反映視網膜中的圖像結構。例如，到達視網膜下半部的光僅影響V1相應的一半。卷積網路通過用二維映射定義特徵的方式來描述該特性。
（2）V1包含許多簡單細胞（simple cell）。簡單細胞的活動在某種程度上可以概括為在一個小的空間位置感受野內的圖像的線性函式。卷積網路的檢測器單元被設計為模擬簡單細胞的這些性質。
（3）V1還包括許多複雜細胞（complex cell）。這些細胞回響類似於由簡單細胞檢測的那些特徵，但是複雜細胞對於特徵的位置微小偏移具有不變性。這啟發了卷積網路的池化單元。複雜細胞對於照明中的一些變化也是不變的，不能簡單地通過在空間位置上池化來刻畫。這些不變性激發了卷積網路中的一些跨通道池化策略，例如 maxout單元。
圖形化解釋
稀疏連線的圖形化解釋如圖1和圖2 所示。
在圖1中，對每幅圖從下往上看。我們強調了一個輸入單元
以及在
中受該單元影響的輸出單元。 (上) 當 是由核寬度為 3 的卷積產生時，只有三個輸出受到
的影響。 (下) 當 是由矩陣乘法產生時，連線不再是稀疏的，所以，所有的輸出都會受到 的影響。
在圖2中，對每幅圖從上往下看。我們強調了一個輸出單元
以及 中影響該單元的輸入單元。這些單元被稱為 的 接受域（receptive field）。 (上) 當 是由核寬度為 3 的卷積產生時，只有三個輸入影響 。 (下) 當 s 是由矩陣乘法產生時，連線不再是稀疏的，所以，所有的輸入都會影響 。
圖1 稀疏連線圖解1
圖2 稀疏連線圖解2
圖3 稀疏連線圖解3稀疏連線的優勢
傳統的神經網路使用矩陣乘法來建立輸入與輸出的連線關係。其中，參數矩陣中每一個單獨的參數都描述了一個輸入單元與一個輸出單元間的互動。這意味著每一個輸出單元與每一個輸入單元都產生互動。然而， 卷積網路具有稀疏互動（sparse interactions）的特徵。這是使核的大小遠小於輸入的大小來達到的。
舉個例子，當處理一張圖像時，輸入的圖像可能包含成千上萬個像素點，但是我們可以通過只占用幾十到上百個像素點的核來檢測一些小的有意義的特徵，例如圖像的邊緣。這意味著我們需要存儲的參數更少，不僅減少了模型的存儲需求，而且提高了它的統計效率。這也意味著為了得到輸出我們只需要更少的計算量。這些效率上的提高往往是很顯著的。如果有
個輸入和
個輸出，那么矩陣乘法需要
個參數並且相應算法的時間複雜度為
（對於每一個例子）。如果我們限制每一個輸出擁有的連線數為
，那么稀疏的連線方法只需要
個參數以及
的運行時間。在很多實際套用中，只需保持 比
小几個數量級，就能在機器學習的任務中取得好的表現。
