激活函式的作用是給神經網路加入一些非線性因素，由於線性模型的表達能力不夠，故激活函式的加入可以使得神經網路更好地解決較為複雜的問題。
基本介紹
- 中文名：神經激活函式
- 套用領域：機器學習
背景,激活函式的性質,作用,
背景
首先是第一個問題：為什麼要使用激活函式以及它的作用是什麼？使用激活函式的原因在於，以兩類數據的分類為例，這些數據真正能線性可分的情況還是比較少的，此時如果數據不是線性可分的我們又該如何分類呢？這個時候我們就無法再簡單利用一條直線來對數據進行很好的劃分，這時我們需要加入非線性的因素來對數據進行分類。
激活函式的性質
1、非線性：當激活函式是非線性的時候，一個兩層的神經網路就可以逼近基本上所有的函式了。但是，如果激活函式是恆等激活函式的時候（即），就不滿足這個性質了，而且如果MLP使用的是恆等激活函式，那么其實整個網路跟單層神經網路是等價的。
2、可微性：當最佳化方法是基於梯度的時候，這個性質是必須的。
3、單調性：當激活函式是單調的時候，單層網路能夠保證是凸函式。
4、 當激活函式滿足這個性質的時候，如果參數的初始化是random的很小的值，那么神經網路的訓練將會很高效；如果不滿足這個性質，那么就需要很用心的去設定初始值。
4、輸出值的範圍：當激活函式輸出值是有限的時候，基於梯度的最佳化方法會更加穩定，因為特徵的表示受有限權值的影響更顯著；當激活函式的輸出是無限的時候，模型的訓練會更加高效，不過在這種情況小，一般需要更小的learning rate。
作用
神經網路中激活函式的主要作用是提供網路的非線性建模能力，如不特別說明，激活函式一般而言是非線性函式。假設一個示例神經網路中僅包含線性卷積和全連線運算，那么該網路僅能夠表達線性映射，即便增加網路的深度也依舊還是線性映射，難以有效建模實際環境中非線性分布的數據。加入（非線性）激活函式之後，深度神經網路才具備了分層的非線性映射學習能力。
