為什麼說Relu是非線性啟用函式，在大於0部分不是線性的嗎？

1樓：摩爾

我有一些粗淺的理解，供參考。

ReLU在正負半軸都是線性的，確實沒錯。但是，它實現網路非線性對映的魔法在於對不同樣本的不同狀態。

考慮對於乙個啟用函式只包含ReLU和線性單元的簡單網路：

首先，我們考慮有乙個輸入樣本，網路中所有的ReLU對它都有乙個確定的狀態，整個網路最終對的對映等效於乙個線性對映:

考慮另乙個輸入樣本，它的特徵與不同。因此，網路中某些ReLU的啟用狀態因為輸入變化可能發生變化，比如一些以前在右側接通區域的變到左側切斷區域（或反之）；這樣整個網路對於樣本有乙個新的等效線性對映：

這兩個函式都是線性的，但是他們的引數是不同的。

進一步，可以這樣設想，在的周圍，有一小塊區域（為了表達簡單，假定了兩側都是對稱的，實際通常不是）。所有特徵位於這一小塊區域內的樣本，在網路中啟用的ReLU狀態都和啟用的完全一樣。（因為這些點離非常接近，在這個變化範圍，網路中所有的ReLU都沒有翻轉）。

那麼這一小塊區域內，網路擬合的出的線性對映都是一樣的，去掉x,y的角標，表示為

您一定發現了，這就是由定義的乙個超平面，但是這個超平面可能只在的附近才成立。一旦稍微遠離，導致至少乙個ReLU翻轉，那麼網路將有可能擬合出另乙個不同引數的超平面。所以，這具有不同引數的超平面拼接在一起，不就擬合出了各種各樣的非線性特性了嗎？

所以，雖然ReLU的每個部分都是線性的，但是通過對ReLU各種狀態的組合進行改變，導致了網路等效對映的變化，也就構造了各種非線性對映。表現在多維空間，就是很多不同的小塊超平面拼接成的奇形怪狀的近似超曲面。

2樓：xggiou

大於0的relu後為原值，小於0的relu後為0。這樣的結果對於整個輸入而言，是非線性的變換，而不是線性的，即線性變換得不到這樣的結果。