機器學習中非線性引數化為何使用神經網路而不是多項式？

1樓：皓波

粗淺地理解一下，用多項式擬合某個複雜的函式（例如sin），需要的引數太多了（小鄰域泰勒展開，更廣的尺度上需要更高階的多項式）。我們知道多項式就是線性模型，假設多項式階數為d，VC維是d，d很高的時候是沒法做的。

但是我們可以設計乙個樣本複雜度跟VC維無關的多項式擬合演算法，比如kernel SVM，利用margin的概念，保證了在無窮維多項式展開的情況下，依然可以得到小的計算複雜度和樣本複雜度。

所以說，題主說的多項式擬合，個人認為在kernel SVM這類演算法中已經得到了實踐。

關鍵的問題就是，多項式要擬合乙個複雜的函式，勢必導致模型極為複雜並且容易過擬合，在這樣的情況下我們要如何保證小的泛化誤差、計算複雜度。

2樓：人形Machine

我覺得神經網路的形式數學本質上就是多項式或者巢狀函式。但是啟用函式的非線性轉換形式使得巢狀函式在提高擬合能力的同時，也恰好可以享受到啟用抑制機制帶來的稀疏性，這個稀疏性有類似整合學習的作用，可以提高泛化能力。

3樓：超級萌萌噠貓貓

因為使用多項式模擬會過擬合，多項式理論上可以擬合任何訓練資料，但是泛化能力會很差，模型複雜度高。本質還是模型複雜度的原因。選取的模型複雜度應盡可能簡單。

4樓：Ming

有的，在神經網路火起來之前就有用多項式來把資料的feature公升維的方法了吧。最近看了幾篇用koopman operator做control的文章也是用多項式把資料公升維，還有用kernel function把資料做了變換後資料就變的線性可分了，其中就有polynomoal kernel。

5樓：[已重置]

本質上是個複雜度問題。擬合函式的可能的結構當然很多，但是就像神經網路的萬有逼近特徵一樣，這種能力並不是對問題的『有效描述』，即低複雜度的描述，我們希望的是得到有效描述。

深度網路本質是試圖通過網路的結構構造對問題的有效描述，而這一點是一般意義上的多項式逼近（可以看到深度網路表示為多項式並不是乙個『一般多項式』）所不具備的。所以，一般的多項式逼近是乙個高複雜度的描述，使用這樣的描述來完成對一般問題的描述是計算上困難的。

物理上，這相當於對乙個n-qubit的量子計算系統的演算法用乙個U（2^n）的酉矩陣來實現還是用乙個基於基本邏輯門的量子電路實現，前者是乙個高複雜度的演算法描述，而我們希望使用後者構造乙個低複雜度的描述。

6樓：

因為神經網路的activator function本質上來講是在實踐乙個開關功能。上一層的資訊流的線性組合達到某個閾值就開，沒達到就關。用多項式也能達到類似的功能，但是，乙個sigmoid函式的泰勒展開需要很多項才能較好地逼近，而且還只能保證展開點領域的誤差範圍。

對於乙個multi-variable 函式而言，它的泰勒展開涉及的項數越多，monomial的數目增長越快。這會導致引數空間非常大。

至於為什麼要實踐開關功能，這是神經科學的認知，這裡無法評價。

7樓：AirChen

已經有答主說了實際看透神經網路它本質就是乙個多項式

y = f(f(f(ax1+b_1)x_2+b_2)x3+b3)x_4+b4

這裡a是你的輸入然後(x1,b_1)是第一層神經網路的引數和偏置項

然後得到的結果經過乙個非線性函式得到的結果a_1在作為第二層神經網路的輸入

y = f(f(a_1*x_2+b_2)x3+b3)x_4+b4

如果這裡的f可以展開的話那整個y就可以展開成y = aX+B的形式

比如這裡的X =c + x1*x2*x3的形式 B也同理

所以神經網路本質還是個多項式只是非線性函式不好展開罷了

8樓：鹹菜罈子

，這個近似神經網路的表示式，其中是非線性函式。我覺得神經網路選擇這種方式可能有以下考量：

簡單，每一層只有乙個線性對映加乙個非線性對映；

可模擬非線性，因為有；

方便引數優化（back-propagation）。

選擇乙個多項式方程，則比較複雜，比如occam razor。涉及到多項式的order，interaction，等等，對高維、大資料不友好。

9樓：王的機器

多層的網路能從低階特徵學到高階特徵，比如第一層是線和邊，第二層是一些形狀，第三層是鼻子嘴巴，最後一層就是不同的人臉，每層都用到之前較抽象的特徵，這是多項式做不到的即便他可以逼近任何函式，推廣能力和多層神經網路比相差太遠。