1樓：堅持30天
一層非線性單元(越多越精確)足以，不需要多層，再多的層也只是改變曲線的形狀，超出訓練集的部分就按L2正則表達。
原因就是方程組合啊。例如乙個方程一條線，兩個方程組合在一起就是兩條線合在一起，通過權重和偏置就可以改變各自線的形狀，這就可以組合出任意形狀的曲線。
如果是好幾條直線組合在一起還是直線，所以每個線性方程得非線性啟用。
2樓：比良津名
不知道那麼多回答都在說些什麼，但是我知道只有乙個hidden層的多層感知機（神經網路hello world）就能擬合任何函式，這就是MLP的universality屬性。
因為函式本質是y=f(x)，給定乙個x獲得乙個y輸出，隱藏層記錄下所有輸入，給出對應輸出即可。
3樓：
理論上擬合任何函式本身意義不大。第一，我們並不需要去擬合任意函式，因為我們要解決的問題不會是任何函式，第二，不能只強調通用性，因為我們要的是有效性。所以問題核心在於，我們需要乙個可以有效擬合類與問題有關的函式的工具。
當然，通用性不是沒有意義，在DL這個引數化模型描述問題過程中，通用性保證了理論上解的存在性，但除此以外，意義不大了。
4樓：森羅永珍
其實感覺如果model（神經網路的結構）能隨著data不停地變化就挺好，不只是在某種model裡取最優的函式，固定的model感覺還是太死了。
5樓：
首先，貌似 「萬能近似定理」並不是這麼說的。並非任意函式！
萬能近似定理：乙個前饋神經網路如果具有線性輸出層和至少一層具有任何一種「擠壓」性質的啟用函式（例如logistic sigmoid啟用函式）的隱藏層，只要給予網路足夠數量的隱藏單元，它可以以任意的精度來近似任何從乙個有限維空間到另乙個有限維空間的Borel 可測函式。
Borel可測函式包含了我們常見的連續函式和分段連續函式。但是和任意函式還相差很多吧。
其次，如果知道要為什麼？最好的辦法是去看定理的證明。。。。雖然我也沒看過。
看到好多大佬動不動說任意函式，慌得不行。有說多項式可以擬合任何函式的，有說泰勒展式可以擬合任何函式的。這都很不嚴格，容易誤導人。
函式有哪些？常用的函式大概有六七類，這還是僅限於我知道的。懶得寫了，自己去搜搜吧。
6樓：王博文
雖然這個問題下很多答案高大全，也對新人很有幫助，但我想說一些我知道的事實——這個問題本身也是想知道事實。
先問是不是，再問為什麼！
對於定義域為無限集合的情況（實數無限，阿列夫，），並不存在一種模型形式可以用可列個實引數（哪怕是可列無限個，阿列夫零，0）擬合所有函式，參見：
王博文：無窮之上~beyond infinity
而我上文中說的擬合，是指「完全真實的一一對應」，也就是說，找到這個真實的函式。而這，在定義域集合為實數無限集（R，[0, 1]，或者 (0, 1) 等等都行）的情況下，是不可能的。
於是，退而求其次，我思考了一下定義域為有限集的情況，就有了這兩篇：
王博文：值域與定義域均有限的函式擬合窮舉法
王博文：什麼時候機器學習不再需要人工調參了？
這兩篇雖然在真實工程裡其實很無用（真實的資料都是有誤差和雜訊的，而且我們在工程上追求的也是足夠近似就好），但在理論上都沒什麼問題。
反過來看，神經網路卻是一種理論上有弊病（BP 演算法沒有收斂證明！）但卻在工程上能得到實際應用的模型，這一點確實仿生了我們人類的大腦——有瑕疵，會犯錯，但是能用。
7樓：
理論上擬合，說的就是近似吧？
為什麼？就是因為分段直線能模擬曲線，曲線再公升維，就各種形狀的超平面都有了。
你自己畫畫看，把線段逐漸改短，把線段數量逐漸增加，看看會不會成為曲線？理解這個很容易，去看看導數推導，曲線想求導，是不是也假設那是乙個沒曲率的直線段？
理論如何證明？萬能近似理論！
多少層隱藏層？一層就夠！
一層多少神經元，看你要的細緻程度，因為是理論上擬合任何函式，所以理論上，你需要無數個神經元！
8樓：自學生
我學習和記憶的神經核心時間和網路空間時間，是一對兩性的正中變化時間統一標準系統原理模型。是一對兩性時間原理，是6份核心半徑*6份圓周時間週期*正中10的時間標準=360天份母+5天分子+小時+分分+秒秒……的兩性時間原理統一系統的數學標準模型。都是一對E=mC2和1000立方體的時間重量容量電力速度=10時間*電壓10*電流10的電壓*電流*生命金錢時間統一的精神物質能量的人類世界統一系統原理模型。
函式是元點和角度和園周的正和反，是方向和距離和數量，是大小和內外的角庋，是固定和比例的數量。
神經網路是不是可以擬合任何問題？
王琰 不行的。足夠深的神經網路可以擬合的是任意 函式 但不是所有有輸入輸出的問題都可以構成函式。形如y f x 的函式最基本的屬性是乙個因變數 輸出y 可以對應多個自變數 輸入x 但乙個自變數只能對應乙個因變數。然而在實際世界中存在大量的問題是同一輸入x對應多種輸出y 比如知乎乙個問題有多個答案 這...
神經網路可以擬合素數的通項公式嗎？
ysy 你好，我想問下，我有3列資料，其中兩列是輸入x，x1，一列是輸出y，輸入與輸出之間的關係是y a tf.exp b x x1 c 其中a,b,c是未知的，我通過curve fit函式可以求出a,b,c，但是任務要求用模型去求，我不懂要用什麼深度學習模型可以求解這個，剛剛接觸了深度學習，不是很...
有什麼文章總結了神經網路防止過擬合的tricks之類嗎？
天堂之拳 方法是人用的，切忌死記硬背。比較老一點的 neural networks tricks of the trade Practical recommendations for gradient based training of deep architectures A practical ...