神經網路中為什麼每一層只需要乙個統一的bias?

時間 2021-05-05 17:28:17

1樓:astrid zhang

建議想學機器學習、神經網路的人稍微學一點數學,不需要多精通,至少矩陣運算能理解吧。為什麼要不同的bias這種問題能問出來,真的是一點基礎知識都沒有,最差把線性回歸、Logistic回歸看明白吧?

排名第一的答案已經把這個問題說明白了,所謂的bias根本就是weight,如果不理解,去看看線性回歸吧,看不下書就看網上的部落格、演示文件,不要好高騖遠

2樓:NimoZ

首先,對於每一層輸出層的節點,bias從來都是不一樣的。

所以我假設題主問的是對輸入層的節點為什麼不能每個節點設定乙個bias。答案如下

本身每個輸出節點的函式長這樣(其中每個 都是輸入層的乙個節點):

你要把它加個bias搞成這樣

那我也能提取常數項變成這樣

那反正後面都是常數了,為什麼我要用那麼多個 去擬合這乙個常數ps. 而且這麼擬合如果又不加正則化的話是有問題的,得到的解不唯一。就像我讓你解 ,你說我取 好,還是 好

3樓:我的上鋪叫路遙

什麼叫「統一的偏移」?如果說每個神經元代表特徵值的維度,每一層的線性變換是Weight · inputs + bias,那麼bias也是有維度的,每個維度的值是不一樣的。

4樓:松明

你可以試試怎麼才能不統一bias哈哈,向量不好理解的話轉到一維下看看就好,bias就變成乙個常數了,常數怎麼加常數還是常數啊,多維向量也是乙個道理,bias就是每個神經元單元的全域性平移量

神經網路的每一層網路 針對特定的問題 有什麼實際的意義嗎?

層中的節點可以看作是從輸入側資料空間到輸出側資料空間的一次變換 濾波,類似時域變換進頻域,只不過nn中是任意抽象空間 一層中不同節點代表對輸入資料在不同輸出空間中的變換,相當於針對輸入側資料不同特徵的提取 抽象 分別,怎麼叫都可以。後面的一層,相當於對前層已經抽象出的特徵的集合所構成的狀態空間再一次...

神經網路怎確定每一層的神經元個數和啟用函式啊

夜星辰 神經元個數隨便設定,看看效果,效果符合你要求那就可以了,不用改了。權重的意義就是更好的變換輸入的訊號,改變輸入特徵在超空間的表示,使網路能正確的完成任務。神經網路不是普通的矩陣乘法,矩陣乘法只適用於最基本的全連線網路的正向傳播過程。哦不,正向傳播過程也不完全是矩陣乘法,畢竟神經元裡還有啟用函...

為什麼虛繼承需要引入一層間接定址?

搖一搖 在圖1中 rhs是引用型別,virtual base class的位置無法在編譯時確定,需要通過offset來計算。圖2中的Point3d物件應該是非多型型別,virtual base class 的位置確實可以通過編譯時確定 一般在物件的末尾位置,而圖1應該是rhs的真正型別的class末...