1樓：「已登出」
安利乙個僅限於在 NN 一階 BP 時候很好用的技巧：推導數時候按照標量來推，張量實現的時候通過張量轉置 / reduce 使得導數張量和前向張量尺寸一致即可。
我記得 231n 的助教也在課程錄影裡講過這個技巧。
2樓：三條腿喵
範數的話可以學習矩陣論。矩陣求導的話，我感覺你是對書上求導完，矩陣多了個轉置符號有點懵，這也是我在學習控制理論裡遇到的問題，建議答主參考維基百科，裡面介紹了兩種求導準則：分子準則和分母準則。
看完估計你就明白了，國內教材採用的好像是分子準則(忘了 ) 。
3樓：上班儕要混腔勢
向量微積分之流，參見Matrix Calculus - Notes on the Derivative of a Trace，大部頭數學書就不要回爐了。
4樓：Asdo
一堆回答沒幾個有用的，有用的要麼是外文，要麼是大部頭，對新手不友好。貼乙個我以為有針對，又簡潔的回答：
5樓：方軒固
安利三本關於矩陣求導相關的
Old and New Matrix Algebra Useful for Statistics from Thomas P. Minka
The Matrix Cookbook from Kaare Brandt Petersen and Michael Syskind Pedersen
還有就是wiki
wiki裡有張特別棒的速查表, 根據scaler/vector/matrix by scaler/vector/matrix 進行分類，如果是臨時用的話足夠用了。
如果想真正學習矩陣求導的話，建議把 Old and New Matrix Algebra Useful for Statistics from Thomas P. Minka 過一遍。矩陣求導麻煩就在於很多時候，直接用鏈式法則不管用，強行用的話需要做很多轉置、reshape的變換，才能讓矩陣之間的維度匹配。
而Thomas這本書走的是另乙個路子，寫出矩陣的「微分形式」，把這一套學到手後，基本任何形式的矩陣求導的推導都不再是問題，也不需要再死記硬背了。
至於矩陣範數之類的，快速入門的可以看看Gooddellow 那本花書的線性代數的章節，做一般的機器學習足夠了：
Deep Learning
想把矩陣的各種基本/高階性質/作業系統學習或者回爐重溫的話，那就看The Matrix Cookbook吧。
6樓：
這簡單，看上高代就可以了。
丘維聲《高等代數》裡面已經出現了很多矩陣論裡的內容了，比如典型的是TB分解，QR分解，極分解等等，磚頭刷一遍就行了。
如何系統學習機器學習？
老王 機器學習的方法非常多，建議先學人工神經網路，包括 1 多層感知機 多層感知機包括輸入層 隱含層以及輸出層等部分。多層感知機 2 卷積神經網路 卷積神經網路是多層感知機的改進，其卷積層是核心貢獻。卷積神經網路 3 殘差收縮網路 針對強噪 高冗餘資料，殘差收縮網路能夠通過自適應軟閾值化，減輕雜訊的...
學習機器學習應該看哪些書籍？
雷明 自薦乙個，我寫的 機器學習的數學 人民郵電出版社，2021.01 不掌握基本的數學知識，很難真正學懂機器學習 包括深度學習，強化學習 至少需要先補充下面這些數學知識 一元函式微積分 線性代數與矩陣論 注意，還多了矩陣論 多元函式微積分 最優化方法 概率論資訊理論 隨機過程 圖論我寫的這本書用最...
學習機器學習有哪些好工具推薦？
lidangmama00 工具和內容都很重要。學習和練習都很重要。http www.aidaxue.com 上面很多教程和專案開放，可以供大家練手。 雲大學小編 阿里雲機器學習PAI平台，圖形化可拖拽式操作 100餘種演算法元件，覆蓋回歸 分類 聚類 文字分析等演算法支援業內主流深度學習框架以及GP...