如何在pytorch裡快速求出神經網路的jacobi矩陣?

時間 2021-05-31 14:57:08

1樓:羅秀哲

grad check裡有乙個現成的,不過會for迴圈便利每個operator(如果這個還能接受的話)

2樓:巧克力工廠的查理

defjacobian

(inputs

,outputs

):return

torch

.stack

([grad

([outputs

[:,i].

sum()],

[inputs

],retain_graph

=True

,create_graph

=True)[0

]foriin

range

(outputs

.size(1

))],

dim=-1)

3樓:

對於 m 個輸入,n 個輸出,考慮 n 個 m --> 1 的 functions。你可以用 n 次 backward() 來實現。也就是說,你的 Jacobian matrix 的每個 row 填上網路輸出對你的 input 向量每個維度的微分就行了(不考慮 broadcasting 的維度)。

記得呼叫 backward() 的時候要下 retain_graph=True 的引數,不然你的計算圖會被消掉就沒辦法再次呼叫了。

如何在新班級裡快速確認哪個人是 galgame 玩家?

睡覺真是太舒服了 這個問題比較有意思。可以試試在班群裡發表情包 玩梗這類的 閒聊時候 此外,關注下你的同學的網易雲或者b站,看看他們的動態或者傾向的看內容也是乙個辦法。一件趣事 課間聽到旁邊的兄弟在哼歌,仔細一聽是時 刻 唄hhhhhh,於是馬上加了好友 弱角Ame 高二分班後,一哥們在自我介紹上自...

如何在宿舍快速入睡?

三季人 我發現乙個好辦法,試了幾天了,效果很好,當然可能最近我舍友也比較配合吧。就是從1開始數,往往數著數著就睡著了,跟數羊乙個道理吧 吃瘦肉的小李 白天運動,累到晚上躺下就睡。或者每天晚上聽一些睡前故事,比如你不感興趣的部分呀,我姐姐前幾天每晚聽明朝那些事兒,五分鐘內入睡。哈哈哈哈哈哈她可能是只豬...

如何在一年裡快速提高英語成績?

叮咚英語課堂 1.興趣是最好的老師 英語成績快速提高的方法有哪些?要想記住單詞,首先要對其產生興趣,要找到記單詞的樂趣才行。例如 mood 心情 倒過來就是doom 厄運 這告訴我們一定要保持好心情 in a cheerful mood 心情不好 in a bad mood 的時候,厄運就會來臨 d...