當前深度學習理論基礎薄弱是否意味著我們應該放棄深度學習應用 計算機視覺 自然語言處理 ?

時間 2021-05-05 23:21:59

1樓:Jack Stark

實踐是檢驗真理的唯一標準。

深度學習已經被廣泛證明好用了,說明它就是有價值的,值得研究和應用的。為什麼要放棄?

目前深度學習的理論相對薄弱,很多規律是發現出來的而不是理論推導出的,這並沒有什麼不妥,很多學科都是實驗先於理論,比如化學、生物,都是積累了大量的實驗經驗之後才逐漸補全其理論體系,但在理論成熟之前人類也沒放棄煉鋼煉鐵呀。

如果非要槓,那可以反問一下自己:

「我對自己大腦的執行機理了解嗎?」

「不了解」

「哦,是否要放棄使用呢?」

2樓:the Dynamic

這種學院派思維不太好哦,很多技術都是先實踐後有理論跟上的,比如殘差結構為啥那麼好用?

更別說還有土木行業裡,很多公式都很好用但是一些係數不知道為什麼這樣的情況呢。

3樓:王喆

深度學習在業界的成功應用是事實,不用有任何質疑。特別是在網際網路的現金牛,廣告、推薦、搜尋領域的應用,對各業界巨頭業績的提公升是毫無疑問的,極其顯著的。

因為理論基礎薄弱就放棄深度學習的應用,那你得問問各大巨頭的廣告部門願不願意自降5-10個點的利潤(保守估計),回歸到傳統機器學習上去,關鍵意義在哪呢?

其實這個問題的題目和描述簡直文不對題,極其歪曲Judea Pearl的本意。作為貝葉斯網路的奠基人,Pearl的本意一定是說深度學習網路沒有發現事物中蘊含的「因果」關係,沒有探尋到事物發展的本質。這當然是正確的,這是乙個存粹的學術路線,學術方向的問題,和深度學習的應用沒有一點關係。

從這也可以再次體會到學界和業界的區別,業界的應用是充滿功利心的,不管怎樣的技術,不管有沒有理論支撐,只要能夠提公升效果,你管他有沒有告訴你本質原因。

學界當然是不同的,Judea Pearl這個級別的科學家當然要以探尋事物發展的本質和擴充套件人類認知邊界為最高目標,要是都以業界應用為導向,那人類可以完全放棄數學、哲學和一切基礎科學的研究了。

4樓:採石工

1) 微積分剛出來的時候理論基礎也是很薄弱的 (經過柯西和魏爾斯特拉斯等人的努力才有了堅實的理論基礎), 也絲毫沒妨礙其成熟之前在天文, 物理等學科中的應用. 同樣地, 深度學習 (DL) 作為乙個數學工具, 雖然不成熟, 但只要有效, 也不應該妨礙其在其他領域中的應用.

2) 在 DL 出現之前, 計算機視覺 (CV) 和自然語言處理 (NLP) 已經被研究和應用幾十年了, 採用的方法 (不妨稱為傳統方法) 不見得比 DL 的理論基礎更強 (傳統 CV 方法中的很多影象特徵描述子都是根據人的經驗設計的, 而利用 DL 可以進行特徵學習, 後者更優雅).

3) 在引入 DL 之後, CV 和 NLP 得到了飛躍性的發展, 這是大家有目共睹的. 因為 DL 理論基礎薄弱, 而放棄其在 CV 和 NLP 中的應用, 首先就不具有現實性. 想想看:

工業界可不可能放著好的模型不用, 而用差的模型; 學術界不用 DL, 怎麼不斷地重新整理 SOTA.

4) 堅持 DL 在 CV 和 NLP 中的應用, 可以發現更多現象, 加深對 DL 的理解, 試探 DL 的邊界和不足, 引起數學家們的興趣去深究 DL 的理論基礎, 指導建立更強大的數學工具/CV演算法/NLP演算法等.

5樓:

說的沒錯,不過需要很多trick,比如dropout, resnet之類。如果這些技巧不是公開發表的話,一般人還真難煉出來。

6樓:李韶華

如果想抬槓,認為「深度學習做的不過是曲線擬合」,無異於說電腦科學做的不過是加減乘除。

我覺得Judea Pearl的挫折感來自於AI現狀和AGI之間這個巨集大的gap,相信這種無奈感在很多researcher裡都有。

比如Facebook最近release了Blender,乙個號稱可以騙過人的chatbot。但是別人試了之後發現稍微不常見一點的對話,bot就會錯誤百出:

這讓人們又紛紛覺得即使Bert這樣的強大模型也並不理解語言,而只是做曲線擬合。但我覺得我們需要在human level的語言理解和random guess之間尋找個合適的邊界,是不是有個gold metric,60分了就算理解了語言,59分就不是理解?個人覺得這種metric是不存在的。

語言理解是有許多層面的,比如做NLP的人都知道「中文屋子」的思想實驗,如果乙個bot可以根據需求總是從language map到合適的行為,那它內部到底是曲線擬合或者別的什麼機制,有什麼關係呢?如果我們訓練一條狗,說「出門」它就知道要出門去玩了,它也只是學到了「出門」這個詞和出門這個動作的對映關係,它很可能並不知道這個詞是「出」和「門」的組合,更難generalize到「進門」、「門口」這些新的組合。個人覺得掌握這種對映關係比Bert的理解程度還低很多。

現在Bert這樣的模型至少可以找到主謂賓,找到乙個句子裡,哪些詞之間是互相修飾的關係,找到哪些詞是對特定任務重要的language cue,儘管由於過分依賴了這些cue而經常犯愚蠢的錯誤。

最後,我個人的觀點是,從最簡單的螞蟻、蜜蜂的智慧型到AGI,這是個連續光譜,儘管人在某些地方實現了breakthrough(比如符號處理能力),但在很多層面智慧型是個連續的東西,而現在的deep learning應該已經在某些方面可以達到或者超越一些低等動物的智慧型。AI社群的人沒必要因為沒達到AGI而妄自菲薄,也不需要那麼在意社群外的人對現有技術的嘲笑。

7樓:Lanking

其實,大部分科研的任務交給科學家和煉金師就好了。作為乙個使用者來說,沒有必要都知道... 想都知道就去讀博吧。(讀博了也不一定都知道,可能網路開發者自己都解釋不清楚)

普通的小白只需要知道如何拿乙個預訓練模型,通過修改資料集進行遷移學習就行。這大概能解決你接觸到的大部分問題。不要怕,從這一步開始,通過使用對模型逐步理解,最後能夠嘗試去修改網路架構開發自己的模型。

如果真的要學就先學NLP吧,這裡還有很多問題沒解決,不像CV到瓶頸了。

8樓:立勃

不能,我們要不要放棄得工業界說了算。人家給錢呢,你自己考慮要不要放棄。

推理過程,原理不完全清楚沒關係啊,能用就行。

中醫也一樣用著呢麼。

9樓:

我個人感覺即使是因果推理,和現在魔改結構的本質上區別不大。他們都是用一些我們的對深度學習的理解,對任務的理解,用這些先驗知識去應用來更好地完成任務。

深度學習最讓我覺得神奇的一點是只有簡單的規則,簡單的結構,慢慢優化就可以很好地近似要達到的目的,有點像Wolfram說的那個萬物理論了。

大腦複雜不複雜,當然很複雜,我們是怎麼進化出智慧型的呢?沒有人知道,進化本身就非常複雜,但演化論用簡單的規則就能讓中學生都明白進化到底是怎麼一回事。你當然也可以說這種理解只是描述性的,但的確很好地幫助人類理解這個世界。

現在神經科學中也嘗試給定一些類似生物中存在的限制,訓練簡單的ANN來完成一些簡單任務,來看訓練出來的ANN和真實大腦之間的關係,通過這個方式來理解大腦是怎麼被優化出來的。可能的確不知道訓練出的東西是什麼,但是如果能了解怎麼從這種簡單的規則優化出近似的模型,優化出大腦的能力,也是一種很好的嘗試。

10樓:NN陳

1,他是有用的,在一定情況下有用。有資料就能用,對智慧型要求不高的情況下幹嘛不用?

2,他不智慧型,其智力已經觸及天花板。要實現強人工智慧的話,該放棄的還得放棄。

11樓:碎魚

深度學習理論基礎薄弱,但絲毫不妨礙深度學習應用遍地開花。

這就好比三千年前,人類剛剛學會煉鐵鏈鋼,對煉鐵鏈鋼也絲毫沒有理論基礎,就只知道這麼做能得到鐵和鋼,人類做的工作主要也不過是「燒火」而已,但這絲毫不妨礙煉鐵鏈鋼技術的應用。

深度學習已經體現出許多方面的優勢,它的發展和應用必然不會停步。

12樓:

理論是對現實的一種「人為」地解釋,尤其深度學習目前可以算是實驗學科,通過對實驗結果總結一些經驗和直覺,然後再繼續實驗,反覆迭代,沒有系統完整的理論做支撐,所以同乙個東西雖然結果一樣但解釋的理論可能不同,batch normalization 就是乙個很好例子,看著效果是好,但是至於為什麼會work,最開始和現在的解釋不太一樣,還有些相反的地方。

如果真能做到,還有足夠多資料,Let's overfit on the universe !

13樓:王昊翔

上世紀粒子物理學理論的盛宴,起始於粒子對撞機撞出的海量實驗資料,而這些正是無法用此前的舊理論所解釋的。

所以我認為,實驗領先理論,對理論學家來說是個好事情。這意味著前方有大量未知現象正亟需新理論來解釋。這幾年各種方向的理論學家(理論計算機、運籌學、統計、數學、物理等方向)轉向深度學習理論領域,並作出大量有影響力的工作,正是明證。

現在的深度神經網路遠不是五年前的黑箱子了,各種理論工作已經幫我們理解神經網路了很多(當然還是有很多謎團待解釋)。

然而,如果沒有大量應用/實驗工作在前,又有多少理論學家會有動力去研究神經網路呢?那樣的話,我們永遠也不會從理論上更了解神經網路。

所以說,理論和應用是相輔相成的,不能用片面的眼光看待。

14樓:

核心問題是:這顆科技樹上的李子已經被摘光而且這是唯一的一顆公樹。

還沒點亮的母樹也許需要20-60年的時間來孕育,就問你自身還能等多久?

15樓:

他說的沒問題,其實人類所有的科學探索活動都是曲線擬合的工作而已。甚至人腦運作的模式也應該屬於這個所謂的曲線擬合。所以沒辦法反駁他,因為他說的只是乙個子集

16樓:程顯通

從我的理解上來說,這裡Judea Pearl只是提出了深度學習一直存在乙個問題,而不是認為深度學習毫無價值。

Judea Pearl在他的the book of why中體現出的觀點是,我們需要從相關關係過渡到因果關係,即需要讓AI產生邏輯。深度學習確實不是用來解決這一問題的方法。深度學習解決的問題是如何建立更好的回歸曲線。

所以在對因果推斷這一體系中,深度學習確實與普通的回歸模型沒有什麼區別。

這一問題對於現在的深度學習模型的應用其實並不是很重要,但是能對未來的機器學習模型進行指導。

目前深度學習的應用對於可解釋性的要求其實並不是很高,特別是CV領域,只要使用效果好即可。然而例如NLP的領域,使用因果關係有助於AI理解邏輯,這一時候才需要解決這一問題。

學習理論物理的學長好,如果未來學習理論物理這個東西是不是一定需要高智商,從小就能看出來的那種天賦?

境界閒者 而且。本科階段,很少有學校會把物理學分的這麼細的,基本都是研究生階段才會分理論物理 凝聚態物理等等,在本科期間基本上就是學力 熱 光 電與四大力學,最多能學到到目前為止前五十年的內容。對於物理的學習,我認為還是努力大於天賦,畢竟天賦型選手太少了,而且有天賦為什麼要學物理這門科目,學學金融經...

大家談談為什麼要學習理論?

123strongwind 借用孫文的知難行易思想!知行合一的第一步,往往是學習理論。更近一步,實踐中也需要總結經驗,根據理論進行reflection,從而達到更好的效果 自律給我自由 我們做事情總要一邊做,一邊思考才能做好。這個思考就是發現事物本身的規律,用這個規律指導做事情,能夠起到事半功倍的效...

學習理論知識有什麼價值?

Rambo 1.實踐能力強的人不會厭倦理論學習,因為理論指導實踐,只有理論豐富了,才會更好的指導自己的實踐。只顧理論學習的人,如果說理論學習耽擱了自己,不如說自己沒有足夠的勇氣和能力去實踐。明明是自己的不夠,卻埋怨理論學習耽擱了自己。2.理論學習時間長了的確會使人懷疑理論學習的價值,但請相信你所學的...