1樓：
從乙個吃瓜群眾的角度答一下。
工程派批理論派：推了一大推公式，結果在toy資料集上做了個toy模型，對比的baseline如此不堪，你們研究的有什麼用；
理論派批工程派：搞這麼多引數成天只會調參煉丹，你們那活也能叫research?不要忘了，你們的祖師爺Hinton當年坐冷板凳時情境比我們現在好不到哪兒去。
為了乙個開放的問題大佬們紛紛登場，為自己的派別站台，爭得面紅耳赤，然後在乙個不起眼的角落裡：
資訊門下跑狗：[質疑][ECCV2016] 突（禿）發！很禿然，消失的頭髮
面對實驗結果通過PS造假這種絕對的大是大非問題，大佬們都默不發聲噤若寒蟬，只有一群小人物在那兒義憤填膺。
那麼問題來了，你們到底捍衛的是自己的派別，還是學術的真理？
2樓：
院裡另一位研究NN的老闆最常念叨的是：現在處在連線主義（主要是以神經網路為主的演算法）的第Y次低潮，各位同學不要失去信心和耐心，我相信馬上就會有突破的
我覺得兩位大佬說的都對
3樓：
如果你還在糾結這個問題，那就說明兩點：
你對國內ML的真實水平一無所知。
你對國際ML的真實水平一無所知。
修修補補啥時候是個頭呢。
4樓：健步俠阿杜
3年過去了感覺應該可以點評一下了
3年前CV屆SENet剛橫空出世（這也是我在kaggle比賽裡最喜歡的模型了）後來NASnet PNASnet再到谷歌用NAS搞出了efficientNet 緊接著FB又推出了WSL-ResNext 又把imagenet的分數刷高了好多
3年前NLP的主流模型還是LSTM， Attention is all you need才初出茅廬，如今Transformer為基礎的幾個大模型把很多方向都直接做死了，現在生產上不用BERT都不好跟友商打招呼。
3年前gcForest出世，然後沒有然後了= =有位作者說
至少拿去刷刷Kaggle競賽還是挺好使的。。
3年過去了 Kaggle上只有兩個帖子提到過gcforest 冠軍和金牌solution連影子都麼見到……
Search | Kaggle
5樓：
恕我，吐露真言（或者大放厥詞），gcForest僅僅是使用森林做了個stacking而已，毫無新意，no contribution。
看宣傳，滿懷期待。
看了文章，失望溢於言表。
怎麼中IJCAI的呢？
6樓：
現在有些人啊，一言不合就開噴。
這個東西又不是cv領域的，不同領域的人思考的問題是不一樣的，不是所有做機器學習的都在考慮performance的。
Hinton最早期的幾篇深度學習的內容都是使用rbm作為基本單元的，在影象中效果是不如deep cnn的，那麼按照某些人的意思就是說效果不好就沒用，那麼我們是不是就可以說：Hinton在深度學習中的貢獻是不夠高的呢？
7樓：
說句題外話，如果有學生真有機會加入Lamda組的話，可以考慮跟Lijun Zhang做研究，個人認為他的水平比回答中提到的其他教授都高出一大截
8樓：
鄙人以為這個工作的重點，敲中了DL的隱性短板，以及在學術界和工業界共（沉）同（溺）鑽（吹）研（捧）深度學習中闖出一股清流。
1. 當訓練的資料量不是那麼大的時候；
2. 當輸入向量的維度遠大於輸出向量的場景；比如金融市場交易的時間序列，雖然那個53%+的結果很垃ji，但用DL不收斂或者過擬合，損失值抖動劇烈的時候，就知道53還是不錯的。
3.這個方案有特定場景下的工程意義，學術意義除了這次的研究範疇不侷限於DL了，其他方面的創新性和重要性沒看出來，幾乎等同於ensemble method。忍不住 [噴] 一下。
與ELM功用有類似；[捂臉]
9樓：
我不明白周老師為什麼一直對DL不以為然。
可能他最愛整合學習和統計學習的原因吧。
也不明白他對dl不以為然有沒有道理，有什麼道理。
10樓：楊個毛
我其實沒明白，如果performance達到state of the art了，那麼不用調參算是個優點。問題是performance不但沒達到state of the art，而且差了好多倍，這個時候，不用調參難道不是乙個缺點麼……能調參起碼你能看到點希望啊。
11樓：blue2death
至於借鑑Multi-Grained Scanning，我不是很理解，乙個raw input，搞出121個raw input，那麼對應的label是1個還是121個？
12樓：
據說是四五年前就有人提出類似的idea，當時被無情鄙視？個人覺得這種強行deep的還是沒有解釋清楚原理，只是現在deep是大勢所趨，用實驗結果說明演算法好的模式越來越被接受。
13樓：
只看結構圖，沒看文章，也沒看過深度神經網路的文章---談點想法不是更好玩嘛
多感知器融合，每個感知器作出乙個結果，每個感知器可以是DNN,CNN,RNN，最終通過神經網路融合。
14樓：
我想說的是，以周老師的身份地位還在一直堅持搞學術，太太太值得敬佩鼓掌！我們這裡叫獸做了老闆就不搞科研了，搞到傑青長江頭銜的更是要麼當官，要麼交際應酬，科研都是苦逼研究生的活，文章都是研究生寫，不指導，實際也指導不了，出去做報告要先給他講幾遍把他講懂了然後他再出去講，出去風光得很，不知道底細的還覺得他很牛。人和人的差距真TM大
15樓：
大家都講gcforest優於''傳統''深度神經網路的地方在於有監督的layerwise feature extraction。然而這多少有一些車軲轆話的嫌疑：早期layerwise pretraining流行時就在強調相對於BP來講的可優化性，然後end-to-end出來時又在講高層下來的gradient多麼重要，現在gcForest又在翻回來重複講layerwise的優點。
然而這些結構性的優點都是有語境的，撇開語境直接車軲轆話地講，有點欽定的感覺？
如果講gcForest成功的地方在於把nonlinear換成隨機森林這樣表達性強的結構，為什麼不直接採用已有的end-to-end的深度決策樹/深度森林結構（你沒有看錯，深度森林的工作早已有之，採用differentiable decision tree的工作一搜一大把），而用layerwise的訓練？反正層數也不多不是嗎？
如果強調超引數少，或者小樣本有優勢，為何不直接採用non parametric？還能順便估計uncertainty呢？
個人以為motivation這方面比較欠缺，更多的感覺是強行把隨機森林給deep一下，還沒有和其他end-to-end的深度森林演算法做對比。此外，非常類似的idea其實組裡的同學在2年前就有嘗試過，而且也的確是幹不過end-to-end。不知是否是細節處理之問題，由於實際效果不佳而作罷。
所以也非常期待gcForest如何在大資料集任務上的表現，如果work的話根本的原因在何，這些都是能引發今後研究的有趣問題。
16樓：szlongman
如果在VGG這種模型中，把最後幾層全連線層FC都去掉，換成Deep Forest, 這樣的怪物能用於在樣例少的情況下進行分類嗎？或者具備其他什麼特異功能？
17樓：
被驚到了。讀了文章，想法很巧妙。改進空間巨大！
周神這是挖了個大坑啊。全世界都在刷神經網路調參的時候，周神出來說，深度學習不等於深度神經網路，還可以試試深度森林，神經網路能做的樹也能做！這太清新醒腦了。
無論gcForest這個演算法以後能不能活下來，這都是重大貢獻。
18樓：
必需匿名，因為還要在業內混呢。
先說佩服的：
從把樹橫著聯合，變成豎著聯合，創意。
效果做上去了，牛。
再說不佩服的：
個人認為這篇文章不咋樣，層層學習stack這種思路類似於DL早期的層層rbm，但後來DL屆已經不這麼玩了，因為發現其實夠深又夠稀疏的全BP網路會解決很多問題，比如區域性最優。
然後就是說不跟風創新的，其實個人感覺這文更像是強行deep，強行用樹。因為周老師本人是玩ensemble樹模型的大師所以強行的意味導致了沒感覺有不跟風的意思。
然後就是先樹模型提特徵，再丟給RL做ctr預估是個業內做爛了的用法，擴充套件這個思路，不低給LR丟給樹模型，感覺並不是特別難的創新。
最後就是，神經網全矩陣運算有GPU加成，這個東西在大資料上可咋搞啊，拭目以待。
19樓：
題外話，11年左右了解到周教授，也來我們組做過報告
在滿世界 DL 的情況下，周教授組搞了個 gcForest
欣賞這種不跟風踏實做學問
20樓：張睿
感覺這個是為那些沒有大公司那麼海量資料的startup從小資料做起量身定做的啊，沒有狗狗臉書那種海量資料，剛開始可以比較簡單的模式學習，隨著資料量增加，模型可以自動慢慢公升級。這才是為實際應用量身定做的啊
如何評價周志華組新提出的溯因學習 abductive learning
已重置 我又要惹他們不高興了。整個系統的結構沒有脫離 feature extraction message passing based filtering的框架，只不過這裡的特徵提取和message passing的勢能函式都是學習獲得的。這個思路在DN中早就用過了。你就直接說我先用不太可靠的特徵提...
如何評價ry Ryan Dahl 的新專案deno
nlimpid deno node split sort join 已登出 你們夢想中的deno專案不是已經有了麼，還期待個屁。這不就是dart嗎！這不就是你們想要的嗎，型別系統，jit，aot同時支援，語法很相近，非同步單執行緒，還等毛都沒有的deno？我實在不能理解。來啊來啊，趕緊來玩dart！...
如何評價爐石傳說獵人新橙卡 Slate教授？
山治很溫柔 去年年初版本，溫蕾薩風行者這張牌出來的時候，有一陣子天梯主流是有藍龍獵這個卡組的，打傷害的牌是雙生法術極速射擊。和現在的藍龍術藍龍德都差不多，紅龍吹一口，然後莽對面15血。目測如果新版本藍龍獵能玩的話，這卡能帶進去配合解場，就跟現在的藍龍術帶工匠一樣。但問題是，如果新版本宇宙獵繼續強的一...