1樓：郭曉輝
你需要甄別自己所在領域內值得研究的有價值的科學問題！這個很重要，人生苦短做有意義的事兒！而你問題裡「物理、化學及工程科學」這個基本涵蓋了自然科學，還好沒有說數學。：）
將研究領域的問題抽象為一些模型，可以借鑑機器學習的思維正規化來處理，比如可以簡單利用分類、回歸、獨異點等模型。然後一步步的深入分析。
Gaussian Process是概率圖模型中的乙個非引數模型，可以做函式族的先驗。它既可以來做regression問題（即你所說的GPR），也可以做classification問題，甚至可以做anomaly detection問題。
Deep Learning是另乙個方法。不要再說它是黑盒子了，只要有較大量的資料就要去擁抱它！目前有很多對它的認識或許已經夠你做一些事情了。大家都在努力逐步揭開他的面紗。
PLZ繼續研讀文獻！這個問題問的不好，但是我們似乎回答的津津有味。
2樓：東雲研究所的貓
GP 一是目前沒有高效通用的實現，二是對於高維資料過於昂貴，雖然有稀疏 GP 這樣的辦法，但是就算是在 DL 看來並不難的一些小資料集上 GP 的效果還是不盡如人意（維度太高的時候 SGP 會失效）。目前在實踐中 GP 僅作為一種調超參的手段應用於變數維度不那麼大並且獲取真實資料比較昂貴的情況下。
個人認為 GP 數學上給的先驗太強了，不少任務背後的關係結構可能很難用這麼簡潔的模型去描述
3樓：驀風星吟
個人感覺比較方法只有在任務目標，資料集情況等等相關背景確認後才有意義，泛泛而言的對比，毫無意義。至於「地位」這樣的表述，個人認為並不適合形容方法與模型，如果一定要說「地位」，其實只有型別線性模型這樣的或許才是真的有地位的，只有均值，方差這樣的概念才是普適的吧！
回到問題上，如題主所言，GP有豐富完整的理論框架體系，有嚴格的推導與經典隨機過程理論的強力保證，在演算法的可解釋性， 模型透明性， 不確定性刻畫等等多個方面有著天然的優勢，這自然是不可否認的，尤其實在supervised learning裡面，尤其的尤其是回歸問題中，只需要相對少量的樣本資料就可以獲得相對不錯的模型效果。這也是目前在不少工程領域有著一定應用的很大原因。另外，隨著理論的發展，比如Neal(1994) 提出的「for the case of one layer networks in the limit of infinite width」無線寬度的神經網路可以收斂到GP[1],
It has long been known that a single-layer fully-connected neural network with an i.i.d.
prior over its parameters is equivalent to a Gaussian process (GP), in the limit of infinite network width.
又比如最新的完整版本[2]
we derive the exact equivalence between infinitely wide deep networks and GPs
這個都在驗證乙個事實，即神經網路與GP過程之間聯絡，或者說他們雖然架構不同，但是殊途同歸。
然而，這樣並非說GP是萬能的無敵， 事實上，仍然存在很多問題，比如效率問題，經典的exact inference 超引數訓練的時候如果資料集過大，那麼效率將會極低，因為模型計算中需要考慮是求矩陣的逆，其複雜度是N^3。當然目前也有各種補充方法去盡力提高其效率，比如目前比較流行的方法就是variational inference[3]。不過雖有降低，但是仍然並不稱得上快。
另外還有機器學習的中的通病，非凸優化，即一些超引數求解中全域性最優與區域性最優的問題，當然也有一些應對了，比如PyTorch，TensorFlow中一些融入的一些求解器也有著不俗的表現。這些種種構成了GP的現狀，內容太多了，這裡就不敘述了，結論是問題仍然存在，路還很長！
再說這個深度學習，這個其實不用說了，廣泛應用，因為好用。不care模型，給出輸入，我給你輸出，粗暴簡單，效果出奇的好，所以廣泛應用也是理所應當。不過，廣泛被人詬病的就是black-box的屬性，這是由於模型最初所注定的，當然目前也有一些試圖做其explaniable 或者interpretable的研究，但是終究並非十分普遍，因為最初的東西注定了它並不能真正意義上像GP一樣的可解釋。
再次回到問題，物理化學工程中的應用，其實很多也並不需要所謂的可解釋性，大多數情況我們要的是結果，那麼深度學習自然是非常好的選擇啦。但是當你的具體問題需要更多的解釋性或者是進行一些不確定性的刻畫，那麼GP或許是個很好的嘗試。
一句話，具體問題，具體分析！
[1] R. M. Neal.
Bayesian learning for neural networks, volume 118. SpringerScience & Business Media, 2012.
[2] J. Lee, J. Sohl-dickstein, J.
Pennington, R. Novak, S. Schoenholz, andY.
Bahri. Deep neural networks as gaussian processes. InInternationalConference on Learning Representations, 2018.
[3] M. Titsias. Variational learning of inducing variables in sparse gaussian processes.
InArtificial Intelligence and Statistics, pages 567–574, 2009.
機器學習演算法中GBDT與Adaboost的區別與聯絡是什麼？
這個問題,我嘗試回答一下啊,簡單來講,都對Boosting原始求解困難的加法模型改為分步優化,即前向分步演算法,至於每一步怎麼求解,各自採用策略不同 1 Boosting思想是用一系列弱分類器加權求和,即加法模型 式1 待求解引數為一系列的 和每一步的弱分類器 這個問題實際上很困難的 一般改為前向分...
如何在 Spark 機器學習中應用 scikit learn？
不能。分布式機器學習的主要焦點是優化過程的平行計算，sklearn做優化是用Python調封裝的c和cpp庫。而單機和分布式在底層實現上有差別，用單機c庫很難和pyspark配合。MLlib庫應該能滿足大多數人的要求。你說的侷限多是什麼意思我沒能理解。 二狗二狗我是二狗 頂多是提供和scikit一樣...
常用的機器學習演算法比較？
knnay 各種機器學習演算法都有自己適用的情況，這裡舉幾個例子 1 多層感知器 當特徵只有幾維 或者十幾維，這時候比較適合才用多層感知器。多層感知器 2 卷積神經網路 當特徵的維度達到成千上萬維，就適合才用卷積神經網路。卷積神經網路 3 殘差收縮網路 當資料受到強烈的雜訊干擾，殘差收縮網路 1 2...