機器學習中端到端學習的本質是什麼?有什麼優缺點?

時間 2021-05-13 07:20:47

1樓:East Wu

端到端的動機是避免人工提取特徵,讓網路自身學習到特徵,這也是優點。

但缺點也很明顯,在開資料集場景下,端到端模型需要反覆訓練,而場景往往是不支援重複訓練的;另一方面端到端模型往往是深度模型,目前深度模型依舊會遇到梯度消失,算力不足等問題。

2樓:騎馬看詩

端到端深度學習就是忽略所有這些不同的階段,用模型代替它,輸入為未經任何人為加工的原始樣本形式,經過模型,輸出結果.

相比"非端到端","端到端"的學習方式具有協同增效的優勢,有更大可能獲得全域性最優解。

在訓練樣本很少的情況下,"端到端"的效果可能不如傳統方法,但當訓練樣本數量足夠多,"端到端"的優勢越發明顯。

對於端到端的模型:

首先在資料上要和結果有關聯,不符合統計規律,模型也無法收斂。

其次採用合適的端到端模型,才能正確提取特徵,與結果關聯。

3樓:David 9

事實上「去端到端」也是有其優勢的:

"去端到端」化和複雜loss:梯度隔離的分層神經網路模型Greedy InfoMax(GIM),深入了解自監督學習#2,InfoNCE loss及其對分層脈衝神經網路的啟發

4樓:TniL

端到端模型就是將可以多步驟/模組解決的任務使用單個模型來建模解決,一般在深度學習中比較常見。

使用多步驟、多模型解決乙個複雜任務的時候,乙個明顯的弊端是各個模組訓練目標不一致,某個模組的目標函式可能與系統的巨集觀目標有偏差,這樣訓練出來的系統最終很難達到最優的效能;另乙個問題是誤差的累積,前一模組產生的偏差可能影響後乙個模組。

端到端模型僅使用乙個模型、乙個目標函式,就規避了前面的多模組固有的缺陷,這是它的優點之一;另乙個優勢是減少了工程的複雜度,乙個網路解決所有步驟,也就是「煉丹」。

成也蕭何敗也蕭何。端到端模型的乙個劣勢,就是貢獻分配問題,這也是深度學習的乙個弊病。在多模組解決方案中,我們可以比較清晰地看到/檢測每乙個模組的效能,也就是貢獻;而在端到端模型中,我們很難確定模型中「元件」對最終目標的貢獻是什麼樣的。

換一句話說,模型變得更加「黑盒」了,也就降低了網路的可解釋性。另外,端到端模型的靈活性也更低,比如原本的多個模組中資料的獲取難度不一樣的時候,可能不得不依靠額外的模型來協助訓練。

至於題目描述中的若干問題,我覺得和端到端模型沒有太大關係。如果要問,為什麼同樣的網路結構可以用於不同的任務,神經網路如何工作的話,可以引用之前 @陳默 的一篇回答給乙個粗略的解讀:乙個神經網路起到資訊過濾的作用,資料中包含的大量資訊,經過層層過濾,對任務有用的部分被留下,無關的部分都濾掉,最終只留下標籤資訊。

過濾哪些、留下哪些,就全靠訓練了,只要模型結構能適應任務,那這個過程是可以進行的。需要多少資料又由模型的複雜度決定(請參考PAC學習理論),資料不足的時候可以考慮增強等技巧。

* 提醒一下,無窮複雜的模型對系統效能不見得有什麼好處。

請問「端到端機器學習」中的「端到端」應如何理解?

深度學習實現了端到端的學習 深度學習改變了很多領域演算法的實現模式。在深度學習興起之前,很多領域建模的思路是投入大量精力做特徵工程,將專家對某個領域的 人工理解 沉澱成特徵表達,然後使用簡單模型完成任務 如分類或回歸 而在資料充足的情況下,深度學習模型可以實現端到端的學習,即不需要專門做特徵工程,將...

機器學習 大資料 雲計算會端掉量化寬客的飯碗嗎?

銘銘 大資料 是需要新處理模式才能具有更強的決策力 洞察發現力和流程優化能力來適應海量 高增長率和多樣化的資訊資產。雲圖徵信 國內領先的應收賬款融資和風控雲平台 這個問題就像當初 量化交易會踹掉手工交易麼?有一堆人否定,也有一堆人肯定,但時間最後會說明一切。一樣,先進生產力會替代落後生產力。我自己也...

如何理解機器學習中說深度學習和整合學習是黑箱模型?

Ada 深度學習和整合學習都是機器學習裡面的分支,裡面主要涉及到的技術就是神經網路。而之所以說它們是黑箱模型,主要是因為它們所使用的神經網路技術的不可解釋性。神經網路是一種模擬人的大腦思考計算的演算法,裡面涉及到了很多的計算層級,每乙個層級裡面又有很多的計算節點,同一層級的各個節點之間,不同層級之間...