大資料演算法和傳統的資料探勘演算法有什麼顯著的差別?

時間 2021-05-07 18:01:35

1樓:Tony

我個人覺得這是兩個不同時代的東西,就像功能手機和智慧型手機有什麼顯著差別?雖然二者的本質都是資料來源、資料工具、模型演算法這三要素,但場景完全不一樣,是量級的差異。比如銀行傳統的資料探勘,基本使用的是交易資料,而現在機器資料和網際網路行為資料也納入進來,資料量和分析的維度複雜的多。

還有乙個顯著特徵是,傳統資料探勘傾向找到事物之間的關聯關係,希望挖掘一種共性,而大資料則期望對每乙個個體進行精準定位,希望找到每個分析物件的個性。如果非要說沒本質差別,我只能說最底層都是數學。

2樓:木華

演算法沒有顯著區別。

只是傳統的一直侷限於計算能力(集中式或類集中式的計算),導致像深度學習不能有效施展,而其他演算法又一直在糾結時間和空間複雜度。

現在基於雲計算、分布式和大資料的底層技術,大規模的計算條件滿足,許多演算法的效果也就更快,效果也就更為明顯有效了。

3樓:

傳統的模型要經過演算法改進來降低時間和空間複雜度,才能在大規模資料上使用。注意到這點對個人來說比較重要,才能有針對性的學習,學習乙個模型不能用toy data來實驗,而應使用gb以上級別資料,自然能注意到區別

4樓:

實際上,大資料用的演算法絕大多數都是幾十年前的老演算法,只是當時的硬體條件不支援這麼大的計算量。而現在硬體和分布式技術上去了,那些老演算法變得實用,所以開始流行。比如現在很火的深度神經網路,演算法都是30年前提出來的了,但直到最近幾年才變得實用。

PageRank 演算法為什麼會躋身資料探勘十大經典演算法之列?

張戎 在學習資料探勘和機器學習的演算法過程中,確實有很多教材不會專門寫 PageRank 演算法,但是這並不表明 PageRank 演算法不重要。在圖演算法領域中,個人覺得 PageRank 演算法應該是非常經典的演算法,除此之外,還有 FastUnfolding 演算法等。另外,可以去 GOOGL...

資料科學,資料探勘,資料工程和大資料之間有什麼關係?

淡淡的憂傷 資料探勘和資料科學基本上是一回事。資料探勘是30年前的說法,現在叫法高大上些。以前資料探勘主要是基於統計學的理論和演算法。這幾年理論上,大量用數學和物理的理論和演算法逐步引入,比如流型,熱力熵啊。總的來說這兩個是一回事。資料工程,是具體把資料科學理論去解決實際問題。如同理論核物理和核工程...

如何入門大資料(資料探勘方面)?

蹲腿我的愛 想學習資料探勘,幾個基礎知識是必備。首先是線性代數,包括向量,矩陣等。否則你根本不會是用科學工具。其次是維歸約,包括PCA,SVD等技術的使用。還有概率統計,回歸方程,優化,也是必備知識。 熊曉曉 前幾天和三個學計算機專業的學生聊天時聊到了大資料開發方面的話題,他們三個人中,有兩個已經進...