如何入門大資料(資料探勘方面)?

時間 2021-05-06 21:33:42

1樓:蹲腿我的愛

想學習資料探勘,幾個基礎知識是必備。首先是線性代數,包括向量,矩陣等。否則你根本不會是用科學工具。

其次是維歸約,包括PCA,SVD等技術的使用。還有概率統計,回歸方程,優化,也是必備知識。

2樓:熊曉曉

前幾天和三個學計算機專業的學生聊天時聊到了大資料開發方面的話題,他們三個人中,有兩個已經進入企業開始工作,另外乙個還是大二學生,但已經開設了自己的工作室。他們都是從事程式開發方面工作的。大資料開發自然都有關注到,只是目前的大資料技能水平只能說是「小菜鳥」吧,連入門還談不上。

當然了,大資料開發方面我也只能算是個「小學生」,也是跟在師傅後面學。自然hadoop、區塊鏈火了以後,發現很多從事程式開發的「碼農」朋友們也陸續投入到大資料開發的懷抱。對於有多年「碼農」經驗的朋友來說,學習大資料開發必然已經有了乙個比較好的入門基礎了,但轉身投入大資料開發懷抱的可不全是「身經百戰」的碼農,就比如我昨天的那三個朋友。

對於像他們這樣的新手大資料開發又該如何快速入門?

需要資料找我

網上搜尋一下「大資料開發入門」就會看到很多文章介紹如何在短時間內快速入門學會大資料開發。看完到這些文章總覺是在誤導新人,大資料應用開發過於偏向底層,它的學習難度之大真不是你三兩篇分享文章就能說的清楚的,它所涉及的技術層面太多廣泛,都在很大程度上制約了大資料的普及,不然大資料人才也不會如此稀少!

3樓:

社招和校招不同之處在於:校招會因為良好的基礎,較好的母校背景,給你實習機會,但社招絕對不會因為你學會了理論就直接給你乙個機會。

社招來說,轉型最好的方法是找到一種方式來實踐參與並能獲得等同於工作積累的經驗與技巧

幸運的是大資料探勘領域,這樣的實踐機會是比較好找的略去了自己清洗資料,找尋資料的髒活累活

最後的結果往往可以量化且貼近真實的工程(當然只是貼近)提供的平台式的使用方法和各公司真實的資料探勘環境接近Your Home for Data Science最後就是:不要去盲目付費大資料探勘課程,這個行業還遠未飽和到一線的開發有時間來準備和講解課程的時候

4樓:好程式設計師

人們對新技術總是有著相同的原始渴求,至少知其然在聊天時不會顯得很「土鱉」。現在大資料那麼火,大資料是什麼呢?最早對大資料做出比較明確的定義的是麥肯錫,大資料一種規模大到在獲取、儲存、管理、分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合,具有海量的資料規模、快速的資料流轉、多樣的資料型別和價值密度低幾大大特徵。

大資料開發工程師職業發展方向

大資料開發行業發展速度較快,對應的人才供給不足,由於大資料人才數量較少,大多數公司的資料部門一般都是採取扁平化的層級管理模式,大致分為資料分析師、資深研究員、部門總監3個級別,當然,大資料工程師的職業發展方向不一定只有晉公升這條路線,更為正確的路線應該是從現在的平台跳轉到另外的更大的平台。

大資料開發工程師待遇

大資料開發工程師作為IT類職業中的「大熊貓」,大資料工程師的待遇是非常高的,在這個領域再次給我們展示了「物以稀為貴「的道理。在國內IT、通訊、行業招聘中,有10%的招聘崗位都是和大資料相關的,且比例還在不斷的上公升。在美國,大資料工程師平均每年薪酬高達17.

5萬美元,而在國內,頂尖的網際網路類公司,相比於其他崗同等級別的崗位,大資料工程師的薪酬大約要比其他職位高20%至30%,而且很受企業的重視。

5樓:southwind

大資料現在是很熱門的乙個話題,也是最值得我們去學習的乙個專業,所以在面對大資料的時候,我們要鼓起勇氣去努力的學習。

人工智慧時代,資訊新舊交替的時間越來越短,對於整個社會的整體創新來說,也越來越容易,資訊的大集合就是創新的黑土地。在這樣的大形勢下,也就衍生了越來越多的科技公司,大家都覺得自己可以憑自己的創新在這個行業立足。

然而事實並不是這樣,當創新成為了大家的家常便飯的時候,我們就會發現,大公司的飯似乎一直比那些小企業的飯優質的多,也就毫無競爭力。

最後,我們要想成功,就需要有足夠的資源,可以讓彼此形成你幫我帶的創業模式,在沒有競爭的方向上,讓懂行的人可以為我們提供一定的資源援助和硬體技術支援。還可以將傳統的投資模式進行優化,讓新型的創業專案可以得到最大的技術支援和資金支援。

最後我們是否成功入駐大資料就看我們的能力了。

6樓:房路剛

本人和題主的情況很相似

1 在職

2 理工科碩士畢業多年從事工程應用相關工作3 最近對人工智慧資料探勘感興趣

4 由於碩士期間大量使用了matlab 對這個軟體依然很熟悉所以最近從這方面下手學習相關資料

5 想結合現在從事的工作把資料探勘相關技術應用到工作中雖然也想過換工作但暫時還沒考慮

6 題主進展如何可否交流一下

7樓:大資料玩咖

乙個大資料開發者應該具備的技能修養,以乙個大資料開發工程師的角度的總結:

乙個大資料工程師應該具備的技能「修養」,以思維導圖的方式總結:

資料結構和演算法是基礎

設計模式是思想

大資料工具元件是技能

Hadoop體系:

HDFS,MapReduce,yarn,Hive,Hbase,Flume,Sqoop等

Spark體系:

SparkCore,SparkSQL,SparkStreaming,SparkMLlib

機器學習是分析

推薦系統

資料結構和演算法思維導圖:

設計模式思維導圖:

Hadoop思維導圖:

Hive思維導圖:

Hbase思維導圖:

Flume知識體系思維導圖:

Sqoop知識體系思維導圖:

Kafka知識體系思維導圖:

Redis知識體系思維導圖:

SparkCore知識體系思維導圖:

SparkSQL知識體系思維導圖:

SparkStreaming:

機器學習基礎知識思維導圖:

8樓:Shaun Xi

我也是轉行自學的,自己也寫了一些總結,看看對你有沒有幫助http://

9樓:李誠

需要用計算機語言來實現 ,所以要學習計算機才行。大資料的資料都是存在資料庫中,當然需要計算機語言來統計分析 ,其中也要用到演算法

10樓:張巨集倫

參考我在另乙個問題下的回答:如何快速成為資料分析師? - 張巨集倫的回答 - 知乎

如果有理工碩士背景,相關的東西學起來應該都挺快的

如何從資料探勘入門到資料探勘高手?

tiptop200 至於工具 我注意到,有些人只專注於學習資料探勘 但最專業的網路資料探勘人員,應該知道如何使用資料探勘工具以及何時使用它們。視覺化資料探勘的工具,比如ParseHub就非常強大! podongfeng 1,都不用,囧 2,看需要了,如果只是呼叫第三方庫,懂點基礎就好 如果要自己實現...

新手如何入門大資料?

無限年光 大資料是乙個非常大的概念,其中有3類發展方向 偏硬體和運維類的軟硬體服務類的工程師 偏大資料處理的資料工程師 偏業務分析的資料分析師 無限年光 6.大資料與統計學 無限年光 2.資料及其特徵 分類 質量 無限年光 資料分析師做什麼?無限年光 資料分析師需要什麼技能? 冰洋 2,大資料的學習...

資料科學,資料探勘,資料工程和大資料之間有什麼關係?

淡淡的憂傷 資料探勘和資料科學基本上是一回事。資料探勘是30年前的說法,現在叫法高大上些。以前資料探勘主要是基於統計學的理論和演算法。這幾年理論上,大量用數學和物理的理論和演算法逐步引入,比如流型,熱力熵啊。總的來說這兩個是一回事。資料工程,是具體把資料科學理論去解決實際問題。如同理論核物理和核工程...