從事資料分析(資料探勘)的工作已經一段時間的你(1年,2 3年,5年,8年),現在是一種怎樣的狀態?

時間 2021-05-29 23:13:02

1樓:Eric

最終就兩條路,一種偏業務,一種偏技術;無法是橫向擴寬自己的知識領域,或者是縱向拓寬;

現在在我看來,絕大多數企業缺少的都是能夠用資料去驅動業務的BI工程師;年輕人要多去感受市場的經營環境,只有了解了市場才能確定你手上的資料是真是假,才有了後面的建模

2樓:乙隻特立獨行的豬

入行2年6個月base廣州主副業35w左右。

最近在學springboot clickhouse。

兩個方向演算法和開發。偏開發吧。

占個坑,以後補。

3樓:小白

險企省級機構做了3年資料分析。工作就是Excel+SQL+python,做各種ppt,應對各種上級督導和階段性總結,做好了的ppt各種重新整理資料。向各個部門給同乙個口徑的資料,然後各種核實確定資料是否無誤。

同乙個名稱資料,n個口徑,n個用法。心已死…

4樓:

從業兩年半,特別有趣的專案有四五個,用到了機器學習演算法,但也不是特別高深的演算法,也確實實現了預期之上的效果,其餘的工作也都是Sql為主。。。

5樓:資料搬運工

目前在矽谷某大公司做資料科學家,入職時間不長差不多半年,但還是有挺多感觸的。我研究生就讀於美東某知名資料科學專案,上學的時候大家一般都很熱衷於各種技術,會去選很多機器學習,深度學習,自然語言處理,統計圖模型等課程。但是現在上班之後大家聊起來發現平時用的最多的居然是SQL。

沒辦法,現實中資料就是又多又亂,而且資料的正確與否對後面的分析又非常重要,於是每天就要硬著頭皮寫SQL了。希望以後能有什麼新的演算法自動清洗資料,這樣就能有更多時間專注在問題本身,而不是清洗資料了。

上學的時候我和同學們都有個很大的誤區,就是資料科學家==做機器學習的。到了業界才發現大錯特錯了。有的公司資料科學家其實就是每天寫SQL發掘business insights的,比如Facebook。

有的公司要做很多的AB testing,這個也由資料科學家來完成,比如Airbnb的 DS inference組。而在矽谷頂尖的幾個科技公司中,真正在做機器學習模型的一般少之又少,就算是做模型也是用一些比較簡單的模型,而且不會把模型上線。這些公司已經把相應崗位的名稱改成了研發科學家/應用科學家/機器學習工程師。

在他們看來,很多資料科學家做出來的模型雖然看起來比較酷炫,但是在資料量大了之後,特別是有實時資料的時候就沒法用了。所以還不如要工程師來做整個的機器學習系統設計,資料處理框架,和模型的訓練以及使用的API。在中小型科技公司和一些傳統公司崗位還沒有分的這麼細,資料科學家就有機會做模型並且上線。

我現在的工作就處於兩者之間,差不多50%時間做資料分析和AB test,50%時間做模型,並且有一部分的模型最後會做成產品。因為我們資料都在Hadoop上面,所以平時用的多的技術是Hive和Spark這些。目前來說我覺得工作還比較有意思,也能學到一些怎麼用資料解決現實生活中問題的方法,但是未來幾年我還是更想關注在機器學習上面,比如怎麼做乙個實時機器學習系統,而不是呼叫API來做資料分析。

所以一段時間以後應該會跳到大廠的機器學習工程師崗磨練磨練。長期來說我覺得資料科學這個行業最有價值的應該還是什麼都懂的人,有商業敏銳度,也有技術來解決問題。不光會提數分析商業問題,也能做能上線的機器學習應用。

這條路注定是非常艱辛的,大家一起加油咯!

6樓:有析

五年,在職senior data scientist。最痛苦的其實不是在你寫的模型還在測試階段,還在想方設法和傳統部門溝通。而是,你熬過了演算法開發無論如何精確度都達不到傳統部門手工操作,熬過了financial bottom line impact evaluation,熬過了system integration test,熬過了user acceptance test,終於演算法上線了。

你以為可以歡天喜地慶祝一番然後去征服下一座高山?

想多了親。

由於這是乙個相對比較新的領域,解決方案上線以後的後續配套部門都是不存在的。沒有運營,沒有服務支援......

然後,恭喜你,你被「鎖死」在自己一手開發出來的方案上了。

使用者有任何問題最後都要來找你,對接系統有任何更新,也要來找你接洽。其它商業部門也想用,但是想用在不同方向上(約等於重新開發),但又沒錢支援整個重做,需要你居中協調。

然後一晃1-2年就過去了。

你突然發現,自己已經跟不上外面各種工具和演算法的更新換代了......

7樓:遺忘Forgotte

資料剖析的差異 1.資料發掘和計算的差異: 計算著重於驗證和測驗假定,也就是說在你資料發掘是猜測剖析中心,是其起點。

IBM PASW Modeler 是猜測剖析作業的起點。 因而學習資料發掘不意味著丟棄原有專業知識和經歷。相反,有其它職業背景是從事資料是根據資料庫,通過資料處理,發掘,建模得出的,其間,商場剖析師的作業是必不可少的。

8樓:北極戰士

做風控運營4年,做資料探勘和風險模型剛起步。過去靠經驗和聚類案件做風控策略和專案風險評估。現在做大量資料探勘和分析,嘗試通過風險模型去代替部分作弊形式多樣特徵變化較快的風險場景的識別策略。

感覺很有趣,從海量資料分析批量表現比從個案提煉特徵更讓我興奮。

9樓:風中的落翼

用句流行的話說,資料分析「帶我裝逼,帶我飛」。

我之前嘗試過很多的職業,當然因為沒本事,都是底層工作,如銷售、客服、營業員、手機維修等。一方面看不到希望,一方面又覺得low,所以形成了既矛盾又折騰的就業路線。

真正做資料分析工作,其實剛過半年,但是很喜歡,很有成就感。提供工作效率,節省成本,這些自不必說。自身學習上,因為公司的實際需要,我又喜歡折騰,從後端的資料庫,一直搞到了前端工具,現在又趕上公司換ERP,又要做報表和BI等方便的準備和籌備。

原來以為很遙遠的資料探勘、機器學習,很高大上的工具R和Python,慢慢熟了,信心也就有了。

這也許就是做技術的好處,有技術就不愁有飯吃,有安全感。而且對於職業發展的追求,相對(是相對,不是絕對)比較單純,技術能力和薪資待遇成正比。而且一旦形成對技術的敬畏,時間久了自然就養成了每天都學習的習慣。

最近有個問題,是關於35歲及以上年齡的程式設計師的,大部分回答比較悲觀,不建議後輩從事IT尤其是程式設計工作。但是對於我自己而言,技術可能是我一輩子的追求。並不是因為愛好或者理想,只是因為我喜歡這種型別的工作,適合我而已。

如果我從事非技術的工作,可能待遇更差,成就更低,自己還過得不開心。

10樓:張大帥

感觸較深的一點:其實很多人是對機器學習葉公好龍。

舉個例子:機器學習不只是弄個啥模型耍一耍,你首先要接受他的思想和思維方式,認同一些基本原則。

說要靠機器學習提公升,捨不得投人投錢標資料量,也捨不得做眾包,這就是葉公好龍。

口口聲聲說要靠機器學習驅動,結果看到乙個錯分樣本就要否定模型效果,這就是葉公好龍的一種表現。

duangduangduang跑模型,然後匯報訓練集的效果,不敢報測試集效果,這也是葉公好龍。

如果基本的統計思維都沒有,那還弄啥機器學習。

11樓:人曉

做資料分析將近兩年時間。感觸最深的就是一定要整體上分析問題,但更重要的是注重細節,維度資訊,多看對比指標,絕對的資料是不可靠的。養成對資料的習慣!

養成對資料的習慣!養成對資料的習慣!

12樓:Summer

去年11月入行,用的現成的系統和演算法,主要做資料清洗、擴充套件分析和關聯分析,有點小成績,上公升期,拓展中。

建議:自問能靜下心來研究資料和問題的人大膽入行,資料比人好相處。

13樓:潘穎

入坑快兩年,贊同 @Slade Sal答案,資料分析(挖掘)在實際應用中,各個演算法模型的到實際運用端,各類引數是重要的,還有對行業業務理解程度,否則,資料分析只是束之高閣的乙個看上去不錯的玩物。

14樓:

如果對自己的實力很自信,直接挖掘二級市場的資訊嘛,悶聲大發財。以公升職加薪作為謀求財務自由的唯一手段的從業者,基本也就是坑蒙拐騙的貨色,見得太多了。

15樓:

你這分明是想,套高階路線。

空手套白狼。不幹。

() 嫌棄你。

就像高考一樣。怎麼樣能考好。不是天天研究一些奇技淫巧 。而是把五年高考,三年模擬做爛。爛到一題都不錯。高考成績一定好。

可惜啊。現在人,往往不願意一步乙個腳印。腳踏實地的去學習。

天天追求,30天走向北大。怎麼不做題考上清華。選做題猜題技巧。英語看不懂,也能得高分記住這30個技巧就夠了。

有意思麼?

我推薦一本PRML給你。這個就是機器學習屆的。五年高考,三年模擬。什麼時候你讀爛了。你就是8年水平。差不多看懂了就是5年水平。讀了一半就是三年水平。

總結一句:學習是一條很曲折的路,很難走,長著很多的荊棘,路上需要挑戰和堅持的太多,所以學習路上沒有捷徑。

順帶加一段,初中生的作文來鼓勵你。

「父親那頂常年放置在後院的草帽下,竟竄出了一棵梧桐樹苗」「三個月後,梧桐樹就有一層樓那麼高了,可是,父親竟把它砍了」「來年,又是如此。父親還是將它扼殺了」「這已經是第三次了,我憤怒的跑進了柴房,猛然發現,前兩次的梧桐樹杆竟然都是空心的」 我不禁為之心頭一震——

身為一名中學生,只知道一味的追求學習速度卻忽略了最重要的效率,這難道不可笑嗎?如果只是在速度上超過了別人,而效率卻落在最後,那麼,即使是學的再多也沒用。學得多不代表學的精呀!

加油!一起腳踏實的學習,生活。

資料分析 資料探勘之類的工作與C語言的關係大嗎?

氤氳之端 不大,語言選擇上Python R是主力。工具上,jupyter notebook或者jupyterlab可以作為工作台。 愛資料 橙子 資料分析師必備的是要會使用SQL Excel PPT Python 如需資料視覺化還需要會Tableau或Power BI工具部分的學習 Excel 它是...

運用python R語言做資料分析 資料探勘是否適合傳統行業?

資料818 資料分析從本質來講就是乙個工具,它適用的範圍僅僅侷限與人的認知,但不應該侷限於行業,換乙個說法就是,如果你發現在你的行業使用Python和R語言最適合的方法,那麼恭喜你,傳統行業的標桿,無數傳統企業都要像你看齊並且學習。換個角度來看這個問題,什麼是傳統行業,泛指的是傳統技術 傳統管理的企...

資料探勘與資料分析的主要區別是什麼?

haoran 資料分析是資料探勘的基礎,資料分析幫助理解業務內容,並且處理日常工作。資料探勘旨在對於業務內容的理解之上運用模型和演算法去挖掘更深層次的規律。最後就是資料自動化啦。 SMILE 資料分析與資料探勘有什麼區別?SMILE的文章 知乎 https zhuanlan p 26 4803193...