大資料工程師和演算法工程師的區別是什麼?

時間 2021-06-01 17:40:18

1樓:合肥北大青鳥雲登校區

大資料探勘工程師需要了解整套資料流入的過程,包括資料的接入、預處理,然後需要知道怎麼用資料解決實際的業務問題,說白就是想辦法讓資料產生價值。

他需要知道一整個資料到業務輸出的機制或者說是系統,可能涉及到複雜的演算法轉化,也可能只是簡單的規則轉化,或者多個模型的轉化組合輸出等等,他是乙個比較全面而概括性定位。

而演算法工程師則不一樣,他們的職責我認為更純粹,他們需要知道如何把現實問題轉化為數學的模型,並且把模型調到極致,從而解決問題。所以,演算法工程師工作內容更單一,但是更專,需要更好的數學功底。

2樓:Tony

乙個資料專案,從職責分工上,一般需要三類人員,一是對行業業務現狀能精確解讀的人,也就是行業專家,一類是數學模型科學家,一類是IT工程師。具體分工是,行業專家通過自身的經驗,對行業中存在的問題,給出業務層面的解讀,比如房價是和人口相關、還是和平均收入相關。數學家將這些現實的維度,轉化為數學模型,然後由IT工程師,使用專門的工具來實現(當然這還需要對資料進行一系列處理)。

現實中,乙個優秀的模型師,基本上也是乙個優秀的工具使用者,我們公司的資料分析師,SAS/SPSS/R/PYTHON用得都很熟。所以大資料工程師偏IT,偏工具的使用,計算機專業畢業即可。而演算法工程師的核心是數學和統計學,必須是這樣的專業畢業的才可以。

3樓:慢半拍

大資料工程師強調對大資料工具的掌握,對工程效率負責,演算法工程師強調對機器學習演算法的掌握,對產品效果負責;大資料工程師一般本科即可,演算法工程師更多要求碩士

4樓:SupremeHao

最後一點怎麼看起來是獵頭在招人。。。現在的情況下,不同企業對這兩個職位的職責定義不盡相同。實際操作中這兩個崗位確實也有很大重疊,其實現在的job market能有一些演算法和機器學習經驗的人,這兩個崗位都可以找到工作。

僅從字面定義上來講,大資料工程師偏重工程,職責可能包括資料清洗、整合、wrangling、特徵抽取,分布式計算、資料探勘等都會涉及。演算法工程師偏重演算法,側重考慮公司資料和業務特性的運籌和機器學習演算法,比較少需要直接清洗資料和接觸底層分布式任務的處理優化。大資料工程師更傾向有coding和資料探勘經驗的人,演算法工程師更傾向有演算法理論和數學基礎的人。

未來五年,演算法工程師,大資料工程師之類的行業會飽和嗎?

碼農一枚 未來5年,不會。哪個行業都需要大量的資料來答出結論,所以不會的。嘚瑟那麼多,沒有什麼意義。總而言之,不會。你現在好好學習就對了。 方舟的舟 就我看到來說,大部分演算法工程師都處於初級演算法崗位,而演算法這個東西和普通開發堆人力不同,有能力有才能真正懂的人是把東西做好的關鍵,絕不是自動化,掉...

軟體工程師or演算法工程師?

yuchting 計算機相關工作,但是不是演算法工程師,以下只是拙見。系統學習 資料結構 排序演算法滾瓜爛熟 演算法導論 計算機程式設計藝術 其他學習 不斷去刷LeetCode,一年刷100 200題?然後數值AI演算法 大資料統計分析演算法 爬蟲演算法,PR演算法等等,熟知。 jackwang 學...

BI工程師 資料倉儲工程師 ETL工程師 資料開發工程師(大資料開發工程師) 有什麼區別?

BI工程師可能更側重於系統架構及資料分析呈現。重點在於乙個指標如何去挖掘資料價值,為運營決策提供參考依據。資料倉儲工程師更多的在於構建分析模型 cube 如何規劃維度 量值間的關聯關係,承上啟下。ETL工程師更多在於如何統籌資料,多系統整合,資料併發,ETS等。資料開發工程師更偏向於DBA,重點在於...