零基礎學大資料怎麼開始?

時間 2021-05-11 18:36:15

1樓:stonezhu

目前剛好在從事大資料開發工作

零基礎的話,建議先把Hadoop、Hive、Spark這三樣先做個全面的了解,基本就能找到乙份實習工作

其中Hadoop是乙個分布式檔案系統,可以把它理解成是咱們 Windows 作業系統中管理 C 盤、D 盤這些儲存的管家

Hive是一種可以使用 SQL 語言就能實現儲存、查詢和分析儲存在 Hadoop 檔案系統中大規模資料的工具。學習 Hive 的過程中好好看看 SQL 的常用語法

Spark是處理大規模資料的計算引擎。Spark 這塊,重點看一下 SparkSQL 的東西,大部分公司的大資料批處理都是用的 SparkSQL 來做的,也是數倉開發使用最多的技術

2樓:資料的追隨者

大資料家族嚴格來說可以細分成下面9個崗位,當然這9個崗位並不是在每個公司都會劃分的這麼細,越是重視資料、越是財大氣粗的公司劃分的越細,很多公司的資料人員會身兼數職,比如大資料運維和大資料平台開發,資料倉儲與資料測試等,都是同乙個人兼著。

大資料崗位家族

這9個崗位有什麼關係呢?哪個更高大上呢?其實他們也是有生物鏈的。

當你知道上面這些簡單的崗位基本資訊之後,你應該要明確一下,具體是要做大資料哪個崗位,然後再找相關的資料學習。

詳情請看下面幾篇文章

資料的追隨者:大資料崗位家族解讀

資料的追隨者:最實用資料分析師準備之路

資料的追隨者:大資料系列之最冷門崗位-資料測試資料的追隨者:大資料系列之資料科學家

資料的追隨者:大資料系列之大資料開發工程師

3樓:浪尖

程式語言,框架熟悉,安裝部署,使用調優,原始碼原理逐次增加,可以參考。

4樓:資料猿溫大大

資料分為收集、儲存、清洗、應用、運維幾個環節,所以學習大資料也應該圍繞這這幾個方面展開:

1、收集

日誌收集框架:Flume、Logstash、Filebeat2、儲存

分布式檔案儲存系統:Hadoop HDFS資料庫系統:Mongodb、HBase

3、清洗

分布式計算框架:

批處理框架:Hadoop MapReduce流處理框架:Storm

混合處理框架:Spark、Flink

4、應用

查詢分析框架:Hive 、Spark SQL 、Flink SQL、 Pig、Phoenix

5、運維

集群資源管理器:Hadoop YARN

分布式協調服務:Zookeeper

資料遷移工具:Sqoop

任務排程框架:Azkaban、Oozie

集群部署和監控:Ambari、Cloudera Manager詳情文章請戳:資料猿溫大大:如何從0開始學習大資料(內含福利)

5樓:ashley

首先大資料有很多方向,比如:大資料開發,資料分析,人工智慧。所以應該先根據自己的實際情況,想好是哪個方向,再進行學習。

三個方向相比大資料開發主要是程式設計的能力,對數學要求不高,只要踏實學習程式語言,資料處理框架。其他兩個對數學有要求,且招聘中會明確指出希望是數學,統計學的學歷背景。

零基礎如何進入大資料行業?

成都加公尺谷大資料 一 首先選擇一門專業作為目標 在大資料行業裡,大致的崗位也就是大資料開發 大資料分析,大資料工程師以及資料探勘工程師還有Hadoop開發工程師。通過目前的市場調研來看,整個市場對這些崗位的需求量其實都是十分龐大的。所以根據每個崗位的特徵以及自我的需求能力分析,認真的去選擇其中乙個...

零基礎學英語該怎麼開始?

Ling羽 有時間,慢慢在網上和買書學。沒時間,趕緊報個定製的輔導班學。其實這兩樣都需要你專心 努力去學去複習才會的。不然就算你報班也不一定學得會。 王赳赳 如果樓主英語基礎很差的話,可以先從單詞和語法開始,這兩塊是英語的基石,單詞的話只能是堅持每天背單詞,至於背單詞的方法仁者見仁適合自己就行,如果...

高中化學零基礎怎麼開始學?

硫磺喵 沒什麼方法。想學計算你起碼得先學會怎麼寫123。化學是一門需要比較多記憶知識的學科,你得先知道現象才能把它們聯絡起來進行理解。建議多花時間並考慮找家教 Lee 化學生物的知識點都很細碎,所以要把握細節多記,方程式什麼的不用說,必須記住,什麼程度呢?就是提起乙個方程式連配平都能馬上說出來。勤能...