如何建立乙個大資料平台?具體的步驟

時間 2021-05-05 20:27:37

1樓:琪韻

大資料平台,是不是就是主要用語資料分收集和分析呢?

可以基於SaaS的雲計算平台做。

能夠較快地搭建程式的框架,對技術要求也不是太高。

應用開發平台 - 免費構建網頁和移動應用 - Zoho Creator

對資料的統計分析,可以做到餅圖,柱狀圖,曲線圖,各種維度進行分析。

2樓:侃侃

對於企業資料資源平台的建設,定出建設大資料平台的目標。

在資料平台建設的前期來說,做大資料平都是為了日後的資料分析來做基礎的。那樣就一定要規劃出適合企業的方案。跟據目前國內大部分企業或者單位的我們可以大至分為幾類:

(1)目前企業已經有明確的資料分析需求,對於需要分析的資料有明確的目標。知道自己想要採集那些應用的資料,也明確出資料分析要達到的最終效果。這樣我們就可以與相對應的應用系統做資料的採集,並對採集的資料進行標準化的除理,最後進行儲存、分析、建模。

(2)目前企業不清楚自己資料分析的目標,但是想做一些大資料的治理以及規劃。我們就可首先要做的就是先把企業所有的應用資料都進行採集,然後進行資料標準化整理、資料的儲存。這樣做有兩方面原因:

一是把資料企業進行整理形成的自己資料資產,為資料應用提供基礎。二是打破了各應用系統間的資料壁壘可以使應用間的資料進行簡單的關聯和呼叫。

(3)對於一些還沒有完整的資訊化體制的企業來說,可能只有一兩個應用。在規劃資訊化建設時要規劃好自己企業的資料的建設,要統一應用間的資料標準。然後做出資料中颱的規劃。

這就是企業初期建設置目標的一些思路。

3樓:miao君

1、美團的大資料平台架構實踐 - 知乎專欄2、鏈家網大資料平台建設,平台樞紐--工具鏈 - 知乎專欄擴充套件一下這個問題,從常規資料平台到大資料平台的選擇可參考閱讀:怎樣選擇資料平台的建設方案 - 知乎專欄

關於大資料平台建設

大資料平台的建設過程是由下而上逐步完成的。

首先要有Hadoop集群,在有HDFS與Hive後,才能開展資料接入工作,才能基於集群建設工具鏈;當工具鏈部分的OLAP引擎構建好,才有上層BI、報表系統和資料API,只有AdHoc能力構建好,才能提供基於SQL的資料探索平台,工具鏈中特別需要建設好排程系統,才能在實現好資料ETL任務的同時,管控資料流向與資料關係。最後則是服務層面的建設,重心在於迎合需求的同時,服務做得更加易用,資料管理系統會穿插於整個大資料平台中。所以弄清了每個部分的相互關係也就容易明白大資料平台的建設流程。

4樓:Yinfeng Qin

最近compile了乙份企業大資料成熟度模型,可以先對照評估現在自己所在公司處於哪個階段,之後對照當前和後續階段來設計實施的路徑吧:

5樓:王騰

從產品設計上回答這位同學的問題。

首先要明確建立大資料平台的目的,如果是簡單的BI報表展示,只需要一些基本的儲存、計算、排程和展示元件就OK了,建議使用Cloudera的CDH和Hortonworks的HDP,都是整合度比較高的套件,足夠使用了。

如果是要做企業內部計算和儲存資源的開放,就需要做系統性的工作了。

經過大概5、6年的發展,國內的資料平台架構基本形成正規化,大家可以參考下圖,我在實際工作中推動的資料平台架構建設。

每個部分都是在生產中遇到了具體的問題來推動建設的。

如果題者有興趣,我可以詳細講下每個元件的搭建細節和必踩的坑。

6樓:Greg LI

1、註冊Bluemix賬號

2、梳理資料來源

3、蒐集需求

4、在Bluemix發布

5、梳理資料來源

6、蒐集需求

7、在Bluemix發布

8、梳理資料來源

9、蒐集需求

0、在Bluemix發布

7樓:傑克窮思

我們單位常年有一群人叫囂著要建立大資料平台,似乎建立了大資料平台就可以讓諸葛亮死而復生,讓世界瞬間充滿愛,誰提意見誰就是老古董。一開口就是怎麼儲存,人工智慧。

我認為這都是一群年輕人讀了幾本書的臆想,衝動的熱情。

個人認為大資料平台分四步。

1.調研資料結構化需求,根據你們單位的需求你們要的最主要最原始的跟蹤單位是什麼,這些資料要什麼樣的結構。比如跟蹤單位是客戶,要的是消費資訊,地理資訊,偏好資訊,社會屬性等。

2.設定錄入維護流程,許可權,介面等。

3.讓技術人員去研究怎麼儲存,計算,內外部生產系統對接,人工智慧等問題。

4.試執行,業務人員使用並提出條件分析需求,由技術人員去搞什麼資料探勘,確定客戶端功能。

乙個好的平台估計要上千萬,耗時1-2年以上

8樓:江梓鵬

所謂大資料平台,既要收集億級的海量資料,然後還要篩選出來資料屬性和範疇,資料分析邏輯需要像人一樣的思考,又要超越人的思維能力,可以稱之為平台的就不叫大資料,大資料是一套思考系統,然而這個問題本身問得就不及格。

9樓:樵風

大資料平台,這太大了。簡單點就是搭建乙個大資料系統,可以進行大資料的處理。

目前有Storm之父提出的Lambda架構思想,可以以此為框架,進行元件的填充,形成乙個大資料系統。例如kafka+Storm+Redis+Hadoop。

10樓:

比較簡單的步驟:

1. 首先要有乙個分布式的檔案系統,保證能夠對「大」的資料進行儲存,而且該檔案系統應該具有容錯和高吞吐量的特點,例如HDFS之類的。

2. 然後要有乙個分布式的計算環境,如Hadoop、Spark之類的,能夠快速開發程式對資料進行分析和加工。

3. 最後要有乙個大資料的視覺化工具,能夠快速生成視覺化介面。

作為乙個大一的學生,想走大資料方向,應該如何準備?

劉明昭 才大一,不用過早介入具體技術中去。外圍多關注多了解行業情況就好。關鍵還是學好基礎,比如數學 資料結構 程式語言等等。大一大二這階段,基礎比什麼都重要。 chenbo 數學英語等公共課要學好作業系統網路程式語言資料結構演算法這些課程是重點至於大資料都是這些基本知識的深入總之基礎最重要多學習多實...

幾個大學生想建立乙個舊衣舊物捐贈平台,大家有什麼建議嗎?

老李戶外 難就在於如果是公益,那就要考慮怎麼活下去,必須自己有造血能力,就是賺錢的能力,如果乙個公司或組織部賺錢,活下去很難。但公益國內一提,大家就覺得你不應該賺錢,做不好就身敗名裂。這也是國內民間公益發展很難的原因。還有乙個現實是,目前國內真正需要舊衣服捐贈的地方越來越少,近幾年慈善協會等不接受舊...

建立Bot的中文平台 乙個AI(yige ai)

一 見仁見智是自然而然 勢所必然 理所當然。相對主觀有客觀,相對唯心有唯物,相對微觀有巨集觀,相對已知有未知,相對相對有絕對,相對太極有無極 相對有不斷創造,絕對有不斷侷限 相對問題會不斷化解,絕對問題會不斷產生。二 心跳呼吸 冷熱苦甜 吃喝拉撒 恐喜悲怒 思想行為 生死病康 胖瘦美醜 男女老少 壽...