大資料資料倉儲的發展和如何延伸?

時間 2021-06-05 01:56:17

1樓:CodingMan

目前大資料底層以hive建立資料倉儲,可用spark 進行一些ETL相關的事情,另外對於OLAP的分析可以使用Kylin或者Druid,不過首先這些技術的運用要看具體的使用場景

2樓:Duke Yu

這個問題好飄飄!!

方向很多很多!!簡單的說資料分析類的東西大概有3個方向,OLAP就是各個維度做報表,幾十年前叫做報表伺服器,目前仍然是企業資料分析應用的最核心方向,畢竟哪個企業都得有運營資料的各個維度的統計。

第二個方向貌似是DM資料探勘,把各個運營資料拿出來整合到乙個倉庫裡面去碰撞,看你建模的水平了,garbage in garbage out。因為投資回報比很不穩定,沒有太多企業重視這部分,但一些比較基本簡單的模型輸出比較穩定,很多企業也會採用。

前兩個都要基於資料倉儲。所以就衍生了很多資料清洗,資料轉換的工具,ETL。這方面做好了也不錯。

還有就是以上基本上都是企業在用。

第三個就是所謂大資料,這個方向可就大了。搞熟了隨便寫個爬蟲就能搞出很多事來,當然也可能啥也搞不出來,看想象力了。

大資料基本上都是網際網路公司在用。企業用大資料的少。

3樓:資料社

個人認為資料倉儲盡量的向實時處理方向發展。業務人員對指標監控的及時性永遠都不嫌快,他們希望越快越好。資料儲存規劃和管理和資料治理也必然成為數倉的重中之重。

資料庫 資料倉儲 大資料的異同?

雪山哈哈哈 資料庫是用來儲存資料的東西,通常表現為一種軟體系統,面向事務,以處理日常工作為主要目的。資料倉儲的基礎是資料庫,面向分析,面向主題。可以這樣理解,在處理日常工作時用資料庫獲取的 或者說臨時儲存在資料庫中的 資料都是雜亂無章的,不利於分析,不利於挖掘的,那麼就需要對其進行處理,比如去燥 歸...

請問資料倉儲以後的發展怎麼樣呢,和其他大資料崗位相比 實時和離線相比呢?

你這個問題,好幾個人都答得差不多了。我再答也沒啥意思。就瞎說幾句,供你參考吧。你羅列了這麼多職位有啥意思?莫名其妙。職位是隨著工作任務的需要而出現的。死盯著職位有啥意思?沒用的。說到底,無論是大資料也好還是傳統的資料探勘分析,都是為了啥呀?你先想明白這個再說。所以,這都不是問題。只要有業務需要,都會...

資料倉儲專案中的資料建模和ETL日誌體系

萊士兇兇 從數學上,不一定錯誤和不一定正確是不等價的。某命題不一定錯誤,是某命題一定錯誤的否定形式。某命題不一定正確,是某命題一定正確的否定形。因此,某命題不一定錯誤包含了兩種情況,1 該命題總是為真,2 該命題在某些情況為真,在某些情況為假 而某命題不一定正確包含了兩種情況,1 該命題總是為假,2...