大資料一定要基於分布式計算嗎?

時間 2021-05-29 22:48:36

1樓:資料控

分布式計算技術結合了一系列技術,可以對海量資料進行實時分析,它所使用的硬體非常便宜,因而讓這種技術的普及變成可能。

我們說大資料分析,說雲計算,都少不了分布式計算技術。因為要實現大規模的計算和資料分析,一台伺服器肯定是不夠的,也不能簡單地將不同功能模組分布到不同的機器上執行,這充其量也只能叫做scale-up,但是最終你一定需要scale-out,這才是真正的分布式計算,或者叫平行計算。

2樓:加公尺谷大資料老師

分布式計算並非大資料的唯一解決方案,但是從現實狀況來說,市場的選擇如此,在技術、成本、軟體、硬體、人才等各方面因素的共同作用下,分布式計算成為主流的選擇。

分布式計算,從根本上來說,就是解決資料計算的問題。分布式並行程式設計可以大幅提高程式效能,實現高效的批量資料處理。分布式程式執行在大規模計算機集群上(廉價的伺服器),可以並行執行大規模資料處理任務,從而獲得海量的計算能力。

而現有的開源框架,以Hadoop、Spark等為代表,也有成熟的生態圈支援,從行業發展來說,也有比較好的條件和基礎,所以趨勢還是朝著這個方向在走的。

分布式資料庫計算引擎對分布式儲存系統底座提出了哪些新的技術挑戰?

lemon wonder 我說一下HTAP情況,對於資料庫,TP主要是事務相關,一般底層儲存引擎使用行存,對於AP是分析性,對事務要求沒那麼高,一般用列存,要處理HTAP,那要做到行列混合儲存就很困難。對於儲存引擎,一種是外掛程式型,向MySQL中,SQL和儲存約定好介面,實現介面並直接使用。但是要...

微軟有什麼分布式 大資料的解決方案嗎?

pdfDryad是類似於mapreduce文章的分布式計算框架,時間發的比mapreduce還早,可惜沒mapreduce的影響力 Tim Chen 基礎Hadoop平台 HDInsight Hadoop big data solution 用來管理資料流和協調計算任務的 Data Factory實...

雲計算到底是乙個集中式計算還是分布式計算?

極風雲 雲計算是分布式計算的一種,指的是通過網路 雲 將巨大的資料計算處理程式分解成無數個小程式,然後,通過多部伺服器組成的系統進行處理和分析這些小程式得到結果並返回給使用者。其實簡單的理解就是將大量用網路連線的計算資源統一管理和排程,構成乙個計算資源池向使用者按需服務。提供資源的網路被稱為 雲 這...