MySQL支援分布式嗎?如果我要把Hadoop和MySQL結合起來,得如何做?

時間 2022-01-19 06:35:36

1樓:yingjun

mysql是用來支援OLTP workload的,就是大量的單行查詢。mysql本身不是為分布式設計的,但是後來大家發現乙個機器存不下那麼多機器所以就開始搞分布式了。現在多數的做法還是sharding。

hadoop是用來處理OLAP workload的,就是大量的scan,大量的aggregation。hadoop本身就是為分布式設計的。

mysql+hadoop當然是可以的,而且應該算是很經典的用例。mysql資料庫在前端跑,然後每隔一段時間比如每天把mysql的資料匯入到hadoop中做資料分析。

2樓:李永會

我們是將mysql資料灌到hbase中,然後利用hbase的大量存和寫的優勢。

3樓:Smart Lee

我想他的意思應該是由hadoop定點生成乙份報表,然後將結果錄入關係型資料庫,便於後台開發者取資料。

4樓:萬文波

Hadoop貌似不好和關係型資料庫連線吧~本身而言,關係型資料庫就不是分布式模型啊,別說MySQL了,就算Oracle也不行啊~

5樓:刑天戰士

mysql本身不是分布式的,如果你要結合起來,那麼建議你從mysql匯出資料到hadoop。話說兩個根本不是乙個領域的,你要幹啥用?

分布式的環境下, MySQL和Redis如何保持資料的一致性?

EnjoyMoving 資料庫和快取之間一般不需要強一致性。一般快取是這樣的 讀的順序是先讀快取,後讀資料庫 寫的順序是先寫資料庫,然後寫快取 每次更新了相關的資料,都要把該快取清理掉 為了避免極端條件下造成的快取與資料庫之間的資料不一致,快取需要設定乙個失效時間。時間到了,快取自動被清理,達到快取...

大資料一定要基於分布式計算嗎?

資料控 分布式計算技術結合了一系列技術,可以對海量資料進行實時分析,它所使用的硬體非常便宜,因而讓這種技術的普及變成可能。我們說大資料分析,說雲計算,都少不了分布式計算技術。因為要實現大規模的計算和資料分析,一台伺服器肯定是不夠的,也不能簡單地將不同功能模組分布到不同的機器上執行,這充其量也只能叫做...

分布式儲存,spdk繞開核心的方案有前途嗎?

黃瓜瓜 其實spdk包括RDMA,在系統效能提公升方面絕對是個好東西,基本能把單路延遲提公升到乙個可觀的資料。但是問題在針對spdk rdma的機器適配,機房機架的替換改造,還有對於有經驗工程師的招聘的成本所帶來的成本提公升,對於中小企業甚至有營收負擔的大部門來說,都是不小的壓力。任何分布式系統都得...