分布式資料庫計算引擎對分布式儲存系統底座提出了哪些新的技術挑戰?

時間 2021-05-05 17:44:43

1樓:lemon wonder

我說一下HTAP情況,對於資料庫,TP主要是事務相關,一般底層儲存引擎使用行存,對於AP是分析性,對事務要求沒那麼高,一般用列存,要處理HTAP,那要做到行列混合儲存就很困難。

對於儲存引擎,一種是外掛程式型,向MySQL中,SQL和儲存約定好介面,實現介面並直接使用。但是要做極致,一般計算引擎和儲存引擎共同考慮,如計算引擎依賴的統計資訊生成最優計畫需要儲存層提供,儲存層考慮資料壓縮使用的編碼演算法也依賴不同的資料型別。

所以除了系統層考慮的記憶體、網路等,計算懂儲存,儲存懂計算來實現極致效能是一大挑戰。

2樓:吳鏑

上層系統的多樣性會對底層分布式儲存系統在吞吐,延時,和一致性等方面都提出不同的要求,這就需要底層分布式儲存系統能夠足夠靈活並且提供多種語義的API供上層使用。

比如一些資料庫系統把WAL放在底層分布式儲存系統上,這就需要底層分布式儲存系統具備高吞吐和低延時。在低延時上可能會涉及到減少執行緒切換,記憶體管理,Quorum,RDMA,SPDK等技術。

3樓:藍色麻雀

高可用的強一致資料複製,如paxos,raft或其他多數派協議低延時,原有的兩階段副本複製方案效能太低

硬體加速,需要使用Rdma,SSD,sodk需要專門針對資料庫儲存做優化

分布式資料庫,如hadoop cassandra mysql集群,主流是採用什麼儲存技術,DAS NAS還是SAN?

如果簡單的回答題主的問題,那麼答案是DAS。除了MySQL以外,其他的都是經典的分布式系統。這些分布式系統通常假定任何裝置都是不可靠的,演算法上會對資料做冗餘儲存,因此對介質本身的要求相對較低,DAS即可。MySQL相對特殊。一般而言,如果用MySQL,題主要用的是關聯式資料庫,且資料一般是比較重要...

分布式資料庫如何解決儲存過程?

xchliu 這是個好問題。事實上,太多的系統使用儲存過程來實現業務場景了,雖然在網際網路不多,畢竟網際網路系統沒有歷史包袱。在傳統企業系統中,儲存過程改造問題是非常艱鉅的任務。於是才有了這個問題,也就是說分布式資料支援儲存過程,改造代價就會小很多。而從分布式資料庫實現的角度,變成了乙個選擇題 要不...

如何評價青雲開源的分布式資料庫 radondb?

就沒人吐槽一下那個 計算節點 麼?計算節點 使用tokudb儲存引擎儲存全量資料,為了支援複雜查詢。如果我乙個分布式系統的資料總量有20T 100T,也用單個 計算節點 儲存全量資料?而且這個資料同步過程是非同步的,顯然沒法用在OLTP場景。 靈劍 用Sharding中介軟體冒充NewSQL這件事,...