kafka streaming與flink和storm流處理框架對比有什麼優缺點,如何選擇?

時間 2021-06-04 08:28:45

1樓:

Disclaimer:我是 Kafka Streams的Engineer Lead,專案主要負責人,所以我的答案請兼聽則明。

Kafka Streams和Flink/Spark相比最大的不同點在於運維:

1. 後者是乙個系統構架,你的流處理程式需要「提交」到它的乙個runtime上面,然後runtime做partitioning,fault tolerant etc;前者是乙個library,乙個庫,你可以像運維producer / consumer 客戶端一樣運維你的streams客戶端,使用任何cluster manager:YARN,Mesos,Docker,Kubernetes 等等。

2. Kafka Streams因為是僅用於儲存在Kafka上面的流處理,所以可以利用很多Kafka本身的一些特性,比如log partitioning,auto rebalancing,offset management,等等。比如說scaling up,你只要在多個process或者機器上execute the same piece of code, Kafka Streams庫會自動assign workload partitions,每當你再execute乙個新的instance,都會rebalance workload。

接下來的Exactly-once等屬性也都是基於Kafka client自己的很多features,等等。

我在今年的Hadoop Summit裡面有乙個talk講關於Kafka Streams,供你參考:

Kafka Streams Stream Processing Made Easy with Kafka

如何看待與自己和解,與現實妥協,生活與理想到底該怎麼選擇?

戚風烈酒 沒有詩和遠方的田野,那你甘願苟且於眼下的原因是什麼?理想要有,生活也要過,沒了理想努力的意義又何在?理想與現實之間要有乙個平衡,工作時間就一心放在處理工作問題和提高業績上,各種困難和無奈都會有的,看淡就好,如果生活過得盡是如意,那麼你又何來蛻變和人生感悟呢?工作時間之外,就去過自己的理想的...

父母與如何與大學孩子溝通?

綠樹花紅 大學生也是人,正常溝通就好了。這位家長估計是問,如果跟孩子溝通問題有分歧怎麼處理,尊重理解,讓他把話說完,你給他分析利弊 陳盈老師 關鍵是要有耐心 其實我也做不到 很多時候,我們因為孩子很簡單的事情做不到而感覺到鬱悶。其實對他來說資訊量過大,需要的背景知識和經驗很多,我們對孩子的期望太高,...

動機與主題的區別與聯絡

好麻煩 有意義,浪漫的,小首飾啊,書啊,一起去看戲或者短途旅遊啊,健身卡啊,雜誌啊。都成。拋磚引玉幾個哈 小首飾寫心項鍊。背面是黑瑪瑙,正面是鏤刻乾隆 寫心 印的紋樣。寓意也好,樣子也好。正面背面 書看她的愛好吧。我最近很喜歡這本書,推薦給很多朋友。情人和有共同語言的朋友之間送我覺得挺好的。美的歷史...