Google推出了Apache Beam以後,spark和flink的路已經要走完了麼?

時間 2021-05-06 06:45:44

1樓:iyacontrol

我們先看看Beam是什麼?

Beam是乙個統一的程式設計模型,實現在任何執行引擎上執行的批處理和流處理任務。

通過官方架構圖,我們可以看到:底層執行的Runner依舊是Spark或是Flink等。

所以即使用了Beam,也不能代表Spark 和 Flink的路走完了

我們接下來再看看Beam的發展現狀。

截止到目前,

除谷歌之外,國內外很少有大廠去擁抱beam。

國內深度剖析Beam的教程或是文章很少

在生產環境落地的案例比較少

所以理想很豐滿,現實卻很骨感。beam 能否真正被大家接受和落地都是乙個未知數。

再看Alibaba,選擇了Flink實現流批一體。

2樓:寧笏藏本平

beam是乙個統一的API封裝,在spark,flink等等之上建立相同的API。

產生原因是pig/hive不再能滿足谷歌的需求了,於是谷歌就自己擼乙個開源

3樓:dssocool

批流統一當然是方向,會讓世界更美好。

不過個人認為與其弄出一套程式設計師用的API,不如直接在sql的基礎上擴充套件出一套批流統一的DSL。

要知道每個程式設計師都是創造家和顛覆者,只要明白了Apache Beam的思想,批流統一的API大家都能寫,保而且證每份都不一樣。。。

那不如提供一套給上層使用者,比如資料分析人員、資料庫管理員等使用的擴充套件後的sql,讓他們來倒逼程式設計師。。。

我是毒士麼( ¨ )

4樓:興中

Beam 是dataflow api的框架,flink是乙個runner。事實上,flink是beam承諾的superset,beam能做到flink都能做。

5樓:朱詩雄

Apache Beam的目標是弄出一套API來相容目前主流的框架,比如Spark,Flink,Google Cloud Dataflow,也就是說一次編寫可以在不同平台上跑,本身沒有實現執行引擎。所以你得出的結論完全不對。

Google 在 I O 大會上推出了 Chromebook 小型筆記本,大家對此產品有些什麼看法?

趙巧華 現在的環境還是不太信任所謂的雲端,有誰願意把自己的隱私資料放在雲端嗎?還有這個東西能玩遊戲嗎,linux桌面尚還不能挑動windows,估計這個也難 Dirty Monkey 目前推出的那個是實驗性的吧,而且面向客戶主要在美國 就目前來看產品沒有什麼號召力不過web os是前景所以還會大量投...

Google 剛推出的 Google 服務,相對 Facebook 有什麼亮點?

施巨集斌 分享流程的核心差異 群組是亮點,但是不是核心亮點 也不是差異起點,差異起點的是 google 單向的分享過程,分享與被分享方各自自我中心決定的分享內容的狀態 如果說的再飄渺些 google關注的不是關係 甚至淡化關係,只是對物件的關係做了乙個分組!google關注的關係雙方之間的行為的本身...

Google 推出 Google 後,全線產品的 UI 都變成了小清新的風格,你對此有什麼評價?

keso Gmail和Gcal新的介面很喜歡,和我之前一直用的Helvetireader Helvetical系列Userstyle風格有些相似。 小皮 我要投反對票了,不喜歡新介面,特別是topbar,還是喜歡Gmail目前的頂部樣式,另,試了下新的 預覽 Gmail主題,很不喜歡 應該是為了配合...