apache spark真的如此強大?

時間 2021-06-03 18:05:58

1樓:find goo

hadoop不光包括mapreduce,還有分布式檔案系統,hbase,hive,Pig等一系列的框架。

hadoop的硬碟儲存能力方面比spark強,spark主要目標是記憶體計算,也就是說spark在同樣的計算壓力下比hadoop耗記憶體,耗記憶體是好事也是壞事,在不同的場合用處不一樣。如redis為記憶體計算,但有的場合用支援硬碟的ssdb更現實化。

最新的apache ignite 可以用記憶體加速hadoop,支援記憶體分布式檔案,和hadoop結合比較好,hadoop的外掛程式比spark多,平台性比spark強。spark主要是後一代的記憶體計算為設計目標,而hadoop追求的是海量儲存平台為目標。各有所長。

spark面臨新一代的apache storm,apache ignite等實時處理的競爭,而對hadoop新的平台更多的是相容。實時記憶體大資料分析是未來發展方向,hadoop適合事後資料分析,實時的東西耗記憶體是必然,不然再好的演算法,io速度上不支也是空,hadoop生態系統的很多框架可以相容用於新一代的實時分布式記憶體大資料分析場合。資料會隨著時間的增長而增長,資料大到一定程式,使用記憶體級大資料分析成本比硬碟級大資料分析成本要高,適合在不同場合,不是競爭關係。

異地戀真的如此痛苦嗎?

任不渣 女生單獨和個男的出去?直接說你介意唄,看反應,你也不說說看你物件的性格,不能對症下藥,好好說,別帶什麼特殊情感,還有了解一下是不是什麼特殊情況還是普遍情況,女生是不是缺乏男女有別的意識,好好教教 異地戀最主要的是信任,一定要有信任,這樣對三個人都好。就是因為她對我沒信任,我對她絕對信任,所以...

神奇女俠1984真的如此不堪嗎?

三條 我喜歡這個故事,它讓加朵飾演的女俠更加豐滿了,從而喜歡上女俠這個角色本身。對我來說這電影是比較成功的,當然它毛病有的,但也已經不那麼重要了 甜茶 如果把我覺得全場最大的bug解決了,其他的bug似乎可以有解釋的餘地。那就是為什麼你許了願說revoke就revoke啊,誰告訴你還有這個功能你張口...

成年人的世界真的如此嗎

柳絮掛枝何風來 問題不能太偏激。別看人類社會了,看自然界就知道。有高才有低,有好才有壞。你只注意了一面。請試著看看另一面,嘗試著看看全部就可以了。 奧義之源 人是從小時候就被教育過來的,對於模仿深入骨髓,在一些情況下會產生自己的個性但在其他大多數問題上都是一致的 我小時候曾有一種想法 那個人好厲害,...