如何評價Google發布的第二代深度學習系統TensorFlow

時間 2021-05-06 12:11:31

1樓:

看到有噴沒有開源分布式版本的,jeff dean在github回覆了,是因為分布式版本和google內部架構耦合,還需要做些後續工作,已經提上日程了。有點兒類似於第乙個版本先占個坑,培養使用者,後面發布乙個分布式版本還能再搞一次大新聞,何樂而不為啊。

Link:

Distributed Version · Issue #23 · tensorflow/tensorflow · GitHub

2樓:石磊

題目中演講slides的鏈結給錯了,應該是這篇吧 Large-Scale Deep Learning forIntelligent Computer SystemsJeff Dean

3樓:

4樓:

一些個人的看法:這個工作最大的價值不在於系統如何實現,而是在於乙個分布式機器學習的集群應該如何抽象:乙個機器學習的流水線應當作為乙個資料流(DataFlow)來刻畫和抽象

乙個生產級別的機器學習任務除了訓練模型(Model Training)外還涉及很多相關的資料處理週期。例如,Data ingress, Filtering (Sampling), Cleaning,Egress,Storage,Serving等等。用資料流來統籌整個機器學習任務的流水線是更加自然的表達。

在系統易用性和效能上得到乙個較好的折中。這種抽象能夠

更好的讓機器學習任務嵌入到日常的生產級別的分布式資料處理任務之中,例如:廣告定價,推薦系統,集群監控等等。

更好地利用多年來資料流系統的研發經驗來優化機器學習任務在異構硬體(例如說GPU,FPGA,多核CPU等)上的表現。

另一方面,谷歌也相當於承認了第一代系統DistBelief裡面提供的Parameter Server(PS)的架構稍顯侷限:PS不應作為機器學習集群的核心,而是乙個高度優化的具有狀態的資料流節點(Stateful Iterative Operator)。PS的架構實質上衍生於Client-Server架構,並針對向量和迭代計算做了大量的優化。

這種架構針對於模型優化階段提供良好的伸縮性是足夠好的。但是,如何將其嵌入到生產級別的機群(例如說YARN)裡面相對不那麼直觀,並且維護起來非常困難。

在DistBelief發布後,大家普遍認為谷歌在嘗試使用基於圖和資料流來搭建機器學習集群取得的效能效果不理想,因此轉而採用PS來實現生產級別的機器學習任務。這次發布TensorFlow也相當於對於DistBelief的經驗做了總結,指出了機器學習任務其實是可以(並且應該)統籌於圖和資料流計算模型之下的。

不過很遺憾的是,這次開源的TensorFlow是單機實現。其最有價值的分布式資料流實現,並沒有開源。

如何評價 Adobe 聯合 Google 發布的 思源宋體 ?

陽澄湖大閘蟹 當一撥人忙著在各大平台上搶首發寫著狗屁不通的文章的時候,另一撥人正在辛勤不輟地提bug。中國有句古話叫這是墜吼的。思源宋體的首發可以看到很多東西。 思源宋 明 體是一套集大成的字型。它包含四萬多漢字,涵蓋四到五個使用漢字的國家所用到的所有字型,共計七套字重,可滿足不同場合的需求。這個龐...

如何評價Google新發布的Pixel 3,Pixel 3 XL手機?

逃出肖申克 已轉投蘋果。萬年不變4G記憶體.從nexus一路用過來的死忠粉我都受不了了,媳婦天天抱怨她的pixel卡!其實我的Xl也卡啊。開個自帶的hangout竟然半天刷不出來資訊!一直在那轉啊轉。我不知給他找了多少理由了!真累了!最近谷歌導航竟然老是沒訊號,越到關鍵時候越找不到Gps果斷放棄!這...

如何評價 Google 發布的 iOS 輸入法 Gboard ?

Gboard Is Not For IOS and The Media is Hyping the Public!裝置 iPhone 6 已經使用了3年 系統 IOS 11.4 測試 Gboard 版本 Version 1.28.0 結論 對比與原生鍵盤,個人感受 Gboard 鍵盤彈出速度慢,有明...