高併發 I O 遠端抽取資料技術方案如何選型?

時間 2021-06-05 16:03:05

1樓:

一,3個任務之間有沒有耦合,沒有耦合就併發執行,如果有耦合考慮順序執行

二,每個任務產生了1000次資料庫連線,我可以理解為你這個任務需要1000個步驟(真的需要這麼多麼?可以合併麼?)這1000個步驟有依賴關係麼?(可以併發執行麼?)

最悲觀的情況3個任務耦合,有順序。每個步驟都必須序列。那麼就是60/3/1000的執行速度要求。有壓力。個人覺得不可能

2樓:

每次任務三千多個遠端資料庫連線這句話聽起來實在是太可疑了。

Stackless 基本已經被放棄,開發力量後來都集中於 PyPy,但 PyPy 未必是最好的選擇。

Twisted 算是乙個相當久經考驗的非阻塞 I/O 框架;另外可選的是 Gevent,最近剛剛過 1.0,程式設計模型比 Twisted 簡單;另外如果需要複雜的多程序早做,還有乙個專門為了簡化 Gevent 中多程序處理的 Gipc 庫( gipc: child processes and IPC for gevent )。

但還是覺得這個更像是實現邏輯或實現細節的問題。

如何理解 程式 程序 執行緒 併發 並行 高併發?

大魚 這篇文章講得挺細的,可以看看https markdowner.net article 142723313666699264 zhang 單程序 包含多個磁碟讀寫請求 IO 非併發 單程序單執行緒同步 說明 乙個程序,多個請求同步執行,請求阻塞說明 同一時間段只執行乙個請求 併發 單程序 單執行...

高併發insert ignore是選擇innodb還是myisam?

刀尖紅葉 TokuDB 它的fractal tree 其實就是buffered tree 能把隨機IO變為順序IO,寫入效能極強,我們測試在HDD是InnoDB的3倍以上 Myisam官方已經放棄維護了,雖然插入效能也行,但不是crash safe且crash後恢復時間長,而且只有索引能快取在記憶體...

請問高併發是誰?

高併發,全稱 高血壓併發症 因IT行業加班壓力大,所以常被IT從業人員提起。高併發 是指由高血壓所引起的病發症。患了高血壓,沒有感覺並不代表沒有損害。高血壓病初期,一些身體的症狀不易被發現,如全身細小動脈痙攣,隨著病情的發展,細小動脈漸漸發生硬化。中等及大動脈出現內膜脂質沉積,形成粥樣硬化斑塊和血栓...