伺服器之間如何跨國傳輸大檔案資料？

1樓：顧娟

業務越來越多，資料體量越來越大，少則幾百M，多則幾個G，尤其是伺服器之間，動輒幾個T的資料是很正常的，有些企業會使用FTP等常規方式進行檔案傳輸，這種方式，速度這塊且不說（跨國這種遠距離的時候，還是比較慢的），安全性是不好保障的，比如傳輸過程被攻擊竊取，資料遺漏丟失，大檔案傳輸中斷等等，都是常見的。

國內做的比較好的，像Ftrans，就有超大檔案高速傳輸解決方案，支援遠距離跨國傳輸，不限檔案大小，有乙個內建的高速傳輸協議，所以速度還是挺快的，最重要的是安全啊！傳輸過程加密、斷點續傳、錯誤重傳、一致性校驗等等，確保檔案乙個不錯乙個不丟。

2樓：語語

在管理mysql，初始化伺服器、複製和備份/還原，跨網路的大檔案傳輸是很常見的操作。

1、基本的操作

● 壓縮大檔案

● 傳送到另一台伺服器上

● 解壓大檔案

● 校驗檔案的完整性，是否有損壞

2、具體的操作：

（1）一般的步驟（scp

server1：

gzip -c /backup/mysql/mytable.MYD > mytable.MYD.gz

scp mytable.MYD.gz root@server2: /var/lib/mysql/

server2:

gunzip /var/lib/mysql/mytable.MYD.gz

特點-scp傳輸速度較慢，但保證了傳輸的安全性，而這些操作大量的對磁碟進行讀寫，使傳輸的效率不高。

（2）管道傳輸（ssh）

gzip -c mytable.MYD | ssh [email protected].

1.110"gunzip -c - > /var/lib/mysql/mytable.MYD"

特點-比上一種降低了磁碟的I/O，使傳輸效率有所提高。

（3）資料流重定向傳輸（nc）

原理：在目的伺服器中開啟乙個監聽的埠，源埠會將檔案傳輸到目的伺服器的監聽埠中即可。

server1：

gzip -c - /var/lib/mysql/mytable.MYD |nc -q 1 server1 12345

server2：開啟監聽埠12345

nc -l -p 12345 |gunzip -c - >/var/lib/mysql/mytable.MYD

3樓：sprele

跨國大檔案傳輸，是各大企業普遍面臨的問題，其中主要突出的矛盾有：

怎麼保證跨國傳輸的資料可靠性？

怎麼提高跨國傳輸的傳輸效率？

這兩個矛盾，要從底層傳輸協議去分析解決：

保證傳輸資料的可靠性，首先你使用的傳輸協議需要是可靠的，比如使用經典的TCP協議，面向鏈結的可靠的位元組流服務，提供超時重發、丟棄重複資料、檢驗資料、流量控制等功能；但又因其重點關注的是可靠性所以存在兩個問題：①擁塞避免機制過於保守②流量控制機制過於保守，對於跨國傳輸的場景，傳輸效率不高。

解決傳輸效率問題，與TCP對應的我們馬上現到UDP協議，UDP是無連線的，具有較好的實時性；當時UDP協議傳輸資料是無序的，且也沒有TCP的哪些保證資料可靠的機制。

由此可見單一的TCP或UDP都無法解決我們面臨的跨國傳輸的問題，那麼TCP和UDP都不完美，那麼有沒有人考慮去優化傳輸協議呢？

既然是問題總是會在發現之後被解決的，或者是我或者是你，總有大牛會想你之所想急你之所急。

BBR演算法，是google開發的一種加速網路傳輸協議TCP的新演算法，這種演算法通過優化傳輸速度，避免路由堵塞現象的產生。這個演算法的的確是能夠解決TCP保守的擁塞機制問題，但是這並沒有完全解決我們的問題；因為BBR演算法，針對的是Linux伺服器而且是較新版本的伺服器，對於Windows伺服器他不管呀。。。

明確目標我們需要乙個不受作業系統限制的傳輸協議，這個傳輸協議具備TCP的安全可靠的驗證機制同時又具備UDP的傳輸效能。

魚與熊掌我們是否能兼得？

國外有IBM有基於UDP加速的產品；

國內有Ftrans也是基於UDP加速但包裝了TCP的可靠機制；

4樓：謝觀如

其實問題和描述不太一致啊.

描述中的是大資料，亞馬孫雲提供的大資料遷移是：考到磁碟上，直接卡車運走！！！

如果是單體檔案，這個就有很多說法了.比較傳統的應該是把檔案壓縮，然後切成塊來傳輸

傳輸協議也有不同的考慮，例如為了快遞，是否可以自實現可靠的udp傳輸等.

伺服器之間如何跨國傳輸大檔案資料？

如何測試伺服器頻寬？

如何選用高防伺服器？

如何看待Minecraft伺服器，運營成本是否很高

其他用戶還看了：