sql server中如何盡可能高效地把錶匯出成excel,有好幾億條資料?

時間 2021-05-06 23:40:46

1樓:黃贇

這話題似乎過去很久了,但很有意思的是,各位答主回答的方法,似乎腦洞開得並不是很大。

SQL Server 2017 開始,Replication 的限制突破了 8 臺。意味著同乙個庫的資料,可以擁有 8 個相同的副本資料庫。多麼牛的乙個效能,難道沒有人注意到嗎?

這意味著 9 億條資料,可以平均被分布到 9 臺計算機上,每台只抽對應的 1 億條資料。為什麼是 9 臺,因為主庫也算 1 台嘛!

那乙個表也有 1 億資料呢,抽 1 億資料也不算快。再拆嘛,拆成 10 個子表。每個表就 1 KW 了。

1 KW 的表快速匯入 excel, 用 Bcp 就好做了吧。excel 的限制大約是在 1百萬,1KW 再拆成 10 次匯入,每個 sheet 100W. 只要伺服器 CPU 夠多,多執行緒處理肯定很快。

簡單畫了下,就是這麼回事。

問題是,老闆你準備好銀子了麼?

想看具體的實施步驟,來,這裡已經準備好了:SQL Server 的高可用與複製

黃贇:Linux 搭建 SQL Server 高可用服務

黃贇:SQL SERVER replication

2樓:文淵

如果非要匯出成為excel的話,必須考慮分頁了,因為你這個太大了。幾種方式:1.

使用ssms 管理器右鍵資料庫匯出資料。2.使用ssis/kettel等工具匯出平面檔案。

3.bcp語句匯出。請注意無論如何都需要注意分頁問題

3樓:Wu Darren

python pandas直接連sql server,用dataframe操作。匯入excel還不如直接在sql server裡。。。

4樓:

1.看目標需求是否是乙個地球人的需求和正常思維。我生活中碰到有些人想問題是用屁股在想的,在他們的思想裡,分分鐘可以造出並發射衛星的。

2.既然遇到了這個問題,並且也不能說服別人改變這個不合理的設計思想的話,就想辦法來解決它吧。

樓上他們都回答過了。

其實幾億條記錄就幾億條記錄吧,乙個excel存不下就用分頁,匯出成好這個檔案吧,這樣就很容易啊。

5樓:葉子莊園

心疼題主。

知呼就這樣,大家紛紛指責題主問題提的問題弱智,然後拂袖而去,沒乙個頂事的

我本科時一次需要在資料庫(而且是MS SQL Server),裡把30億條資料導到excel裡。資料庫非本機。

首先excel 版本低了不行,行列數比較小。用高點的版本分幾十個檔案可以裝下,之後excel裡資料操作每次選擇性貼上資料,不保留公式,速度還可以。

導數用c#寫的,因為需求原因,需要按條件查詢資料,所以無法批量匯出。

剛開始直接寫SQL語句,全導完需要幾年,沒辦法一直在優化。把資料庫分成小塊,每次批量匯入本機,在記憶體中建表查詢然後丟掉不用的。匯入,計算,寫檔案單開執行緒不要互相等,還有很多優化記不住了。

最後優化到一次需要的資料可以三天匯出就停止優化了,幹正事去了,畢竟不是學IT的,資料是拿來用的。

資料庫和excel都是微軟的,盡量呼叫微軟的庫和封裝的方法 ,少寫自己的方法。微軟自己好像有些莫名其妙的優化,會比我們寫的方法效率有大幅度莫名其妙的提公升。

ps,一定要把程式正在執行的任務,進度條,還有估算的時間幾個功能寫出來,不然總是覺得在宕機。

6樓:媳婦不讓實名

ab ab

用記事本把上邊這段儲存下來,字尾改成.xls,雙擊開啟。

好了你知道我要說什麼了~_~

7樓:

用apache poi將資料庫裡的資料查詢出來然後往excel寫, excel乙個sheet好像最多是65535條資料,所以到了65535你可以重新寫乙個sheet頁。

臥推時,如何盡可能「孤立」肩前束,盡可能最大化胸肌的發力?

乙個愛健身的白白 挺胸,沉肩 首先挺胸,躺下去,感受用肩部,把自己的身子挺起來,然後吸氣,收腹,這樣子可以收緊核心 沉肩 給大家分析乙個小技巧,如果不會的,可以嘗試著躺下去之後,摸自己的臥推椅,摸到無法摸到的時候,這個時候,你的肩已經下沉了,在這個基礎上手肘彎曲,手臂握槓,開始發力,推起,落下。盡量...

如何讓績效盡可能合理公平?

rodomliao 根據多年的從事績效考核的經驗,績效考核的最終目的是 造就不公平!很多人可能會說 不可能吧,績效考核不就是要追求公平嗎?就是要讓多付出的人 效率較高的人 業績較好的人能夠多得一些。對了,就是造就不公平 造成差異。所以再將績效考核的最終目的補充一下 通過貌似公平的手段來造就不公平的結...

如何盡可能降低裝修汙染?

百卡優選 只能找靠譜的除甲醛公司,不過治理後一定要自己驗收,並且是定期檢測。百卡享測 有效的除甲醛方法 百卡享測 甲醛檢測方法有哪些?推薦些靠譜的 把握 現在有很多土方法什麼柚子皮洋蔥醋都是把氣味掩蓋了,沒有什麼效果,最好是通風,還有用炭包,綠蘿,你入住之前最好做一下專業的檢測,檢測不合格在做一下治...