1樓：雲朵
pandas.read_csv()中有兩個引數
nrows: int, default None 需要讀取的行數（從檔案頭開始算起）
skiprows: list-like or integer, default None 需要忽略的行數（從檔案開始處算起），或需要跳過的行號列表（從0開始）
如迴圈讀取100行：
for num in range(0, max_index,100):
pandas.read_csv("檔案",nrows=100,skiprows=num)
Python資料分析實戰之資料獲取三大招
2樓：小數志
靈活運用nrows和skiprows兩個引數即可，其中前者控制本次讀取多少行，後者用於控制跳過多少行然後從其下一行開始讀。可以參考個人文章pandas處理大資料
3樓：秦續業
考慮用 Mars。
Mars 是個開源分布式 Python 框架，目標是加速 numpy、pandas、scikit-learn 以及 Python 函式。
安裝 pip install pymars，超簡單。
對於加速 pandas 來說，看個例子。
import
mars.dataframe
asmddf=
md.read_csv
('your_file.csv'
)grouped=df
.groupby
('userId').
agg()
grouped
.execute
()區別僅在 import 以及需要 execute 觸發執行。
有別的樓層提到 modin，恕我直言，和 Mars 比，modin 只是個 toy 系統。這個有空詳聊。
Mars 團隊專欄：
Mars 團隊專欄（火星大雜燴）
4樓：葉公
檢視你的pandas版本，pip list 檢視一下<1.2的話(比如上圖我的版本)：
read_csv 有個chunk_size 引數，chunk_size=4 表示每次讀4行
>=1.2版本的話，引數換了，iterator=true保持你的其他引數不變，僅僅加這兩個引數即可。2選1
Python 讀取csv的某列
野狼不野 1 開啟3dsMax，開啟如圖所示場景。2 按M開啟 材質編輯器 單擊 Standard 開啟 材質 貼圖瀏覽器 雙擊 VRayMtl 材質。把 Standard 轉換成 VRayMtl 3 漫反射顏色調成黑色，反射顏色調成淺青色，色調 119 飽和度 38 亮度 247。把材質賦予鏡面物...
如何用python讀取下面的csv檔案？
HiDaDeng 首先你先用記事本開啟看csv，如果csv檔案只有簡單的幾列，可以使用 區分。那麼使用open就可以 rows open test.csv r encoding 編碼方式 readlines for rowin rows print row split 上面的方法，對於簡單的csv檔...
pandas 讀取檔案時為什麼header是invalid keyword？
星空流 直接用read csv 這個方法裡面有很多可以定製的引數。通過定製這些引數，可以在讀取資料的時候就對資料進行預處理，提高效率。比如，可以處理comment 處理日期時間 定義哪些列需要使用等等。星空流 Python Pandas Read csv詳解 mengchuan 因為open函式裡沒...