python除了用requests庫,還能用什麼編寫爬蟲?

時間 2021-05-12 02:04:34

1樓:Lazier

aiohttp,基於asyncio的非同步HTTP框架,併發效率不錯,我在這之上封裝了乙個請求池

2樓:

selenium

其實requests就基本足夠了, 配合ExecJS基本能解決大部分問題.

少數問題可以通過selenium解決.

爬蟲關鍵的是資料整合與抽象, 用什麼Web庫是底層的工具選擇.

我本人就寫了乙個IWebAT介面, 用selenium和requests分別實現, 用起來很爽.

3樓:python教程

requests http庫官網: Requests: HTTP for Humans

scrapy 框架官網:A Fast and Powerful Scraping and Web Crawling Framework

pyspider 框架官網:pyspider通常寫爬蟲 requests + Beautiful Soup 就能滿足大多數場景了

必要的時候可能會上 phantomJS

Python中除了matplotlib外還有哪些資料視覺化的庫?

野客 說幾種 matplotlib 之外相對比較常見的 Python 視覺化庫吧。1.pyecharts pyecharts 是將 Python 與 ECharts 結合的視覺化庫,用於通過 Python 生成 Echarts 圖表。繪製玫瑰圖等常見疫情圖 超詳細 pyecharts1.x 教程 2...

python入門用《Learn Python The Hard Way 》好還是《Learning Python》好?

華家池之貓 Learning Python其實是一本很好的書。雖然我一開始也抱怨寫的太繁雜,但是這本書有個好處就是知識點是相互串聯的。你第一次遇到一件東西理解不了,記不住,等過了幾張以後會發現又重新出現了。Learning Python作為嚴謹的課程教材以及作為小白入門或者想轉行cs的人讀都不太適合...

學習 Python 用哪本書好?

Nextchen Oreilly Progamming Python 涵蓋了語法入門,系統程式設計,圖形介面程式設計,網路程式設計,教你如何開發一款編輯器,如何編寫 Web等等!如果你還不知道學什麼好的話?你可以全部試一遍! Python快速教程,業界良心,比目前排名第一的廖雪峰的好,還有就是pyt...