requests 和 scrapy 在不同的爬蟲應用中,各自有什麼優勢?

時間 2021-05-31 06:07:32

1樓:

Requests allows you to send organic, grass-fed HTTP/1.1 requests, without the need for manual labor.

這是http庫啊,只能說是爬蟲的乙個基礎部分,和scrapy這種框架怎麼比..

2樓:xlzd

用 requests 庫發請求的爬蟲相比用 scrapy 框架寫的爬蟲,就好比組裝機之於品牌機。

對於大部分普通 PC 使用者,品牌機是乙個不錯的選擇,因為品牌機提供了整套的打包方案,你不需要知道很詳細的細節就可以抱回家一台各方面表現均衡的電腦,不過,這台電腦僅僅是各方面表現均衡,如果你想在自己預算內買一台某方面滿足自己特定需求的電腦,可能就有些力不從心了。

而組裝機可以根據自己需求對特定硬體特殊處理,比如有大記憶體需求可以單獨買更大記憶體,或者可以單獨買更快速的硬碟等等。但是組裝機需要使用者比較了解電腦硬體,否則很容易被商家坑錢,相比品牌機花更多錢買回更不好用的電腦。而如果你是高階使用者,則組裝機可以幫你花可能更少的錢買回更適合自己的電腦。

當然,品牌機也可以再多加根記憶體條或者換個硬碟,不過,那不就跟組裝機乙個意思了嗎。

這麼講,你能明白它們各自的優勢了嗎?

requests模組的response text與response content有什麼區別?

我注意到requests.get url text的內容,與Beautifulsoap requests.get url text,lxml 或者Beautifulsoap requests.get url content,lxml 內容都一樣,是否意味著requests.get url text ...

python除了用requests庫,還能用什麼編寫爬蟲?

Lazier aiohttp,基於asyncio的非同步HTTP框架,併發效率不錯,我在這之上封裝了乙個請求池 selenium 其實requests就基本足夠了,配合ExecJS基本能解決大部分問題.少數問題可以通過selenium解決.爬蟲關鍵的是資料整合與抽象,用什麼Web庫是底層的工具選擇....

python的requests安裝後idle依然提示No module named requests?

a懶 如果你用的未來教育的軟體,出現這個問題是因為開啟考生檔案的方式不對,不能直接找到考生資料夾的檔案開啟,用shell的open開啟就不會出現這個問題了。 羅輯 我也遇到過這個問題,我的解決方法是這樣的。requests是通過pip安裝的,找到 python Lib site packages p...