零基礎如何學爬蟲技術?

時間 2021-05-06 04:20:59

1樓:獨自成雙的魚

沒有比有目的的學習最好的學習方法了,所以我建議你先製造學習的需求,乙份工作要求或者學校作業要求最好,再不濟也應該是自我要求。有個明確的目標,要爬什麼資料,處理到什麼程度,比單純學習理論要高效很多的

2樓:劉sir

學爬蟲看看這個部落格https://www.

3樓:寄予夢想的遠帆

我寫的爬蟲文章,面向小白,從零學習Python爬蟲乾貨滿滿噢!我認為挺不錯的(捂臉)

4樓:譚劍

以前很熱衷寫一些小工具,比如上次個稅改革時寫了個vba計算繳稅額。

後來發現各大門戶已經都有了,一點創新性都木有。

所以,動手之前調查國內外現狀很重要啊。

而且技術是服務於目標的,不用為了技術而技術。

爬蟲基於明碼web的一套東西,現成的工具不要太多,傻瓜化的都很多,還免費。

高讚excel方法足夠一般應用了,碰到難一點的,買個小工具搞不好還有客服支援。

親,還有別的問題嗎?

5樓:SH磊

先學爬蟲原理吧:

Golang原生爬蟲簡單爬蟲實現不依賴第三方包庫方便理解技術原理 (一)

Golang原生爬蟲簡單爬蟲實現不依賴第三方包庫方便理解技術原理 (二)

了解邏輯原理以後,不管用什麼語言都能很快上手的

6樓:豇豆大資料

爬蟲,就那麼一回事兒,學學python基礎,抓抓包,分析分析js,用用requests,寫寫sql語句。

技術分享:python爬蟲實戰

完事兒!

7樓:防彈大叔

我覺得這裡都是技術大牛在回答問題,但是個人覺得還是很複雜呀。話說乙個軟體就搞定了,傻瓜式操作。火車頭這個軟體就是做爬蟲的?我用這個。還有乙個叫八爪魚,但是我不太會用。

8樓:七夜

推薦我的新書《Python爬蟲開發與專案實戰》,特點:由淺及深,層層遞進,專案驅動。大家可以看一下我在如何入門 Python 爬蟲? - 知乎的回答。

9樓:Wakingup

小白強答》_<

我也是零基礎,前後學了乙個月吧。

現在算是入門,仍在學習中。

自學爬蟲一月總結

新開通知乎專欄:

Python 爬蟲實戰日記 - 知乎專欄

10樓:不吃夾生飯

1秒100頁,你這就算是DNS攻擊。我一開始擼爬蟲的時候也是不去設定時延,一心想的是越快越好。我現在都是5-10秒爬乙個頁面,一來資料也不急著一下子全部拿到,二來不能去影響他人的正常體驗。

這就涉及到乙個道德的問題。

技術方面我不多談,就說說這個時延。

11樓:李極客

零基礎先了解什麼是爬蟲。

然後再了解爬蟲有什麼方法。

我推薦Python快速入門:十分鐘學會Python然後再推薦 Python爬蟲菜鳥Python學爬蟲系列之一入門

點進去裡面還有好多高階文章,我就不貼出來了,有興趣的自己開啟看。

12樓:

以前看過這個題,本想等學完爬蟲技術再答,沒想到等我學完了爬蟲技術再次看到這個問題的時候,發現跟老司機比我的方法實在太low了……

13樓:

2023年12月,我去豆瓣面試 @洪強寧 給我出了一道題,寫個爬蟲。對於爬蟲原理,他非常形象的解釋了一下。畫了個圈,代表迴圈,迴圈上兩個步驟,分別是抓取和分析。

抓取負責根據URL獲得頁面,分析負責從頁面提取URL。周而復始,就是爬蟲了。

在那之後我花了些時間,把這個迴圈加上了佇列,後來還用上資料庫佇列,主鍵去重,執行緒池。為了解決可憐的SQLite併發問題還加上了鎖。最後整個爬蟲爬了噹噹萬十幾萬個頁面。

我把這個爬蟲提交,然後豆瓣拒了我。

14樓:

網上有個免費的爬蟲軟體叫八爪魚,我用的就是這個可以滿足基本的需要了,其實現在來說不需要你在去學習了只要會用就行。學習就交給那些會技術的就行,基本功能滿意不了付費就是了。會的人已經太多。

可以往大資料方面發展。畢竟現在國家支援。而且剛開始推廣。

對從業者的需求量挺大的。機會相對要多點。

15樓:iGuo

安利自己的入門教程之前,首先安利 @xlzd的爬蟲系列,這是我的入門系列:

xlzd.me/tag/crawler/1/然後安利一下自己寫的更小白版本的教程:

Python爬蟲|Python爬蟲入門(一):爬蟲基本結構&簡單例項 - 知乎專欄

Python爬蟲|Python爬蟲入門(二):請求 - 知乎專欄Python爬蟲|Python爬蟲入門(三):解析 - 知乎專欄Python爬蟲|Python爬蟲入門(四):

儲存 - 知乎專欄然後推薦一下組裡爬蟲工程師大佬@爬蟲 的更高階的系列:

爬蟲之從入門到放棄 - 知乎專欄

推薦的順序是,首先是我的零基礎小白版本,了解一下原理,然後 @xlzd的系列,了解一下全域性以及理清楚思路,然後 @爬蟲的專欄,了解更深更完整的框架和重難點。

結束這三個部分之後,可以看知乎上關於如何高階的回答~

16樓:生活缺乏心跳

王婆賣瓜,自賣自誇

我就是王婆哈哈

分享一下我寫的入門爬蟲

用的是python 的 requests庫記錄我是如何轉型大資料分析--爬取公司資訊 - 知乎專欄

17樓:他看起來像一條狗

針對Python方向

首先可以從優秀的部落格中了解爬蟲:

Python爬蟲學習系列教程 | 靜覓

其次可以從好書中學習爬蟲:

第一本:python網路資料採集 (針對沒有基礎的爬蟲新人)第二本:用python寫網路爬蟲 (涉及到快取,去重, 多執行緒, 動態網頁抓取等知識)

第三本:learning scrapy(針對scrapy框架的一本英文書籍,scrapy學習最好的資料,沒有之一)

最後似乎已經和爬蟲無關了,整體的架構設計,併發,資料庫處理等等一些其他領域的結合。

18樓:秋葉飄

可以看一下這個知乎專欄:資料工廠,裡面都是爬蟲教程資料工廠 https://

zhuanlan /data-factory

19樓:冷風過境

不用管學什麼,上去就是幹。邊乾邊學,就是進度沒法保證。基礎就是會Python,我覺得就夠了。web什麼的用到再看。我入門用的是3,用2資料多,我是有新不看舊。

沒有程式設計基礎,這沒法幫你了 。先把Python基礎練一遍

零基礎如何學爬蟲

安瀾 看了你的問題,找出幾個關鍵字,零基礎,爬蟲,畢業設計,短時間內學會爬蟲。我們先分析一下,你是想用爬蟲來做畢業設計,由此可見不是太過深入,不用寫哪些演算法,原理,底層之類的東西。只學會用,可以做出關於爬蟲的畢業設計就可以了。第一步 學習Python基礎 5天 現在網上有很多Python基礎的教程...

零基礎如何學習攝影技術?

二拾二啦 1.先確定自己是不是真的想 不是說不看好題主,畢竟你我素不相識,看不看好也無從談起,只是你要想清楚自己是不是真的想從事攝影,還是說只是想拍的時候隨便拍拍。如果能堅持學下來並興趣不減,那麼可以進入下一階段了。2.在確定自己有沒有毅力和能力 確定有興趣只能說明不是一時衝動有這個想法,之後還需要...

如何零基礎學拼音?

徐偉 靠興趣。我小學時,不僅漢語拼音,威妥瑪拼音 北方話拉丁化新文字 國語羅馬字 俄語字母拼漢語等都滾瓜爛熟了,漢語拼音只是小菜一碟而已 蒙奇奇seven 關於孩子學拼音,我們家長首先要做的就是理解孩子,剛上一年級的孩子,在課堂上跟不上老師的腳步,他心裡也是很著急的。我們家長能做的就是用適合孩子的方...