1樓:獨自成雙的魚
沒有比有目的的學習最好的學習方法了,所以我建議你先製造學習的需求,乙份工作要求或者學校作業要求最好,再不濟也應該是自我要求。有個明確的目標,要爬什麼資料,處理到什麼程度,比單純學習理論要高效很多的
2樓:劉sir
學爬蟲看看這個部落格https://www.
3樓:寄予夢想的遠帆
我寫的爬蟲文章,面向小白,從零學習Python爬蟲乾貨滿滿噢!我認為挺不錯的(捂臉)
4樓:譚劍
以前很熱衷寫一些小工具,比如上次個稅改革時寫了個vba計算繳稅額。
後來發現各大門戶已經都有了,一點創新性都木有。
所以,動手之前調查國內外現狀很重要啊。
而且技術是服務於目標的,不用為了技術而技術。
爬蟲基於明碼web的一套東西,現成的工具不要太多,傻瓜化的都很多,還免費。
高讚excel方法足夠一般應用了,碰到難一點的,買個小工具搞不好還有客服支援。
親,還有別的問題嗎?
5樓:SH磊
先學爬蟲原理吧:
Golang原生爬蟲簡單爬蟲實現不依賴第三方包庫方便理解技術原理 (一)
Golang原生爬蟲簡單爬蟲實現不依賴第三方包庫方便理解技術原理 (二)
了解邏輯原理以後,不管用什麼語言都能很快上手的
6樓:豇豆大資料
爬蟲,就那麼一回事兒,學學python基礎,抓抓包,分析分析js,用用requests,寫寫sql語句。
技術分享:python爬蟲實戰
完事兒!
7樓:防彈大叔
我覺得這裡都是技術大牛在回答問題,但是個人覺得還是很複雜呀。話說乙個軟體就搞定了,傻瓜式操作。火車頭這個軟體就是做爬蟲的?我用這個。還有乙個叫八爪魚,但是我不太會用。
8樓:七夜
推薦我的新書《Python爬蟲開發與專案實戰》,特點:由淺及深,層層遞進,專案驅動。大家可以看一下我在如何入門 Python 爬蟲? - 知乎的回答。
9樓:Wakingup
小白強答》_<
我也是零基礎,前後學了乙個月吧。
現在算是入門,仍在學習中。
自學爬蟲一月總結
新開通知乎專欄:
Python 爬蟲實戰日記 - 知乎專欄
10樓:不吃夾生飯
1秒100頁,你這就算是DNS攻擊。我一開始擼爬蟲的時候也是不去設定時延,一心想的是越快越好。我現在都是5-10秒爬乙個頁面,一來資料也不急著一下子全部拿到,二來不能去影響他人的正常體驗。
這就涉及到乙個道德的問題。
技術方面我不多談,就說說這個時延。
11樓:李極客
零基礎先了解什麼是爬蟲。
然後再了解爬蟲有什麼方法。
我推薦Python快速入門:十分鐘學會Python然後再推薦 Python爬蟲菜鳥Python學爬蟲系列之一入門
點進去裡面還有好多高階文章,我就不貼出來了,有興趣的自己開啟看。
12樓:
以前看過這個題,本想等學完爬蟲技術再答,沒想到等我學完了爬蟲技術再次看到這個問題的時候,發現跟老司機比我的方法實在太low了……
13樓:
2023年12月,我去豆瓣面試 @洪強寧 給我出了一道題,寫個爬蟲。對於爬蟲原理,他非常形象的解釋了一下。畫了個圈,代表迴圈,迴圈上兩個步驟,分別是抓取和分析。
抓取負責根據URL獲得頁面,分析負責從頁面提取URL。周而復始,就是爬蟲了。
在那之後我花了些時間,把這個迴圈加上了佇列,後來還用上資料庫佇列,主鍵去重,執行緒池。為了解決可憐的SQLite併發問題還加上了鎖。最後整個爬蟲爬了噹噹萬十幾萬個頁面。
我把這個爬蟲提交,然後豆瓣拒了我。
14樓:
網上有個免費的爬蟲軟體叫八爪魚,我用的就是這個可以滿足基本的需要了,其實現在來說不需要你在去學習了只要會用就行。學習就交給那些會技術的就行,基本功能滿意不了付費就是了。會的人已經太多。
可以往大資料方面發展。畢竟現在國家支援。而且剛開始推廣。
對從業者的需求量挺大的。機會相對要多點。
15樓:iGuo
安利自己的入門教程之前,首先安利 @xlzd的爬蟲系列,這是我的入門系列:
xlzd.me/tag/crawler/1/然後安利一下自己寫的更小白版本的教程:
Python爬蟲|Python爬蟲入門(一):爬蟲基本結構&簡單例項 - 知乎專欄
Python爬蟲|Python爬蟲入門(二):請求 - 知乎專欄Python爬蟲|Python爬蟲入門(三):解析 - 知乎專欄Python爬蟲|Python爬蟲入門(四):
儲存 - 知乎專欄然後推薦一下組裡爬蟲工程師大佬@爬蟲 的更高階的系列:
爬蟲之從入門到放棄 - 知乎專欄
推薦的順序是,首先是我的零基礎小白版本,了解一下原理,然後 @xlzd的系列,了解一下全域性以及理清楚思路,然後 @爬蟲的專欄,了解更深更完整的框架和重難點。
結束這三個部分之後,可以看知乎上關於如何高階的回答~
16樓:生活缺乏心跳
王婆賣瓜,自賣自誇
我就是王婆哈哈
分享一下我寫的入門爬蟲
用的是python 的 requests庫記錄我是如何轉型大資料分析--爬取公司資訊 - 知乎專欄
17樓:他看起來像一條狗
針對Python方向
首先可以從優秀的部落格中了解爬蟲:
Python爬蟲學習系列教程 | 靜覓
其次可以從好書中學習爬蟲:
第一本:python網路資料採集 (針對沒有基礎的爬蟲新人)第二本:用python寫網路爬蟲 (涉及到快取,去重, 多執行緒, 動態網頁抓取等知識)
第三本:learning scrapy(針對scrapy框架的一本英文書籍,scrapy學習最好的資料,沒有之一)
最後似乎已經和爬蟲無關了,整體的架構設計,併發,資料庫處理等等一些其他領域的結合。
18樓:秋葉飄
可以看一下這個知乎專欄:資料工廠,裡面都是爬蟲教程資料工廠 https://
zhuanlan /data-factory
19樓:冷風過境
不用管學什麼,上去就是幹。邊乾邊學,就是進度沒法保證。基礎就是會Python,我覺得就夠了。web什麼的用到再看。我入門用的是3,用2資料多,我是有新不看舊。
沒有程式設計基礎,這沒法幫你了 。先把Python基礎練一遍
零基礎如何學爬蟲
安瀾 看了你的問題,找出幾個關鍵字,零基礎,爬蟲,畢業設計,短時間內學會爬蟲。我們先分析一下,你是想用爬蟲來做畢業設計,由此可見不是太過深入,不用寫哪些演算法,原理,底層之類的東西。只學會用,可以做出關於爬蟲的畢業設計就可以了。第一步 學習Python基礎 5天 現在網上有很多Python基礎的教程...
零基礎如何學習攝影技術?
二拾二啦 1.先確定自己是不是真的想 不是說不看好題主,畢竟你我素不相識,看不看好也無從談起,只是你要想清楚自己是不是真的想從事攝影,還是說只是想拍的時候隨便拍拍。如果能堅持學下來並興趣不減,那麼可以進入下一階段了。2.在確定自己有沒有毅力和能力 確定有興趣只能說明不是一時衝動有這個想法,之後還需要...
如何零基礎學拼音?
徐偉 靠興趣。我小學時,不僅漢語拼音,威妥瑪拼音 北方話拉丁化新文字 國語羅馬字 俄語字母拼漢語等都滾瓜爛熟了,漢語拼音只是小菜一碟而已 蒙奇奇seven 關於孩子學拼音,我們家長首先要做的就是理解孩子,剛上一年級的孩子,在課堂上跟不上老師的腳步,他心裡也是很著急的。我們家長能做的就是用適合孩子的方...