通俗的講,網路爬蟲到底是什麼?

時間 2021-05-06 04:47:52

1樓:無人駕駛

爬蟲技術,說白了就是web網路技術不成熟導致的乙個補丁。www本來就是鬧著玩的,根本沒想到什麼「提公升人類知識組織結構」的巨集大理想。但現實中,越來越有這種需求趨勢,就是人類所有的知識,應該是可以相互連通,相互作用的。

在網際網路之前,人類曾經有過乙個類似計畫的計畫夭折了(名字一時想不起來),但要相信未來人類一定會實現這樣的計畫的。那麼,在現實與理想中間,就給了爬蟲技術乙個生存和盈利的空間,利用已經發達到一定程度的技術手段,解決一些人們對資訊互通的需求,彌補現代人類網路資訊架構不夠完善的坑。

2樓:芝麻IP

網路爬蟲,是一種自動獲取網頁內容的程式,是搜尋引擎的重要組成部分。一般人能訪問到的網頁,爬蟲也都能抓取。所謂的爬蟲抓取,也是類似於我們瀏覽網頁。

但與普通人上網方式不同,爬蟲是可以按照一定的規則,自動的採集資訊。

舉個例子,比如說你從事的是文字編輯工作,需求稿件量大,可是效率很低,最大的乙個原因便是很多的時間花費在了採集資料上,假如繼續按照之前手動瀏覽的方式,要麼就是你通宵達旦熬夜加班,要麼便是讓其他人幫你,但顯然兩者都不方便。這種情況下,可以使用網路爬蟲進行工作。

3樓:奶茶喝不胖

網路爬蟲(又稱為網頁蜘蛛,網路機械人,在FOAF社群中間,更經常的稱為網頁追逐者),是一種按照一定的規則,自動地抓取全球資訊網資訊的程式或者指令碼。另外一些不常使用的名字還有螞蟻、自動索引、模擬程式或者蠕蟲。

通俗的講爬蟲爬蟲就是乙個不知疲倦的偷資料的小偷,為什麼這麼說呢,因為沒有誰願意把自己的資料白白的給別人使用或者獲取,所以現在來說爬蟲是乙個獲取資料的灰色手法。不被逮到就相安無事,被逮到了就GG了。

4樓:八爪魚採集器

就是晝夜不停、勤勤懇懇、自動訪問網頁並獲取網頁資料的自動化程式。就像我一樣。

看看我的工作過程:開啟網頁-識別資料-自動採集資料。

5樓:sky001

通俗的來講,就是你在網上能夠看到的資料,各種結構化和非結構化的。把這些資料整理,篩選之後儲存下來。就是爬蟲。

其實就是跟你Ctrl+c Ctrl+v 儲存資料一樣。

只不過通過爬蟲程式,可以速度更快的儲存下來,以及做一系列的篩選去重之類的操作。

6樓:十六進製制

03 - 爬蟲原理介紹(一)

04 - 爬蟲原理介紹(二)

7樓:

我們在上網的時候,瀏覽器完成的是:向乙個目標url傳送http請求,然後解析獲得的報文主體

url經過dns解析獲得ip,然後去預設埠或者自定埠,傳送乙個tcp

server根據請求傳送乙個response,瀏覽器拿到後,解析html、css、js,將東西展示到頁面裡。

爬蟲也是這樣做的,瀏覽器和爬蟲沒有本質區別,不過瀏覽器是乙個互動式的,爬蟲一般是自動的

8樓:路遙

如果題主只是想對網路爬蟲有個直觀簡單的認識的話,那麼話不多說我直接放圖:

這篇文章記錄我之前學習爬蟲的過程,有興趣可以看看:回顧乙個月的爬蟲學習

9樓:吉祥鳥

網路爬蟲是程式網路爬蟲是獲取資料的程式網路爬蟲是模擬瀏覽器獲取資料的程式

就是只要你用瀏覽器能看到的資訊,它都能獲取那為什麼還要用爬蟲呢,自己用瀏覽器操作不就好了?

那是因為爬蟲不需要人一直來操作啊,就像人自己能扇風,為什麼還要用電風扇是乙個道理

高等代數講的到底是什麼

羅素說歐式幾何如初戀般美好,我覺得對數學系的同學,高代也如初戀那般美好。前者提供了公理化證明的思維,後者對很多同學來說是第一次接觸如此抽象的東西 當然啦和後續的很多課程比起來算不得多抽象 數分裡面姑且還有些側重計算,高代可真的是側重概念和證明了。並且裡面的很多結論和處理問題的方法,可以在後續課程,如...

佛家講我們的本源到底是什麼?

一切都源自一合相。可以比喻理解為這個世界只有乙個人,而且是心物一體的乙個整體,不能說只有心也不能說心和物是兩個分割的事物。本源一面你可以理解為不可控 不可說,空性的那部分 另一面則是以持法來維持造物 運動的精微元素排程,可控可說的那部分,這就是為啥會形成娑婆世界為啥有人的原因。眾生靠修持他們的法可以...

魯班的詛咒裡面講的到底是什麼?

初中就看過,開頭是墨子與魯班的九攻九拒,印象非常深刻,帶給我的震撼可以說無與倫比。貌似被評為與鬼吹燈和?並列的三大網路神作,不知道為什麼知道的人那麼少,是因為看不懂嗎? 西紅柿是不是番茄 八寶定凡疆 輕微劇透 具體解釋 天下有八樣寶貝,要分別放在不同的地方。這樣天下 中國 才能安定!但是明朝的皇族 ...