教育行業(yè)A股IPO第一股（股票代碼 003032）

全國咨詢/投訴熱線：400-618-4000

聚焦爬蟲工作原理介紹

更新時間:2020年09月18日15時43分 來源:傳智播客 瀏覽次數:

與通用爬蟲相比，聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析算法過濾與主題無關的鏈接，保留有用的鏈接，并將其放入等待抓取的URL隊列。然后，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，并重復上述過程，直到達到系統(tǒng)的某一條件時停止，如圖1所示。

聚焦爬蟲工作原理

相對于通用網絡爬蟲，聚焦爬蟲還需要解決三個主要問題：

(1) 對抓取目標的描述或定義。我們需要根據爬取需求定義聚焦爬蟲的爬取目標，并進行相關的描述。

(2) 對網頁或數據的分析與過濾。

(3) 對URL的搜索策略。


猜你喜歡：

python爬蟲視頻教程

Python高級程序員培訓課程

0 分享到：
和我們在線交談！