1. 程式人生 > >網絡爬蟲是什麽

網絡爬蟲是什麽

開發 通過 怎麽 發的 來源 沒有 限制 jpg 文字

1.1 網絡爬蟲是什麽
1.2.1知識概述
技術分享圖片
以上數據來源於 百度百科
技術分享圖片
爬蟲又叫網絡爬蟲,網絡蜘蛛,一種運行在互聯網上用來獲取數據的的自動程序。
l 互聯網的數據,有很多,一般都是根據業務需求來的。
n 網頁(文字、圖片、視頻)
n 商品數據
l 怎麽獲取數據?
n HTTP協議
n 人的操是通過瀏覽器的,程序是利用網絡請求的相關協議獲取數據。
l 自動化,盡可能減少人工的幹預。
n 爬蟲開發的技術,沒有限制的。
python做網絡爬蟲是非常流行的。
Java 編寫爬蟲框架。
思考題:某公司要獲取京東的數據,也要獲取淘寶的數據,又要獲取豆瓣上的數據,請問開發一個爬蟲程序好?還是多個程序好?

網絡爬蟲是什麽