1. 程式人生 > >004_Java實現百度網盤爬蟲

004_Java實現百度網盤爬蟲

百度網盤是個好東西,有許多的資源,對我們IT行業來說,更看中的就是學習資源了。
因為百度網盤並沒有提供搜尋的服務,所以我們搜尋資源都只能依靠第三方軟體進行搜尋。
今天讓我們自己實現一個百度網盤的爬蟲網站,坐等收錢哦~~~

現在的百度網盤爬蟲有兩種:
1. 基於google的爬蟲

不需要資料庫,不需要自己寫爬蟲,只需要呼叫google的介面,當然還需要能科學上網。

2. 自己動手寫的爬蟲

這個就複雜一些了,今後咱們再認識這個。

下面咱們就開始動手實現一個百度網盤爬蟲吧:
① 科學上網

方法很多,大家去摸索吧,如果摸索不到的話,文章下面的連結提供一個免費的科學上網的工具。

② 谷歌自定義搜尋介面

 - 開啟google自定義搜尋

這裡寫圖片描述

 - 點選新增網路,輸入要搜尋的網站,並建立

這裡寫圖片描述

 - 獲取原始碼

這裡寫圖片描述

這裡寫圖片描述

 - 將上面獲取到的程式碼貼在HTML文件中,然後使用瀏覽器開啟,複製請求網址(這裡已經可以直接使用了,只是是google提供的)

這裡寫圖片描述

 - 如果有更多的操作,就在Java程式碼中,去處理上面複製到的請求網址(也就是個處理Json資料,然後在前臺顯示)

這裡寫圖片描述

 - 前端的部分就不再寫了,最後效果

這裡寫圖片描述

③ 完整原始碼:

https://mp.weixin.qq.com/s/Fn-ASaIoiH09LzRafhsoLQ





分享