2. 程式人生 > >基於Java的阿里媽媽資料抓取技術

基於Java的阿里媽媽資料抓取技術

阿新 • • 發佈：2019-01-31

基於Java的阿里媽媽資料抓取技術

前言：

    對於需要登入的網站爬蟲最大的困難就是需要登入，然後才能獲取到資料，如微博，阿里媽媽，webqq等。之前也有看過使用瀏覽器登入到網站後直接從瀏覽器中獲取cookie的文章，這不失為一種解決方案，但是當cookie失效時就需要再次獲取，比較麻煩，那有沒有能有自動登入，然後在爬取資料的技術呢，這就是本文研究的重點，好啦不扯淡了，開始進入正題吧。

技術要點：java + Phantomjs+httpclient

思路：

     1.需要藉助一些工具獲取登入的cookie，在做後續操作，這裡就使用phantomjs來獲取，其實phantomjs就是一個沒有介面的瀏覽器，它提供了一些

js的介面操作該瀏覽器，http://phantomjs.org/download.html這個連結就是該瀏覽器的連結，大家需要可以在這裡下載。

2.由於phantom也可以直接傳送post，get請求，但是解析起來比較慢，所以這裡就只是在登入時使用該外掛來獲取cookie然後使用Java的httpclient來發送請求獲取資料。

引入maven庫：

<!-- https://mvnrepository.com/artifact/htmlunit/htmlunit -->

<dependency>

<groupId>net.sourceforge.htmlunit</

groupId>

<artifactId>htmlunit</artifactId>

<version>2.15</version>

</dependency>

<dependency>

<groupId>org.apache.httpcomponents</groupId>

<artifactId>httpclient</artifactId>

<version>4.5.4</version>

</dependency>

<dependency

>

<groupId>org.seleniumhq.selenium</groupId>

<artifactId>selenium-java</artifactId>

<version>2.53.0</version>

</dependency>

<dependency>

<groupId>com.codeborne</groupId>

<artifactId>phantomjsdriver</artifactId>

<version>1.2.1</version>

<exclusions>

<exclusion>

<groupId>org.seleniumhq.selenium</groupId>

<artifactId>selenium-remote-driver</artifactId>

</exclusion>

<exclusion>

<groupId>org.seleniumhq.selenium</groupId>

<artifactId>selenium-java</artifactId>

</exclusion>

</exclusions>

</dependency>

編寫頁面處理的工具類

/***

 * 頁面操作的工具類

 *

 * @authoradmin

 *

 */

publicclass PageUtils {

publicstatic PhantomJSDriver driver = null;

publicstatic String PhantomPath = "E:/phantomjs/bin/phantomjs.exe";

//頁面中的cookie

publicstatic Set<Cookie>cookies=null;

//頁面中的token

publicstatic String token=null;

// 初始化phantom先關的操作

static {

// 設定必要引數

DesiredCapabilities dcaps = new DesiredCapabilities();

// ssl證書支援

dcaps.setCapability("acceptSslCerts", true);

// 截圖支援

dcaps.setCapability("takesScreenshot", true);

// css搜尋支援

dcaps.setCapability("cssSelectorsEnabled", true);

// js支援

dcaps.setJavascriptEnabled(true);

// 驅動支援

dcaps.setCapability(PhantomJSDriverService.PHANTOMJS_EXECUTABLE_PATH_PROPERTY, PhantomPath);

// 建立無介面瀏覽器物件

driver = new PhantomJSDriver(dcaps);

}

publicstaticboolean loadLogin(String loginUrl, String mainUrl) throws Exception {

try {

driver.get(loginUrl);

File scrFile = ((TakesScreenshot) driver).getScreenshotAs(OutputType.FILE);

File file = new File("baidu_selenium.png");

FileUtils.copyFile(scrFile, file);

System.out.println("二維碼已經儲存為:" + file.getAbsolutePath());

System.out.println("請開啟淘寶掃描該圖片登入");

String current = "";

while (!current.equals(mainUrl)) {

current = driver.getCurrentUrl();

Thread.sleep(2000);

}

System.out.println("登入成功");

returntrue;

} catch (Exception e) {

//當出現異常時關閉

//driver.close();

//driver.quit();

returnfalse;

}

}

//開啟一個執行緒，定時訪問頁面，防止頁面太久沒有操作導致session超時

publicstaticvoid keepCookies() {

new Thread() {

publicvoid run() {

//淘寶聯盟頁面

String url="http://pub.alimama.com/myunion.htm";

while(true) {

try {

driver.get(url);

cookies=driver.manage().getCookies();

Thread.sleep(8*1000);

} catch (InterruptedException e) {

}

}

};

}.start();

}

//獲取token

publicstatic String getToken() {

//等待cookie中有資料

while(cookies==null) {

try {

Thread.sleep(1*1000);

} catch (InterruptedException e) {

e.printStackTrace();

}

}

for(Cookie cook:cookies) {

String name=cook.getName();

if(name!=null&&name.equals("_tb_token_")) {

returntoken= cook.getValue();

}

}

returntoken;

}

/**

 * 封裝get請求

 * @param url

 * @return

 */

publicstatic String httpGet(String url) {

try {

//獲取cookie字串

String cookieStr="";

for(Cookie cookie:cookies) {

cookieStr+=cookie.getName()+"="+cookie.getValue()+";";

}

// 根據地址獲取請求

            HttpGet request = new HttpGet(url);//這裡傳送get請求

//新增請求頭

request.addHeader("Pragma", "no-cache");

//設定瀏覽器型別

request.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/538.1 (KHTML, like Gecko) PhantomJS/2.1.1 Safari/538.1");

request.addHeader("Accept-Language", "zh-CN,en,*");

//設定cookie

request.addHeader("Cookie", cookieStr);

// 獲取當前客戶端物件

            HttpClient  httpClient = HttpClients.custom().build();

// 通過請求物件獲取響應物件

            HttpResponse response = httpClient.execute(request);

if (response.getStatusLine().getStatusCode() == HttpStatus.SC_OK) {

return EntityUtils.toString(response.getEntity(),"utf-8");

            }

} catch (Exception e) {

e.printStackTrace();

}

returnnull;

}

/**

 * 封裝post請求

 * @param url

 * @return

 */

publicstatic String httpPost(String url) {

try {

//獲取cookie字串

String cookieStr="";

for(Cookie cookie:cookies) {

cookieStr+=cookie.getName()+"="+cookie.getValue()+";";

}

// 根據地址獲取請求

            HttpPost request = new HttpPost(url);//這裡傳送get請求

//新增請求頭

request.addHeader("Pragma", "no-cache");

//設定瀏覽器型別

request.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/538.1 (KHTML, like Gecko) PhantomJS/2.1.1 Safari/538.1");

request.addHeader("Accept-Language", "zh-CN,en,*");

//設定cookie

request.addHeader("Cookie", cookieStr);

// 獲取當前客戶端物件

            HttpClient  httpClient = HttpClients.custom().build();

// 通過請求物件獲取響應物件

            HttpResponse response = httpClient.execute(request);

if (response.getStatusLine().getStatusCode() == HttpStatus.SC_OK) {

return EntityUtils.toString(response.getEntity(),"utf-8");

            }

} catch (Exception e) {

e.printStackTrace();

}

returnnull;

}

/**

 * 獲取導購推廣位

 * @param time

 * @param pvid

 * @param token

 * @return

 */

publicstatic String getShoppingGuide(String pvid,String token) {

String url="https://pub.alimama.com/common/adzone/adzoneManage.json?"

+ "spm=a219t.7900221/1.1998910419.dbb742793.5bcb8cdcYsmdCb&"

+ "tab=3&"

+ "toPage=1&"

+ "perPageSize=40&"

+ "gcid=8&"

+ "t="+getCirrentTime()+"&"

+ "pvid="+pvid+"&"

//"pvid=60_59.172.110.203_862_1517744052508&"

+ "_tb_token_="+token+"&"

+ "_input_charset=utf-8";

returnhttpGet(url);

}

//獲取當前的時間戳

publicstaticlong getCirrentTime() {

return System.currentTimeMillis();

}

/**

 * 獲取1000以內的隨機數

 * @return

 */

publicstaticint getRandom() {

Random random=new Random();

intresult=(int)(random.nextFloat()*1000);

returnresult;

}

}

編寫主類：

publicclass Test {

publicstatic Gson gson=new Gson();

publicstaticvoid main(String[] args) {

//阿里媽媽錄頁面

String taobao="https://login.taobao.com/member/login.jhtml?style=mini&newMini2=true&css_style=alimama_index&from=alimama&redirectURL=http://www.alimama.com&full_redirect=true&disableQuickLogin=true";

//阿里媽媽主頁面

String loginUrl="https://www.alimama.com/index.htm";

//獲取個人資訊的介面

String userUrl="http://pub.alimama.com/common/getUnionPubContextInfo.json";

try {

PageUtils.loadLogin(taobao, loginUrl);

PageUtils.keepCookies();

String token=PageUtils.getToken();

System.out.println("token:"+token);

String result=PageUtils.httpGet(userUrl);

LoginInfo info=gson.fromJson(result, LoginInfo.class);

System.out.println("獲取個人資訊:"+info);

//格式60_59.172.110.203_862_1517744052508

String pvid="60"

+"_"+info.getData().getIp()

+"_"+PageUtils.getRandom()

+"_"+PageUtils.getCirrentTime();

//獲取導購推廣位

String shopping=PageUtils.getShoppingGuide(pvid,PageUtils.getToken());

System.out.println("導購位資訊:"+shopping);

} catch (Exception e) {

e.printStackTrace();

}

}

效果展示：


總結：通過本次爬蟲也對http中cookie有了一定的瞭解，同時一些細節沒有直接展示出來，但是程式碼中會有對一些躺過的坑作出解釋，希望能夠幫助到大家。

相關推薦

基於Java的阿里媽媽資料抓取技術

基於Java的阿里媽媽資料抓取技術 前言：     對於需要登入的網站爬蟲最大的困難就是需要登入，然後才能獲取到資料，如微博，阿里媽媽，webqq等。之前也有看過使用瀏覽器登入到網站後直接從瀏覽器中獲

Java網頁資料抓取例項

在很多行業中，要對行業資料進行分類彙總，及時分析行業資料，對於公司未來的發展，有很好的參照和橫向對比。所以，在實際工作，我們可能要遇到資料採集這個概念，資料採集的最終目的就是要獲得資料，提取有用的資料進行資料提取和資料分類彙總。 很多人在第一次瞭解資料採集的時候，可能無

資料抓取必須學會的三種技術

我們正處於一個大資料的時代，在這樣的一個以資料為王的時代，第一步就是如何獲取資料。大概的流程是這樣的：通過Http客戶端獲取html頁面，通過html頁面解析工具解析html頁面，獲取感興趣的資料元素，最後將解析後的資料寫入資料庫。Python為這幾個過程都提供

JAVA使用Gecco爬蟲 抓取網頁內容

log pro 指定 get www. error 一個 log4j java類 JAVA 爬蟲工具有挺多的，但是Gecco是一個挺輕量方便的工具。 先上項目結構圖。 這是一個 JAVASE的 MAVEN 項目，要添加包依賴，其他就四個文件。log4j.propertie

基於puppeteer模擬登錄抓取頁面

分享圖片 load() Go 重新 直接 req 用戶 red cat 關於熱圖 在網站分析行業中，網站熱圖能夠很好的反應用戶在網站的操作行為，具體分析用戶的喜好，對網站進行針對性的優化，一個熱圖的例子（來源於ptengine） 上圖中能很清晰的看到用戶關註點在那，我們不

QueryList免費線上網頁採集資料抓取工具-toolfk.com

     本文要推薦的[ToolFk]是一款程式設計師經常使用的線上免費測試工具箱，ToolFk 特色是專注於程式設計師日常的開發工具，不用安裝任何軟體，只要把內容貼上按一個執行按鈕,就能獲取到想要的內容結果。ToolFk還支援  BarCode條形碼線上

spider資料抓取（第二章）

download最完善的指令碼 import urllib2 import urlparse def download(url, user_agent="wswp", proxy=None, num_retries=2): print "DownLoading", url head

Android 使用jsoup 進行資料抓取

一，身為安卓開發人員，在沒有介面的情況下是很操蛋的。索性就抓點資料測試用了。 準備工作：jsoup.jar 這裡 已經 是 已經實現好 邏輯的方法。 public class MianHuanJsoup { public static final String MH

C# NetCore使用AngleSharp爬取周公解夢資料 MySql資料庫的自動建立和頁面資料抓取

這一章詳細講解編碼過程 那麼接下來就是碼程式碼了，GO 新建NetCore WebApi專案 空的就可以    NuGet安裝 Install-Package AngleSharp　　  或者介面安裝   using。。 預設本地裝有

爬蟲[1]---頁面分析及資料抓取

頁面分析及資料抓取 anaconda + scrapy 安裝：https://blog.csdn.net/dream_dt/article/details/80187916 用 scrapy 初始化一個爬蟲：https://blog.csdn.net/dream_dt/article

爬蟲實戰-酷狗音樂資料抓取--XPath，Pyquery,Beautifulsoup資料提取對比實戰

網站： http://www.kugou.com/yy/html/rank.html 爬取目標： 酷酷狗飆升榜的歌手，歌曲名字，歌曲連結等內容，存到Mysql資料庫中 網頁解析： 此次爬取採用三種解析方式： 程式碼如下： import requests from l

poi資料抓取和下載

  網際網路或者企業獲取：直接從一些專業類服務網站上抓取或者購買（例如大眾點評，攜程），或者直接從大家在其公開的地圖服務上的標註中進行篩選和獲取。這就是google，百度，高德自己免費向社會開放其地圖服務所能夠獲得的利益。尤其對於開放API免費企業客戶的使用，這種獲取是很有價值的。

scrapy安裝與資料抓取

scrapy安裝 pip install Scrapy 如果需要vs c++的話可能是因為要用到twisted，可以到 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下載，然後在本地下載的目錄下在位址列輸入cmd，然後pip

Python 爬蟲工程師必學——App資料抓取實戰

第1章 課程介紹 介紹課程目標、通過課程能學習到的內容、學會這些技能能做什麼，對公司業務有哪些幫助，對個人有哪些幫助。介紹目前app資料抓取有哪些困難，面臨的挑戰，本實戰課程會利用哪些工具來解決這些問題，以及本實戰課程的特點 ... 1-1 python爬蟲工程師必備技

某課《Python 爬蟲工程師必學 App資料抓取實戰》

第1章 課程介紹 介紹課程目標、通過課程能學習到的內容、學會這些技能能做什麼，對公司業務有哪些幫助，對個人有哪些幫助。介紹目前app資料抓取有哪些困難，面臨的挑戰，本實戰課程會利用哪些工具來解決這些問題，以及本實戰課程的特點 ... 1-1 python爬蟲工程師必備技

爬蟲原理與資料抓取-----HTTP和HTTPS的請求與響應

HTTP和HTTPS HTTP協議（HyperText Transfer Protocol，超文字傳輸協議）：是一種釋出和接收 HTML頁面的方法。 HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）簡單講是HTTP的安全版，在HTTP下加入

爬蟲原理與資料抓取----- urllib2：GET請求和POST請求

urllib2預設只支援HTTP/HTTPS的GET和POST方法 urllib.urlencode() urllib 和 urllib2 都是接受URL請求的相關模組，但是提供了不同的功能。兩個最顯著的不同如下： urllib 僅可以接受URL，不能建立 設定了headers 的Request 類例項

Python 爬蟲工程師必學 App資料抓取實戰

第5章 移動端自動化控制工具詳講 本章首先介紹了android開發環境的安裝，為講解uiautomatorviewer工具做準備，android開發環境安裝成功後介紹了uiautomatorviewer工具對app應用介面進行分析，節點定位、xpath編寫 介紹了appium-desktop工具的錄製

Python 爬蟲工程師必學 App資料抓取實戰目前最完整

第1章 課程介紹 介紹課程目標、通過課程能學習到的內容、學會這些技能能做什麼，對公司業務有哪些幫助，對個人有哪些幫助。介紹目前app資料抓取有哪些困難，面臨的挑戰，本實戰課程會利用哪些工具來解決這些問題，以及本實戰課程的特點 ... 1-1 python爬蟲工程師必備技

爬蟲—01-爬蟲原理與資料抓取

爬蟲的更多用途 12306搶票 網站上的頭票 簡訊轟炸 關於Python網路爬蟲，我們需要學習的有： Python基礎語法學習（基礎知識） 對HTML頁面的內容抓取（資料抓取） 對HTML頁面的資料提取（資料提取） Scrapy框架以及scrapy-redis分散式策略（第三方框架） 爬蟲(Spider