最近在做一些爬蟲相關的工作，遇到了一個網站，在使用谷歌開發者工具監控的時候，發現他的請求是這樣的

我們都知道傳統的post請求，所提交的是form data 格式的，key-value鍵值對的形式提交。這個在爬蟲post請求中非常常見。

第一次遇到了這種形式提交的，後面去找了很多方法，發現在百度搜的答案都用不了，後面翻牆去了stackoverflow，這邊貼上地址

http://stackoverflow.com/questions/22671897/httpclient-httppost-and-payload

所給的答案我也用不了。

於是去認真研究了一下，發現他所提交的post流，不是傳統的key-value模型的資料，而是post一段json文字

仔細查看了HttpClient的一些相關的API後，找到了答案

這邊貼上我的小Demo，Demo是用來抓取某個城市的公積金資料的，這邊隱藏去賬號密碼

1. String str = "password="+"1234"+"\n"
2.                 +"theName="+"XXX先生"+"\n"
3.                 +"year=0\n"
4.                 +"eTime="+DateUtil.getDate()+"\n"
5.                 +"sfz="+"idCardxxxx"+"\n"
6.                 +"orderby=1\n"
7.                 +"sTime=2000-01-01\n";  
8.         String loginUrl = "http://www.lszfgjj.gov.cn/ajax/GuestWebGjj_searchUser,App_Web_10rvbinu.ashx?_method=getSearch&_session=r";  
9.         HttpClient httpClient = new HttpClient();  
10.         PostMethod post = new PostMethod(loginUrl);  
11.         post.setRequestHeader("Accept"
    ,"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");  
12.         post.setRequestHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36");  
13.         post.setRequestHeader("Accept-Language","zh-cn,zh;q=0.8");  
14.         post.setRequestHeader("Accept-Encoding","gzip, deflate, sdch");  
15.         post.setRequestHeader("Content-Type","application/x-www-form-urlencoded; charset=UTF-8");  
16.         post.setRequestHeader("Host","www.lszfgjj.gov.cn");  
17.         post.setRequestHeader("Connection","keep-alive");  
18.         post.setRequestHeader("Referer","http://www.lszfgjj.gov.cn/GuestWebGjj/default.aspx");  
19.         RequestEntity entity = new StringRequestEntity(str, "text/html", "utf-8");  
20.         post.setRequestEntity(entity);  
21.         httpClient.executeMethod(post);  
22.         String html = post.getResponseBodyAsString();  
23.         System.out.println(html);  

1. RequestEntity entity = new StringRequestEntity(str, "text/html", "utf-8");  
2.         post.setRequestEntity(entity);  

以下是需要import的包：

1. import org.apache.commons.httpclient.HttpClient;  
2. import org.apache.commons.httpclient.methods.PostMethod;  
3. import org.apache.commons.httpclient.methods.RequestEntity;  
4. import org.apache.commons.httpclient.methods.StringRequestEntity;