2. 程式人生 > >HttpClient設定HTTP請求頭Header

HttpClient設定HTTP請求頭Header

阿新 • • 發佈：2018-11-01

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow

也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！

               

用Firebug對POST的資料進行監控 請求 HTTP頭 資訊,得到如下內容:

Java程式碼   收藏程式碼
  1. Accept  application/json, text/javascript, */*  
  2. Accept-Encoding gzip, deflate  
  3. Accept-Language en-us,en;q=0.5  
  4. Cache-Control   no-cache  
  5. Content-Length  432  
  6. Content-Type    application/x-www-form-urlencoded; charset=UTF-8
      
  7. Host    www.huaxixiang.com  
  8. Pragma  no-cache  
  9. Proxy-Connection    keep-alive  
  10. Refere   http://www.huaxixiang.com/CrossPriceDetail.action  
  11. User-Agent  Mozilla/5.0
     (Windows NT 5.1; rv:11.0) Gecko/20100101 Firefox/11.0  
  12. X-Requested-With    XMLHttpRequest  

 

 

用HttpClient模仿瀏覽器訪問頁面,載入URL的HTML資訊,為了良好的載入網站的資訊,不被限制.

為了說明請求頭的資訊添加了一個小測試專案LoginTest,新增頁面index.jsp,新增主要程式碼列印Http Header的JSP頁面.

主要列印Http Header資訊.

1. index.jsp

 

Java程式碼   收藏程式碼
  1. out.println("Protocol: " + request.getProtocol());   
  2. out.println("Scheme: " + request.getScheme());   
  3. out.println("Server Name: " + request.getServerName() );   
  4. out.println("Server Port: " + request.getServerPort());   
  5. out.println("Protocol: " + request.getProtocol());   
  6. out.println("Server Info: " + getServletConfig().getServletContext().getServerInfo());   
  7. out.println("Remote Addr: " + request.getRemoteAddr());  
  8. out.println("Remote Host: " + request.getRemoteHost());   
  9. out.println("Character Encoding: " + request.getCharacterEncoding());   
  10. out.println("Content Length: " + request.getContentLength());   
  11. out.println("Content Type: "+ request.getContentType());   
  12. out.println("Auth Type: " + request.getAuthType());   
  13. out.println("HTTP Method: " + request.getMethod());   
  14. out.println("Path Info: " + request.getPathInfo());   
  15. out.println("Path Trans: " + request.getPathTranslated());   
  16. out.println("Query String: " + request.getQueryString());   
  17. out.println("Remote User: " + request.getRemoteUser());   
  18. out.println("Session Id: " + request.getRequestedSessionId());   
  19. out.println("Request URI: " + request.getRequestURI());   
  20. out.println("Servlet Path: " + request.getServletPath());   
  21. out.println("Accept: " + request.getHeader("Accept"));   
  22. out.println("Host: " + request.getHeader("Host"));   
  23. out.println("Referer : " + request.getHeader("Referer"));   
  24. out.println("Accept-Language : " + request.getHeader("Accept-Language"));   
  25. out.println("Accept-Encoding : " + request.getHeader("Accept-Encoding"));   
  26. out.println("User-Agent : " + request.getHeader("User-Agent"));   
  27. out.println("Connection : " + request.getHeader("Connection"));   
  28. out.println("Cookie : " + request.getHeader("Cookie"));   
  29. out.println("Created : " + session.getCreationTime());   
  30. out.println("LastAccessed : " + session.getLastAccessedTime());   

 

2. 使用IE瀏覽器載入http://127.0.0.1:8080/LoginTest/index.jsp返回內容如下:

 

Java程式碼   收藏程式碼
  1. Protocol: HTTP/1.1   
  2. Scheme: http   
  3. Server Name: 127.0.0.1   
  4. Server Port: 8080   
  5. Protocol: HTTP/1.1   
  6. Server Info: Apache Tomcat/6.0.18   
  7. Remote Addr: 127.0.0.1   
  8. Remote Host: 127.0.0.1   
  9. Character Encoding: null   
  10. Content Length: -1   
  11. Content Type: null   
  12. Auth Type: null   
  13. HTTP Method: GET   
  14. Path Info: null   
  15. Path Trans: null   
  16. Query String: null   
  17. Remote User: null   
  18. Session Id: E2C384C095E34AD355684EB554517FB1   
  19. Request URI: /LoginTest/index.jsp   
  20. Servlet Path: /index.jsp   
  21. Accept: */*   
  22. Host: 127.0.0.1:8080   
  23. Referer : null   
  24. Accept-Language : en-us   
  25. Accept-Encoding : gzip, deflate   
  26. User-Agent : Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.3; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; .NET4.0E)   
  27. Connection : Keep-Alive   
  28. Cookie : JSESSIONID=E2C384C095E34AD355684EB554517FB1   
  29. Created : 1322294859981   
  30. LastAccessed : 1322294859981  

 

3.  後面使用HttpClient不設定header資訊載入http://127.0.0.1:8080/LoginTest/index.jsp資訊如下:

 

Java程式碼   收藏程式碼
  1. Protocol: HTTP/1.1  
  2. Scheme: httpServer   
  3. Name: 127.0.0.1  
  4. Server Port: 8080  
  5. Protocol: HTTP/1.1  
  6. Server Info: Apache Tomcat/6.0.18  
  7. Remote Addr: 127.0.0.1  
  8. Remote Host: 127.0.0.1  
  9. Character Encoding: null  
  10. Content Length: -1  
  11. Content Type: null  
  12. Auth Type: null  
  13. HTTP Method: GET  
  14. Path Info: null  
  15. Path Trans: null  
  16. Query String: null  
  17. Remote User: null  
  18. Session Id: null  
  19. Request URI: /LoginTest/index.jspServlet   
  20. Path: /index.jsp  
  21. Accept: null  
  22. Host: 127.0.0.1:8080  
  23. Referer : null  
  24. Accept-Language : null  
  25. Accept-Encoding : null  
  26. User-Agent : Apache-HttpClient/4.1.1 (java 1.5)  
  27. Connection : Keep-Alive  
  28. Cookie : null  
  29. Created : 1322293843369  
  30. LastAccessed : 1322293843369  

 

分析: 由於這裡純粹載入頁面,沒有動用CookieStore自動管理Cookie,在上面沒有能顯示Cookie,SessionID的資訊,區別於瀏覽器的的User-Agent,Cookie,SessionID,Accept,Accept-Language,Accept-Encoding等資訊都沒有進行設定.

對於爬取網站在HttpClient中設定Host,Referer,User-Agent,Connection,Cookie和爬取的頻率和入口Url有講究.

 

4. 考慮設定HttpClient的Header資訊程式碼:

 

Java程式碼   收藏程式碼
  1. HashMap<String, String> headers = new HashMap<String, String>();  
  2. headers.put("Referer", p.url);  
  3. headers.put("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.6) Gecko/20100625   
  4.   
  5. Firefox/3.6.6 Greatwqs");  
  6. headers.put("Accept","text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");  
  7. headers.put("Accept-Language","zh-cn,zh;q=0.5");  
  8. headers.put("Host","www.yourdomain.com");  
  9. headers.put("Accept-Charset","ISO-8859-1,utf-8;q=0.7,*;q=0.7");  
  10. headers.put("Referer", "http://www.yourdomian.com/xxxAction.html");  
  11. HttpRequestBase httpget = ......  
  12. httpget.setHeaders(headers);  

 

 5. 由新的HttpClient執行http://127.0.0.1:8080/LoginTest/index.jsp得到的HTML資訊如下:

 

Java程式碼   收藏程式碼
  1. Protocol: HTTP/1.1  
  2. Scheme: http  
  3. Server Name: www.yourdomain.com  
  4. Server Port: 80  
  5. Protocol: HTTP/1.1  
  6. Server Info: Apache Tomcat/6.0.18  
  7. Remote Addr: 127.0.0.1  
  8. Remote Host: 127.0.0.1  
  9. Character Encoding: null  
  10. Content Length: -1  
  11. Content Type: null  
  12. Auth Type: null  
  13. HTTP Method: GET  
  14. Path Info: null  
  15. Path Trans: null  
  16. Query String: null  
  17. Remote User: null  
  18. Session Id: null  
  19. Request URI: /LoginTest/index.jsp  
  20. Servlet Path: /index.jsp  
  21. Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8  
  22. Host: www.yourdomain.com  
  23. Referer : http://www.yourdomian.com/xxxAction.html  
  24. Accept-Language : zh-cn,zh;q=0.5  
  25. Accept-Encoding : null  
  26. User-Agent : Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.6) Gecko/20100625 Firefox/3.6.6   
  27.   
  28. Greatwqs  
  29. Connection : Keep-Alive  
  30. Cookie : null  
  31. Created : 1322294148709  
  32. LastAccessed : 1322294148709  

 

           

給我老師的人工智慧教程打call！http://blog.csdn.net/jiangjunshow

這裡寫圖片描述

相關推薦

HttpClient設定HTTP請求頭Header

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

AFN設定HTTP請求頭

1、比如在使用Post請求，引數使用raw方式的時候，我們可以設定請求頭解決問題。 AFHTTPSessionManager *manager = [AFHTTPSessionManager manager];manager.securityPolicy = [AFSecurityPolicy p

http 請求頭 header Referer 含義和作用

Referer是header的一部分，當瀏覽器向web伺服器傳送請求的時候，一般會帶上Referer，告訴伺服器頁面的請求地址，伺服器就可以進行資訊處理了。 HTTP Referer的一些實際用途：

HTTP請求頭header解析具體含義

Request Headers： Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 Accept-Encoding: gzip

HTTP 請求頭 Header

HTTP 請求頭 Header　　HTTP請求頭概述 （HttpServletRequest） HTTP客戶程式（例如瀏覽器），向伺服器傳送請求的時候必須指明請求型別（一般是GET或者POST或者HEAD）。 　　如有必要，客戶程式還可以選擇傳送其他的請求頭。大多數請求頭並不是必需的，但Content-Le

android 使用mediaplayer播放視訊的時候設定請求頭header

很簡單，使用如下程式碼就行 Uri uri = Uri.parse("http://47.96.22.18:8002/test.pg1"); Map<String, String> headers = new HashMap<>();

httpclient傳送http請求設定網路超時時間

一、傳送的ApiClient方法 可以設定網路超時時間 /*** Eclipse Class Decompiler plugin, copyright (c) 2016 Chen Chao ([email protected]) ***/ pack

Google Chrome/IE/FireFox檢視HTTP請求頭request header響應頭response header|審查元素Network空的不顯示

來自：http://1.snowson.sinaapp.com/?p=359 chrome檢視網頁header，滑鼠右鍵開啟審查元素，或快捷鍵Shift+Ctrl+I或者shift+ctrl+c 當我開啟Network後，發現裡面是空的什麼也沒有。 查了下，才知，需要重

http請求頭和響應頭設定

js設定請求頭： var xhr = XMLHttpRequest ? new XMLHttpRequest() : new ActiveXObject("Microsoft.XMLHTTP") xhr.open(type, url) xhr.setReq

前端設定Cookie請求頭報錯 Refused to set unsafe header "Cookie"

w3c規定，當請求的header匹配以下不安全字元時，將被終止 Accept-Charset Accept-Encoding Connection Content-Length C

HTTP 請求頭中的 X-Forwarded-For，X-Real-IP

進行 gnu 防止 cal 截取 雲服務器 sta 分配 wow X-Forwarded-For 在使用nginx做反向代理時，我們為了記錄整個的代理過程，我們往往會在配置文件中做如下配置: location / { 省略...

HTTP請求頭和響應頭

.cn 訪問 htm ref 頁面 格式 技術分享 -s charset 這篇文章簡單總結一下HTTP請求頭和響應頭，並舉一些web開發中響應頭的用例。 1. HTTP請求頭 accept：瀏覽器通過這個頭告訴服務器，它所支持的數據類型。如：text/html,

【筆記】如何查看HTTP請求頭&&【實驗吧】天下武功唯快不破

mage key 經驗 int .com images 有一個 work 數據 打開Chrome瀏覽器，點擊右上角“三”按鈕。 點擊工具-----再點擊開發者工具 找到Network選項框。以百度經驗頁面為例，點擊任務選框來查看網絡請求流 在N

Retrofit2 動態（靜態）添加請求頭Header

tasks span 添加 lang family fit earch gpo resp Retrofit提供了兩個兩種定義HTTP請求頭字段的方法即靜態和動態。靜態頭不能改變為不同的請求，頭的鍵和值是固定的且不可改變的，隨著程序的打開便已固定。 動態添加 @GET("/

http請求頭信息

dddd permanent 請求頭 nav 先決條件 定時 all HR agen 1.HTTP Request Header 請求頭信息對照表 Header解釋示例 Accept 指定客戶端能夠接收的內容類型 Accept: text/plain, te

http請求頭和響應頭詳細解釋

pad 使用 after 網絡資源 max OS lai 通信 緩存 想對http請求頭和響應頭有更細致的了解，請看如下 Requests部分 Header解釋示例 Accept 指定客戶端能夠接收的內容類型 Accept: text/plain, text/html

HTTP請求頭圖片打開

HTTP請求頭圖片打開 import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; impo

封裝HttpClient進行http請求與https請求

src empty one key-value fin finally 發送post請求 工具類 catch 一.https忽略證書 /** * 用於進行Https請求的HttpClient * * @author joey * */ public class

http 請求頭大小寫的問題

mes enum 請求 == 大小寫 crypt num ati null 如果是默認消息頭名稱，消息頭格式已經固定，即便輸入的大小寫有誤，也會給你翻譯成默認的寫法，如果自己定義的，會自動給你翻譯成小寫,所以傳參數的名稱都用小寫字母即可，否則可能取不到值，比如encrypt

給RabbitMQ發送消息時，設置請求頭Header。

span ima payload public ade chang cep image alt 消費者 由於消費者那裏，@Payload是接受的消息體，使用了@Header註解，需要請求頭，生產者這邊就要設置，如下代碼： 這是RabbitTemplate中的co