linux 下如何抓取HTTP流量包(httpry)
基於某些原因你需要嗅探HTTP Web流量(即HTTP請求和響應)。例如,你可能會測試Web服務器的性能,或者x奧uy調試Web應用程序或RESTful服務 ,又或者試圖解決PAC(代理自動配置)問題,或檢查從網站上下載的任何惡意文件。甭管是什麽原因,對於系統管理員,開發人員,甚至是最終用戶,嗅探HTTP流量是非常有幫助的。
數據包嗅探工具如tcpdump是普遍用於實時數據包轉儲,需要設定一些過濾規則,只捕獲HTTP流量,即便如此,它的輸出內容很難理解,需要一定的協議基礎知識。實時的Web服務器日誌分析工具如ngxtop提供了可讀的實時網絡流量的痕跡,但僅適用於具有完全訪問過的Web服務器的日誌。
有沒有一款功能強大且又只針對HTTP流量的工具呢?那就是httpry,HTTP數據包嗅探工具。捕獲HTTP數據包,並顯示可讀格式的HTTP協議層面的內容。
安裝httpry
在基於debian系統如Ubuntu,httpry沒有包含在基礎倉庫中。
1 2 3 4 5 | $ sudo apt-get install gcc make git libpcap0.8-dev $ git clone https://github.com/jbittel/httpry.git $ cd httpry $ make $ sudo make install |
Fedora、centos、RHEL系統需要安裝EPEL源
1 | $ sudo yum install httpry |
也可以源碼編譯
1 2 3 4 5 | $ sudo yum install gcc make git libpcap-devel $ git clone https://github.com/jbittel/httpry.git $ cd httpry $ make $ sudo make install |
httpry基本用法
1 | $ sudo httpry -i <network-interface> |
httpry監聽在指定的網卡下,實時捕獲並顯示HTTP請求與響應的包
在大多數情況下,輸出滾動非常快的,需要保存捕獲的HTTP數據包進行離線分析。可以使用-b或-o選項。“-b”選項將原始的HTTP數據包保存到一個二進制文件,然後可以用httpry進行重播。 “-o”選項保存可讀的輸出到文本文件。
保存到二進制文件中:
1 | $ sudo httpry -i eth0 -b output.dump |
重放:
1 | $ httpry -r output.dump |
保存到文本文件:
1 | $ sudo httpry -i eth0 -o output.txt |
httpry高級用法
如果你要捕獲特定的HTTP方法,如GET、POST、PUT、HEAD、CONNECT等等,可以使用‘-m‘選項:
1 | $ sudo httpry -i eth0 -m get,head |
如果你下載httpry源碼,在源碼目錄下,有一個perl腳本來幫助我們分析httpry輸出。該腳本在httpry/scripts/plugins目錄下。 如果你想編寫一個httpry輸出的定制解析器,這些腳本是個很好的例子。功能有:
- hostname : 顯示一些列唯一主機名
- find_proxies:檢測web代理
- search_terms:查找並計算在搜索服務中輸入搜索詞
- content_analysis:查找包含特定關鍵字的URI
- xml_output:以xml格式輸出
- log_summary:生成日誌摘要
- db_dump:將日誌轉存到mysql數據庫中
在使用這些腳本前,先使用’-o‘選項運行一段時間。一旦得到輸出,運行這些腳本分析:
1 2 | $ cd httpry/scripts $ perl parse_log.pl -d ./plugins <httpry-output-file> |
parse_log.pl執行完後,會在httpry/scripts目錄下生成一些分析結果文件(*.txt/xml)。例如,log_summary.txt看起來像下面這樣:
linux 下如何抓取HTTP流量包(httpry)