curl抓取頁面時遇到重定向的解決方法
阿新 • • 發佈:2019-01-25
用php的curl抓取網頁遇到了問題,為闡述方便,將程式碼簡化如下:
- function curlGet($url) {
- $ch = curl_init();
- curl_setopt($ch, CURLOPT_URL, $url);
- curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
- curl_setopt($ch, CURLOPT_HEADER, true);
- return curl_exec($ch);
- }
- $url = 'http://144go.com';
- echo curlGet($url), "\n"
執行上述程式碼,得到的結果:
- HTTP/1.1 301 Moved Permanently
- Content-Length: 144
- Content-Type: text/html
- Location: http://www.144go.com/
- Server: Microsoft-IIS/6.0
- X-Powered-By: ASP.NET
- Date: Mon, 03 Sep 2012 04:25:22 GMT
- <head><title>Document Moved</title></head
- <body><h1>Object Moved</h1>This document may be found <a HREF="http://www.144go.com/">here</a></body>
Location: http://www.144go.com/
可知http://144go.com被重定向到了http://www.144go.com/
怎麼辦呢,要用正則分析出Location部分的連結,重複執行執行curlGet嗎?行到是行,就是有點麻煩。
其實只要加一條語就可以了:
- function curlGet($url) {
- $ch = curl_init();
- curl_setopt($ch, CURLOPT_URL, $url);
- curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
- curl_setopt($ch, CURLOPT_HEADER, true);
- //函式中加入下面這條語句
- curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
- return curl_exec($ch);
- }
CURLOPT_FOLLOWLOCATION指明:
讓curl遞迴的抓取http頭中Location中指明的url。
當抓取次數超過CURLOPT_MAXREDIRS時,遞迴將終止。
在抓取中任何跳轉帶來的問題,都可通過設定此引數解決。