因為國外網站訪問速度和被牆的原因，總是不能很愉快的找文件，這時候離線下來是個好的選擇，這裡選擇使用wget這個指令。

-mirror是wget下的很強的引數，意為映象，適合用來爬站。

1、wget -mirror -p -convert-links URL

-convert-links 會把下載的網頁轉換成本地的連結，如果不加入這個引數，頁面中的連結不能指向本地的網頁，所以必加，-p會把網頁所需要的資源一起爬下來，比如圖片，聲音，css，但是外鏈資源不會被爬下來，這個問題做著如下說：

Note that Wget will behave as if -r had been specified, but only
that single page and its requisites will be downloaded.  Links from
that page to external documents will not be followed.  Actually, to
download a single page and all its requisites (even if they exist
 on separate websites), and make sure the lot displays properly
 locally, this author likes to use a few options in addition to -p:

wget -E -H -k -K -p http://<site>/<document>

2、不過使用第一個指令會出現一個問題，比如說要爬的文件是網站的某個子目錄，比如說：http://xxx.com/xxx/doc.html,如果這個時候用-mirro這個指令的話它會從頭爬到尾，把整個站都原原本本的爬下來，這個是不需要的，所以要加上-np這個指令，意為不爬上層目錄，這樣你指定哪個連結他就從哪個連結開始下載，遇到返回上層目錄的情況就不下載。

3、對於網站特別大的那種，而且網路部是特別好的情況下，一次請求連結可能不成功，需要多次請求，但是一次失敗等待900秒，很長，我一般會加上這個指令 -T 5 -t 20 ，意為5秒再嘗試，20次嘗試次數，可以酌情調整。

4、爬站時會出現403 forbidden，原因是沒有請求頭，我是這麼搞得。

右邊的user-agent就是請求頭了，直接賦值就可以了，閒麻煩可以直接用下面這個，增加請求頭的指令-U

wget -U 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:48.0) Gecko/20100101 Firefox/48.0'

5、有些網站需要登入才能檢視資訊，這個時候需要cookies,下面這幾個必加。

-cookies=on

--keep-session-cookies

--load-cookies=cookies.txt

--save-cookies=cookies.txt

匯出cookies我是在firefox遊覽器下裝export cookies外掛匯出的，載入的時候，比如說我在/home/user/document/下執行wget指令，那就把cookies.txt放到/home/user/document/下就可以載入到這個cookies.txt了。

6、中文站爬下來的時候會轉義形成亂碼，加上指令-restrict-file-names=nocontrol

差不多用到這些就夠了，爬一個文件的完整指令應該如下：

wget  -mirror  -p -np -convert-links -mirror -cookies=on --keep-session-cookies --load-cookies=cookies.txt  --save-cookies=cookies.txt --restrict-file-names=nocontrol  -U 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:48.0) Gecko/20100101 Firefox/48.0' -T 5  -t 20 URL

可根據自己的需求自己修改，並不一定要按部就班。

最後，-O這個指令可以輸出到管道，有了管道cat、grep、awk就隨便你了，不再贅述。