1. 程式人生 > >wget 爬蟲工具 遞迴下載網址

wget 爬蟲工具 遞迴下載網址

wget -r -l 3 -p -np -k  xxx.com/xxx

不可以寫 http

wget加上引數之後,即可成為相當強大的下載工具。
wget命令詳解
wget -r -l 3 -p -np -k http://xxx.com/xxx
-r, --recursive(遞迴) specify recursive download.(指定遞迴下載)
-k, --convert-links(轉換連結) 
make links in downloaded HTML point to local files.
(將下載的HTML頁面中的連結轉換為相對連結即本地連結)
-p, --page-requisites
(頁面必需元素) get all images, etc. needed to display HTML page.(下載所有的圖片等頁面顯示所需的內容) -np, --no-parent(不追溯至父級) don't ascend to the parent directory. -l 遞迴下載的層數 否則會把整個網路下載下來