指令：curl
在linux中curl是一個利用URL規則在命令列下工作的檔案傳輸工具，可以說是一款很強大的http命令列工具。它支援檔案的上傳和下載，是綜合傳輸工具，但按傳統，習慣稱url為下載工具。

工作原理：curl命令使用了libcurl庫來實現，libcurl庫常用在C程式中用來處理HTTP請求，curlpp是libcurl的一個C++封裝，這幾個東西可以用在抓取網頁、網路監控等方面的開發，而curl命令可以幫助來解決開發過程中遇到的問題。

語法：# curl [option] [url]


常見引數：

-A/--user-agent <string>        設定使用者代理髮送給伺服器
-b/--cookie <name=string/file>  cookie字串或檔案讀取位置
-c/--cookie-jar <file>          操作結束後把cookie寫入到這個檔案中
-C/--continue-at <offset>       斷點續轉
-D/--dump-header <file>         把header資訊寫入到該檔案中
-e/--referer                    來源網址
-f/--fail                       連線失敗時不顯示http錯誤
-o/--output                     把輸出寫到該檔案中
-O/--remote-name                把輸出寫到該檔案中，保留遠端檔案的檔名
-r/--range <range>              檢索來自HTTP/1.1或FTP伺服器位元組範圍
-s/--silent                     靜音模式。不輸出任何東西
-T/--upload-file <file>         上傳檔案
-u/--user <user[:password]>     設定伺服器的使用者和密碼
-w/--write-out [format]         什麼輸出完成後
-x/--proxy <host[:port]>        在給定的埠上使用HTTP代理
-#/--progress-bar               用進度條顯示當前的傳送狀態
 

例子：
1、基本用法
# curl http://www.doiido.com
執行後，www.doiido.com 的html就會顯示在螢幕上了
Ps：由於安裝linux的時候很多時候是沒有安裝桌面的，也意味著沒有瀏覽器，因此這個方法也經常用於測試一臺伺服器是否可以到達一個網站


2、儲存訪問的網頁
2.1:使用linux的重定向功能儲存
# curl http://www.doiido.com >> doiido.html

2.2:可以使用curl的內建option:-o(小寫)儲存網頁
$ curl -o doiido.html http://www.doiido.com
執行完成後會顯示如下介面，顯示100%則表示儲存成功

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 79684    0 79684    0     0  3437k      0 --:--:-- --:--:-- --:--:-- 7781k
 

2.3:可以使用curl的內建option:-O(大寫)儲存網頁中的檔案
要注意這裡後面的url要具體到某個檔案，不然抓不下來
# curl -O http://www.doiido.com/hello.sh


3、測試網頁返回值
# curl -o /dev/null -s -w %{http_code} www.doiido.com
Ps:在指令碼中，這是很常見的測試網站是否正常的用法


4、指定proxy伺服器以及其埠
很多時候上網需要用到代理伺服器(比如是使用代理伺服器上網或者因為使用curl別人網站而被別人遮蔽IP地址的時候)，幸運的是curl通過使用內建option：-x來支援設定代理
# curl -x 192.168.100.100:1080 http://www.doiido.com


5、cookie
有些網站是使用cookie來記錄session資訊。對於chrome這樣的瀏覽器，可以輕易處理cookie資訊，但在curl中只要增加相關引數也是可以很容易的處理cookie
5.1:儲存http的response裡面的cookie資訊。內建option:-c（小寫）
# curl -c cookiec.txt  http://www.doiido.com
執行後cookie資訊就被存到了cookiec.txt裡面了
5.2:儲存http的response裡面的header資訊。內建option: -D
# curl -D cookied.txt http://www.doiido.com
執行後cookie資訊就被存到了cookied.txt裡面了

注意：-c(小寫)產生的cookie和-D裡面的cookie是不一樣的。

5.3:使用cookie
    很多網站都是通過監視你的cookie資訊來判斷你是否按規矩訪問他們的網站的，因此我們需要使用儲存的cookie資訊。內建option: -b
# curl -b cookiec.txt http://www.doiido.com


6、模仿瀏覽器
    有些網站需要使用特定的瀏覽器去訪問他們，有些還需要使用某些特定的版本。curl內建option:-A可以讓我們指定瀏覽器去訪問網站
# curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.doiido.com
這樣伺服器端就會認為是使用IE8.0去訪問的


7、偽造referer（盜鏈）
    很多伺服器會檢查http訪問的referer從而來控制訪問。
    比如：你是先訪問首頁，然後再訪問首頁中的郵箱頁面，這裡訪問郵箱的referer地址就是訪問首頁成功後的頁面地址，如果伺服器發現對郵箱頁面訪問的referer地址不是首頁的地址，就斷定那是個盜連了
curl中內建option：-e可以讓我們設定referer
# curl -e "www.doiido.com" http://mail.doiido.com
這樣就會讓伺服器其以為你是從www.doiido.com點選某個連結過來的


8、下載檔案
8.1：利用curl下載檔案。
#使用內建option：-o(小寫)
# curl -o dodo1.jpg http:www.doiido.com/dodo1.JPG

#使用內建option：-O（大寫)
# curl -O http://www.doiido.com/dodo1.JPG
這樣就會以伺服器上的名稱儲存檔案到本地


8.2：迴圈下載
有時候下載圖片可以能是前面的部分名稱是一樣的，就最後的尾椎名不一樣
# curl -O http://www.doiido.com/dodo[1-5].JPG
這樣就會把dodo1，dodo2，dodo3，dodo4，dodo5全部儲存下來


8.3：下載重新命名
# curl -O http://www.doiido.com/{hello,bb}/dodo[1-5].JPG
由於下載的hello與bb中的檔名都是dodo1，dodo2，dodo3，dodo4，dodo5。因此第二次下載的會把第一次下載的覆蓋，這樣就需要對檔案進行重新命名。
# curl -o #1_#2.JPG http://www.doiido.com/{hello,bb}/dodo[1-5].JPG
這樣在hello/dodo1.JPG的檔案下載下來就會變成hello_dodo1.JPG,其他檔案依此類推，從而有效的避免了檔案被覆蓋


8.4：分塊下載
有時候下載的東西會比較大，這個時候我們可以分段下載。使用內建option：-r
# curl -r 0-100 -o dodo1_part1.JPG http://www.doiido.com/dodo1.JPG
# curl -r 100-200 -o dodo1_part2.JPG http://www.doiido.com/dodo1.JPG
# curl -r 200- -o dodo1_part3.JPG http://www.doiido.com/dodo1.JPG
# cat dodo1_part* > dodo1.JPG
這樣就可以檢視dodo1.JPG的內容了


8.5：通過ftp下載檔案
curl可以通過ftp下載檔案，curl提供兩種從ftp中下載的語法
# curl -O -u 使用者名稱:密碼 ftp://www.doiido.com/dodo1.JPG
# curl -O ftp://使用者名稱:密碼@www.doiido.com/dodo1.JPG


8.6：顯示下載進度條
# curl -# -O http://www.doiido.com/dodo1.JPG


8.7：不會顯示下載進度資訊
# curl -s -O http://www.doiido.com/dodo1.JPG


9、斷點續傳
在windows中，我們可以使用迅雷這樣的軟體進行斷點續傳。curl可以通過內建option:-C同樣可以達到相同的效果
如果在下載dodo1.JPG的過程中突然掉線了，可以使用以下的方式續傳
# curl -C -O http://www.doiido.com/dodo1.JPG


10、上傳檔案
curl不僅僅可以下載檔案，還可以上傳檔案。通過內建option:-T來實現
# curl -T dodo1.JPG -u 使用者名稱:密碼 ftp://www.doiido.com/img/
這樣就向ftp伺服器上傳了檔案dodo1.JPG


11、顯示抓取錯誤
# curl -f http://www.doiido.com/error


12、檢視響應頭資訊
# curl -l http://www.doiido.com
其他引數：

-a/--append                     上傳檔案時，附加到目標檔案
--anyauth                       可以使用“任何”身份驗證方法
--basic                         使用HTTP基本驗證
-B/--use-ascii                  使用ASCII文字傳輸
-d/--data <data>                HTTP POST方式傳送資料
--data-ascii <data>             以ascii的方式post資料
--data-binary <data>            以二進位制的方式post資料
--negotiate                     使用HTTP身份驗證
--digest                        使用數字身份驗證
--disable-eprt                  禁止使用EPRT或LPRT
--disable-epsv                  禁止使用EPSV
--egd-file <file>               為隨機資料(SSL)設定EGD socket路徑
--tcp-nodelay                   使用TCP_NODELAY選項
-E/--cert <cert[:passwd]>       客戶端證書檔案和密碼 (SSL)
--cert-type <type>              證書檔案型別 (DER/PEM/ENG) (SSL)
--key <key>                     私鑰檔名 (SSL)
--key-type <type>               私鑰檔案型別 (DER/PEM/ENG) (SSL)
--pass  <pass>                  私鑰密碼 (SSL)
--engine <eng>                  加密引擎使用 (SSL). "--engine list" for list
--cacert <file>                 CA證書 (SSL)
--capath <directory>            CA目錄 (made using c_rehash) to verify peer against (SSL)
--ciphers <list>                SSL密碼
--compressed                    要求返回是壓縮的形勢 (using deflate or gzip)
--connect-timeout <seconds>     設定最大請求時間
--create-dirs                   建立本地目錄的目錄層次結構
--crlf                          上傳是把LF轉變成CRLF
--ftp-create-dirs               如果遠端目錄不存在，建立遠端目錄
--ftp-method [multicwd/nocwd/singlecwd]     控制CWD的使用
--ftp-pasv                      使用 PASV/EPSV 代替埠
--ftp-skip-pasv-ip              使用PASV的時候,忽略該IP地址
--ftp-ssl                       嘗試用 SSL/TLS 來進行ftp資料傳輸
--ftp-ssl-reqd                  要求用 SSL/TLS 來進行ftp資料傳輸
-F/--form <name=content>        模擬http表單提交資料
-form-string <name=string>      模擬http表單提交資料
-g/--globoff                    禁用網址序列和範圍使用{}和[]
-G/--get                        以get的方式來發送資料
-h/--help                       幫助
-H/--header <line>              自定義頭資訊傳遞給伺服器
--ignore-content-length         忽略的HTTP頭資訊的長度 
-i/--include                    輸出時包括protocol頭資訊
-I/--head                       只顯示文件資訊
-j/--junk-session-cookies       讀取檔案時忽略session cookie
--interface <interface>         使用指定網路介面/地址
--krb4 <level>                  使用指定安全級別的krb4
-k/--insecure                   允許不使用證書到SSL站點
-K/--config                     指定的配置檔案讀取
-l/--list-only                  列出ftp目錄下的檔名稱
--limit-rate <rate>             設定傳輸速度
--local-port<NUM>               強制使用本地埠號
-m/--max-time <seconds>         設定最大傳輸時間
--max-redirs <num>              設定最大讀取的目錄數
--max-filesize <bytes>          設定最大下載的檔案總量
-M/--manual                     顯示全手動
-n/--netrc                      從netrc檔案中讀取使用者名稱和密碼
--netrc-optional                使用 .netrc 或者 URL來覆蓋-n
--ntlm                          使用 HTTP NTLM 身份驗證
-N/--no-buffer                  禁用緩衝輸出
-p/--proxytunnel                使用HTTP代理
--proxy-anyauth                 選擇任一代理身份驗證方法
--proxy-basic                   在代理上使用基本身份驗證
--proxy-digest                  在代理上使用數字身份驗證
--proxy-ntlm                    在代理上使用ntlm身份驗證
-P/--ftp-port <address>         使用埠地址，而不是使用PASV
-Q/--quote <cmd>                檔案傳輸前，傳送命令到伺服器
--range-file                    讀取（SSL）的隨機檔案
-R/--remote-time                在本地生成檔案時，保留遠端檔案時間
--retry <num>                   傳輸出現問題時，重試的次數
--retry-delay <seconds>         傳輸出現問題時，設定重試間隔時間
--retry-max-time <seconds>      傳輸出現問題時，設定最大重試時間
-S/--show-error                 顯示錯誤
--socks4 <host[:port]>          用socks4代理給定主機和埠
--socks5 <host[:port]>          用socks5代理給定主機和埠
-t/--telnet-option <OPT=val>    Telnet選項設定
--trace <file>                  對指定檔案進行debug
--trace-ascii <file>            Like --跟蹤但沒有hex輸出
--trace-time                    跟蹤/詳細輸出時，新增時間戳
--url <URL>                     Spet URL to work with
-U/--proxy-user <user[:password]>  設定代理使用者名稱和密碼
-V/--version                    顯示版本資訊
-X/--request <command>          指定什麼命令
-y/--speed-time                 放棄限速所要的時間。預設為30
-Y/--speed-limit                停止傳輸速度的限制，速度時間'秒
-z/--time-cond                  傳送時間設定
-0/--http1.0                    使用HTTP 1.0
-1/--tlsv1                      使用TLSv1（SSL）
-2/--sslv2                      使用SSLv2的（SSL）
-3/--sslv3                      使用的SSLv3（SSL）
--3p-quote                      like -Q for the source URL for 3rd party transfer
--3p-url                        使用url，進行第三方傳送
--3p-user                       使用使用者名稱和密碼，進行第三方傳送
-4/--ipv4                       使用IP4
-6/--ipv6                       使用IP6