Linux之14——curl命令詳解
linux curl是通過url語法在命令列下上傳或下載檔案的工具軟體，它支援http,https,ftp,ftps,telnet等多種協議，常被用來抓取網頁和監控Web伺服器狀態。
語法：# curl [option] [url]
常見引數：
用引數
| 引數 | 描述 |
|---|---|
| -I/--head | 只顯示傳輸文件，經常用於測試連線本身 |
| -o/--output | 把輸出寫到該檔案中，必須輸入儲存檔名 |
| -O/--remote-name | 把輸出寫到該檔案中，保留遠端檔案的檔名 |
| -F/--form | 模擬表單提交 |
| -s/--silent | 靜默模式，不輸出任何東西 |
| -S/--show-error | 顯示錯誤，在選項 -s 中，當 curl 出現錯誤時將顯示 |
| -L/--location | 跟蹤重定向 |
| -f/--fail | 不輸出錯誤 |
| -n/--netrc | 從netrc檔案中讀取使用者名稱和密碼 |
| --netrc-optional | 使用 .netrc 或者 URL來覆蓋-n |
| --ntlm | 使用 HTTP NTLM 身份驗證 |
| -N/--no-buffer | 禁用緩衝輸出 |
| -p/--proxytunnel | 使用HTTP代理 |
| --proxy-anyauth | 選擇任一代理身份驗證方法 |
| --proxy-basic | 在代理上使用基本身份驗證 |
| --proxy-digest | 在代理上使用數字身份驗證 |
| --proxy-ntlm | 在代理上使用ntlm身份驗證 |
| -P/--ftp-port | 使用埠地址，而不是使用PASV |
| -M/--manual | 顯示全手動 |
| -Q/--quote | 檔案傳輸前，傳送命令到伺服器 |
| -r/--range | 檢索來自HTTP/1.1或FTP伺服器位元組範圍 |
| --range-file | 讀取（SSL）的隨機檔案 |
| -R/--remote-time | 在本地生成檔案時，保留遠端檔案時間 |
| --retry | 傳輸出現問題時，重試的次數 |
| --retry-delay | 傳輸出現問題時，設定重試間隔時間 |
| --retry-max-time | 傳輸出現問題時，設定最大重試時間 |
| --socks4 | 用socks4代理給定主機和埠 |
| --socks5 | 用socks5代理給定主機和埠 |
| -t/--telnet-option | Telnet選項設定 |
| --trace | 對指定檔案進行debug |
| --trace-ascii Like | 跟蹤但沒有hex輸出 |
| --trace-time 跟蹤/ | 詳細輸出時，新增時間戳 |
| -T/--upload-file | 上傳檔案 |
| -u/--user | 設定伺服器的使用者和密碼 |
| -U/--proxy-user | 設定代理使用者名稱和密碼 |
| -V/--version | 顯示版本資訊 |
| -w/--write-out [format] | 什麼輸出完成後 |
| -x/--proxy | 在給定的埠上使用HTTP代理 |
| -X/--request | 指定什麼命令 |
| -y/--speed-time | 放棄限速所要的時間。預設為30 |
| -Y/--speed-limit | 停止傳輸速度的限制，速度時間'秒 |
| -z/--time-cond | 傳送時間設定 |
| -0/--http1.0 | 使用HTTP 1.0 |
| -1/--tlsv1 | 使用TLSv1（SSL） |
| -2/--sslv2 | 使用SSLv2的（SSL） |
| -3/--sslv3 | 使用的SSLv3（SSL） |
| --3p-quote | like -Q for the source URL for 3rd party transfer |
| --3p-url | 使用url，進行第三方傳送 |
| --3p-user | 使用使用者名稱和密碼，進行第三方傳送 |
| -4/--ipv4 | 使用IP4 |
| -6/--ipv6 | 使用IP6 |
| -#/--progress-bar | 用進度條顯示當前的傳送狀態 |
常用引數分類
# 除錯類
-v, --verbose 輸出資訊
-q, --disable 在第一個引數位置設定後 .curlrc 的設定直接失效，這個引數會影響到 -K, --config -A, --user-agent -e, --referer
-K, --config FILE 指定配置檔案
-L, --location 跟蹤重定向 (H)
# CLI顯示設定
-s, --silent Silent模式。不輸出任務內容
-S, --show-error 顯示錯誤. 在選項 -s 中，當 curl 出現錯誤時將顯示
-f, --fail 不顯示 連線失敗時HTTP錯誤資訊
-i, --include 顯示 response的header (H/F)
-I, --head 僅顯示 響應文件頭
-l, --list-only 只列出FTP目錄的名稱 (F)
-#, --progress-bar 以進度條 顯示傳輸進度
# 資料傳輸類
-X, --request [GET|POST|PUT|DELETE|…] 使用指定的 http method 例如 -X POST
-H, --header <header> 設定 request裡的header 例如 -H "Content-Type: application/json"
-e, --referer 設定 referer (H)
-d, --data <data> 設定 http body 預設使用 content-type application/x-www-form-urlencoded (H)
--data-raw <data> ASCII 編碼 HTTP POST 資料 (H)
--data-binary <data> binary 編碼 HTTP POST 資料 (H)
--data-urlencode <data> url 編碼 HTTP POST 資料 (H)
-G, --get 使用 HTTP GET 方法傳送 -d 資料 (H)
-F, --form <name=string> 模擬 HTTP 表單資料提交 multipart POST (H)
--form-string <name=string> 模擬 HTTP 表單資料提交 (H)
-u, --user <user:password> 使用帳戶，密碼 例如 admin:password
-b, --cookie <data> cookie 檔案 (H)
-j, --junk-session-cookies 讀取檔案中但忽略會話cookie (H)
-A, --user-agent user-agent設定 (H)
# 傳輸設定
-C, --continue-at OFFSET 斷點續轉
-x, --proxy [PROTOCOL://]HOST[:PORT] 在指定的埠上使用代理
-U, --proxy-user USER[:PASSWORD] 代理使用者名稱及密碼
# 檔案操作
-T, --upload-file <file> 上傳檔案
-a, --append 新增要上傳的檔案 (F/SFTP)
# 輸出設定
-o, --output <file> 將輸出寫入檔案，而非 stdout
-O, --remote-name 將輸出寫入遠端檔案
-D, --dump-header <file> 將頭資訊寫入指定的檔案
-c, --cookie-jar <file> 操作結束後，要寫入 Cookies 的檔案位置
一、Linux curl用法舉例：
1. linux curl抓取網頁：
抓取百度：
curl http://www.baidu.com //預設為get請求
如發現亂碼，可以使用iconv轉碼
curl http://iframe.ip138.com/ic.asp|iconv -fgb2312
2. Linux curl使用代理：
linux curl使用http代理抓取頁面：
curl -x 111.95.243.36:80 http://iframe.ip138.com/ic.asp|iconv -fgb2312
curl -x 111.95.243.36:80 -U aiezu:password http://www.baidu.com
使用socks代理抓取頁面：
curl --socks4 202.113.65.229:443 http://iframe.ip138.com/ic.asp|iconv -fgb2312
curl --socks5 202.113.65.229:443 http://iframe.ip138.com/ic.asp|iconv -fgb2312
代理伺服器地址可以從爬蟲代理上獲取。
3. linux curl處理cookies
接收cookies:
curl -c /tmp/cookies http://www.baidu.com #cookies儲存到/tmp/cookies檔案
傳送cookies:
curl -b "key1=val1;key2=val2;" http://www.baidu.com #傳送cookies文字
curl -b /tmp/cookies http://www.baidu.com #從檔案中讀取cookies
4. linux curl傳送資料：
linux curl get方式提交資料：
curl -G -d "name=value&name2=value2" http://www.baidu.com
linux curl post方式提交資料：
curl -d "name=value&name2=value2" http://www.baidu.com #post資料
curl -d a=b&c=d&txt@/tmp/txt http://www.baidu.com #post檔案
以表單的方式上傳檔案：
curl -F file=@/tmp/me.txt http://www.aiezu.com
相當於設定form表單的method="POST"和enctype='multipart/form-data'兩個屬性。
5. linux curl http header處理：
設定http請求頭資訊：
curl -A "Mozilla/5.0 Firefox/21.0" http://www.baidu.com #設定http請求頭User-Agent
curl -e "http://pachong.org/" http://www.baidu.com #設定http請求頭Referer
curl -H "Connection:keep-alive \n User-Agent: Mozilla/5.0" http://www.aiezu.com
設定http響應頭處理：
curl -I http://www.aiezu.com #僅僅返回header
curl -D /tmp/header http://www.aiezu.com #將http header儲存到/tmp/header檔案
6. linux curl認證：
curl -u aiezu:password http://www.aiezu.com #使用者名稱密碼認證
curl -E mycert.pem https://www.baidu.com #採用證書認證
6. 其他：
curl -# http://www.baidu.com #以“#”號輸出進度條
curl -o /tmp/aiezu http://www.baidu.com #儲存http響應到/tmp/aiezu
linux 使用curl小經驗教訓：
http請求地址的url要使用""括起來。當有存在多個引數使用&連線時可能會出錯。