2. 程式人生 > >一天一個命令之--curl

一天一個命令之--curl

阿新 • • 發佈：2018-12-09

用途說明

curl命令是一個功能強大的網路工具，它能夠通過http、ftp等方式下載檔案，也能夠上傳檔案。其實curl遠不止前面所說的那些功能，大家可以通過man curl閱讀手冊頁獲取更多的資訊。類似的工具還有wget。

curl命令使用了libcurl庫來實現，libcurl庫常用在C程式中用來處理HTTP請求，curlpp是libcurl的一個C++封裝，這幾個東西可以用在抓取網頁、網路監控等方面的開發，而curl命令可以幫助來解決開發過程中遇到的問題。

常用引數

curl命令引數很多，這裡只列出我曾經用過、特別是在shell指令碼中用到過的那些。

-A:隨意指定自己這次訪問所宣稱的自己的瀏覽器資訊

-b/--cookie <name=string/file> cookie字串或檔案讀取位置，使用option來把上次的cookie資訊追加到http request裡面去。

-c/--cookie-jar <file> 操作結束後把cookie寫入到這個檔案中

-C/--continue-at <offset>  斷點續轉

-d/--data <data>   HTTP POST方式傳送資料

-D/--dump-header <file> 把header資訊寫入到該檔案中

-F/--form <name=content> 模擬http表單提交資料

-v/--verbose 小寫的v引數，用於列印更多資訊，包括髮送的請求資訊，這在除錯指令碼是特別有用。

-m/--max-time <seconds> 指定處理的最大時長

-H/--header <header> 指定請求頭引數

-s/--slient 減少輸出的資訊，比如進度

--connect-timeout <seconds> 指定嘗試連線的最大時長

-x/--proxy <proxyhost[:port]> 指定代理伺服器地址和埠，埠預設為1080

-T/--upload-file <file> 指定上傳檔案路徑

-o/--output <file> 指定輸出檔名稱

--retry <num> 指定重試次數

-e/--referer <URL> 指定引用地址

-I/--head 僅返回頭部資訊，使用HEAD請求

-u/--user <user[:password]>設定伺服器的使用者和密碼

-O:按照伺服器上的檔名，自動存在本地

-r/--range <range>檢索來自HTTP/1.1或FTP伺服器位元組範圍

-T/--upload-file <file> 上傳檔案

使用示例

1，抓取頁面內容到一個檔案中

　　[[email protected] mytest]# curl -o home.html http://www.baidu.com   --將百度首頁內容抓下到home.html中

　　   [[email protected] mytest]#curl -o #2_#1.jpghttp://cgi2.tky.3web.ne.jp/~{A,B}/[001-201].JPG

           由於A/B下的檔名都是001，002...，201，下載下來的檔案重名，這樣，自定義出來下載下來的檔名，就變成了這樣：原來： A/001.JPG —-> 下載後： 001-A.JPG 原來： B/001.JPG ---> 下載後： 001-B.JPG

 

2，用-O（大寫的），後面的url要具體到某個檔案，不然抓不下來。還可以用正則來抓取東西

　　[[email protected] mytest]# curl -O http://www.baidu.com/img/bdlogo.gif

         執行結果如下：

        % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                                                   Dload  Upload   Total   Spent    Left  Speed
       100  1575  100  1575    0     0  14940      0 --:--:-- --:--:-- --:--:-- 1538k

          會在當前執行目錄中生成一張bdlogo.gif的圖片。

　　[[email protected] mytest]# curl -O http://XXXXX/screen[1-10].JPG  --下載screen1.jpg~screen10.jpg

3，模擬表單資訊，模擬登入，儲存cookie資訊

　　[[email protected] mytest]# curl -c ./cookie_c.txt -F log=aaaa -F pwd=******http://www.XXXX.com/wp-login.php

4，模擬表單資訊，模擬登入，儲存頭資訊

　　[[email protected] mytest]# curl -D ./cookie_D.txt -F log=aaaa -F pwd=******http://www.XXXX.com/wp-login.php

　　-c(小寫)產生的cookie和-D裡面的cookie是不一樣的。

5，使用cookie檔案

　　[[email protected] mytest]# curl -b ./cookie_c.txt http://www.XXXX.com/wp-admin

6，斷點續傳，-C(大寫)

　　[[email protected] mytest]# curl -C -O http://www.baidu.com/img/bdlogo.gif

7，傳送資料,最好用登入頁面測試，因為你傳值過去後，curl回抓資料，你可以看到你傳值有沒有成功

　　[[email protected] mytest]# curl -d log=aaaa http://www.XXXX.com/wp-login.php

8，顯示抓取錯誤，下面這個例子，很清楚的表明了。

　　[[email protected] mytest]# curl -fhttp://www.XXXX.com/asdf

　　curl: (22) The requested URL returned error: 404

　　[[email protected] mytest]# curlhttp://www.XXXX.com/asdf

　　<HTML><HEAD><TITLE>404,not found</TITLE>

9，偽造來源地址，有的網站會判斷，請求來源地址，防止盜鏈。

　　[[email protected] mytest]# curl -ehttp://localhosthttp://www.XXXX.com/wp-login.php

10，當我們經常用curl去搞人家東西的時候，人家會把你的IP給遮蔽掉的,這個時候,我們可以用代理

　　[[email protected] mytest]# curl -x 24.10.28.84:32779 -o home.htmlhttp://www.XXXX.com

11，比較大的東西，我們可以分段下載

　　[[email protected] mytest]# curl -r 0-100 -o img.part1http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　100   101  100   101    0     0    105      0 --:--:-- --:--:-- --:--:--     0

　　[[email protected] mytest]# curl -r 100-200 -o img.part2http://www.XXXX.com/wp-ontent/uploads/2010/09/compare_varnish.jpg

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　100   101  100   101    0     0     57      0  0:00:01  0:00:01 --:--:--     0

　　[[email protected] mytest]# curl -r 200- -o img.part3http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　100  104k  100  104k    0     0  52793      0  0:00:02  0:00:02 --:--:-- 88961

　　[[email protected] mytest]# ls |grep part | xargs du -sh

　　4.0K    one.part1

　　112K    three.part3

　　4.0K    two.part2

　　用的時候，把他們cat一下就OK,cat img.part* >img.jpg

12，不會顯示下載進度資訊

　　[[email protected] mytest]# curl -s -o aaa.jpg http://www.baidu.com/img/bdlogo.gif

13，顯示下載進度條

　　[[email protected] mytest]# curl  -0 http://www.baidu.com/img/bdlogo.gif     (以http1.0協議請求)

####################################################################### 100.0%

14,通過ftp下載檔案

　　[[email protected] ~]$ curl -u使用者名稱:密碼 -Ohttp://www.XXXX.com/demo/curtain/bbstudy_files/style.css

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　101  1934  101  1934    0     0   3184      0 --:--:-- --:--:-- --:--:--  7136

　　[[email protected] ~]$ curl -u 使用者名稱:密碼 -O http://www.XXXX.com/demo/curtain/bbstudy_files/style.css

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　101  1934  101  1934    0     0   3184      0 --:--:-- --:--:-- --:--:--  7136

　　或者用下面的方式

　　[[email protected] ~]$ curl -O ftp://使用者名稱:密碼@ip:port/demo/curtain/bbstudy_files/style.css

　　[[email protected] ~]$ curl -O ftp://使用者名稱:密碼@ip:port/demo/curtain/bbstudy_files/style.css

　　15，通過ftp上傳

　　[[email protected] ~]$ curl -T test.sql ftp://使用者名稱:密碼@ip:port/demo/curtain/bbstudy_files/

　　[[email protected] ~]$ curl -T test.sql ftp://使用者名稱:密碼@ip:port/demo/curtain/bbstudy_files/

 

15,模擬瀏覽器頭

 

　　[[email protected] ~]$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txthttp://www.www.baidu.com

16,PUT、GET、POST

比如 curl -T localfile http://cgi2.tky.3web.ne.jp/~zz/abc.cgi，這時候，使用的協議是HTTP的PUT method
剛才說到PUT，自然想起來了其他幾種methos－－GET和POST。
http提交一個表單，比較常用的是POST模式和GET模式
GET模式什麼option都不用，只需要把變數寫在url裡面就可以了
比如：
curl http://www.yahoo.com/login.cgi?user=nick&password=12345
而POST模式的option則是 -d
比如，curl -d "user=nick&password=12345" http://www.yahoo.com/login.cgi
就相當於向這個站點發出一次登陸申請~~~~~
到底該用GET模式還是POST模式，要看對面伺服器的程式設定。
一點需要注意的是，POST模式下的檔案上的檔案上傳，比如
<form method="POST" enctype="multipar/form-data" action="http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi">
<input type=file name=upload>
<input type=submit name=nick value="go">
</form>
這樣一個HTTP表單，我們要用curl進行模擬，就該是這樣的語法：
curl -F [email protected] -F nick=go http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi

相關推薦

一天一個命令之--curl

用途說明 curl命令是一個功能強大的網路工具，它能夠通過http、ftp等方式下載檔案，也能夠上傳檔案。其實curl遠不止前面所說的那些功能，大家可以通過man curl閱讀手冊頁獲取更多的資訊。類似的工具還有wget。 curl命令使用了libcurl庫來實現，libcurl庫常用在C程

一天一個命令之--vimdiff!

vimdiff的常用命令 http://www.ibm.com/developerworks/cn/linux/l-vimdiff/  http://hi.baidu.com/_jg_/blog/item/ff62e6d5d9ecf315a08bb77c.html 

一天一個命令之-tcpdump

tcpdump是一個用來抓包的命令。老哥也是在無意間發現，自己的機器被別人攻擊了！ 1、抓取所有經過網絡卡1，目的地為172.18.253.199的包。 [[email protected] ~]# tcpdump -i ens33 host 172.18.253.199 2

一天一個命令之-systemctl

systemd 是 Linux 下的一款系統和服務管理器，相容 SysV 和 LSB 的啟動指令碼。systemd 的特性有：支援並行化任務；同時採用 socket 式與 D-Bus 匯流排式啟用服務；按需啟動守護程序（daemon）；利用 Linux 的 cgroups 監視程序；支援快照和系統恢

一天一個命令之--Linux組（groupmod、groupadd）

Linux組的內容比較少，一塊兒總結了吧！ 一、組檔案詳細說明。 /etc/group檔案包含系統上用到的每個組的資訊: root:x:0:root test:x:504: 可以看到該檔案有四個欄位： 1、組名 2、組密碼 3、GID 4、屬於該組的使用者列表。這個欄

一天一個命令之--usermod

usermod命令是使用者賬戶修改中最強大的一個。它能夠修改/etc/passwd檔案中的大部分欄位，只需用與想修改的對應的命令列引數就可以了。引數大部分跟useradd命令的引數一樣。下面將為大家一個一個講解： 1、-c 給使用者新增備註資訊 [[email protected]

一天一個命令之---sysctl

sysctl,這個命令是用來動態修改系統引數的。 sysctl  命令 sysctl命令被用於在核心執行時動態地修改核心的執行引數，可用的核心引數在目錄/proc/sys中。 它包含一些TCP/ip堆疊和虛擬記憶體系統的高階選項，這可以讓有經驗的管理員提高引人注目的系統性能。用

linux一天一個命令

一. 檔案目錄操作命令： ls -l 顯示更多資訊ls -tl 根據時間降序顯示 -r則逆序ls -R列出所有子目錄層ls顯示顏色  在/etc/bashrc, 加入:alias ls="ls --c

一天一個運維命令

tsar sar是淘寶自己開發的一個採集工具（類似於sar工具），主要用來收集伺服器的系統資訊（如cpu，io，mem，tcp等），以及應用資料（如squid haproxy nginx等）。 收集到的資料儲存在磁碟上，可以隨時查詢歷史資訊，輸出方式靈活多樣，另外支援將資料儲存到mysql中，也可以將

【一天一個知識點系列】- Redis Cluser之資料分佈

# 資料分佈 ## 簡述 + 分散式資料庫首先要解決把整個資料集按照分割槽規則對映到多個節點的問題，即把資料集劃分到多個節點上，每個節點負責整體資料的一個子集 ## 分割槽及限制 ### 分割槽規則 + 常見的分割槽規則 + 順序分割槽 + 雜湊分割槽，`Redis Cluser`使用此種分割槽規則 >

【一天一個基礎系列】- java之泛型篇

### 簡介 + 說起各種高階語言，不得不談泛型，當我們在使用java集合的時候，會發現集合有個缺點：把一個物件“丟進”集合之後，集合就會“忘記”這個物件的資料型別，當再次取出該物件時，改物件的編譯型別就變成了`Object`型別 + 問題1：集合對元素型別沒有任何限制，這樣可能會引發一些問題，比如建立一個

linux一天一個腳印：進程的管理

linux基礎命令進程進程： 運行在內存中程序實例 , 進程是程序運行的一種狀態 , 是內存中的概念，進程與進程之間無法訪問對方私有的內存區域。線程： 程序運行的最小單元，一個進程可以派生出多個線程，同一個進程內的線程之間可以相互訪問彼此內存區域，並且可以共享同一進程的共享內存區域。進程編號：pid父進程編號

一天一個設計模式(五) - 適配器模式(Adapter)

p s func 靈活性 nsh ans target 多線程 isp pattern 前言 適配器模式把一個類的接口變換成客戶端所期待的另一種接口，從而使原本因接口不匹配而無法在一起工作的兩個類能夠在一起工作。 適配器模式的用途 最經典的就是電器的例子，筆記本電腦的插

一天一個設計模式(四) - 原型模式(Prototype)

管理員 ans rip prototype register 性能 除了 func comm 前言 原型模式屬於對象的創建模式。通過給出一個原型對象來指明所有創建的對象的類型，然後用這個原型對象提供的復制辦法創建出更多同類型的對象。 原型模式的結構 原型模式要求對象實現

一天一個設計模式(一) - 總體概述

享元 關註 責任鏈 分布式 分享圖片 模板方法 mage upload 抽象工廠 前言 最近在對設計模式進行了一系列總結，本文將給大家關於設計模式的一個整體的介紹。 正文 1. 定義 設計模式是某類特定問題的代碼設計解決方案，是一套代碼設計的經驗總結。 2. 作用 提高

一天一個設計模式：介面卡模式

概念： 　　介面卡模式是把一個類的介面變成客戶端所期待的另一種介面，從而使原本因介面不匹配而無法在一起工作的兩個類能夠在一起工作。 用途： 　　就像插頭轉換器，之前入了switch港版，插頭是英式的，還好附贈一個插頭轉換器，介面卡就相當於這個轉換器。 種類： 　　分為類的介面卡與物件的介面卡兩種

一天一個小演算法(02.二叉樹的層序遍歷)

import java.util.LinkedList; import com.alibaba.fastjson.JSONObject; public class BinaryNode {          private Ob

一天一個小演算法(01 紅包演算法)

/**  * 紅包演算法  * @author admin  *  */ public class RedPacket {          //最新金額     p

一天一個包——今日份Chalk

終端著色工具包 chalk 是一個可以給終端輸出加上色彩的工具包，有了它，你的終端將變得五顏六色，花哨的一匹 :grin:。 GitHub 地址： https://github.com/chalk/chalk 使用起來也非常方便，常規操作 npm 安裝 node 包

一天一句LINUX 之 tail -f filenamey

在伺服器部署時，我們經常把專案日誌輸出到一個檔案中，那麼怎麼方便地檢視該日誌檔案的內容呢？ tail 這個命令可以很好的幫助我們。 只想檢視最後幾句的時候使用 tail -n number filename 比如 tail -n 20 my.log 列印該日