一、Curl基本程式設計框架

curl是Linux下一個非常著名的下載庫，通過這個庫，可以很簡單的實現檔案的下載等操作。支援http, https, ftp, gopher, telnet, dict, file, 和ldap 協議。libcurl同樣支援HTTPS證書授權，HTTP POST, HTTP PUT, FTP 上傳, HTTP基本表單上傳，代理，cookies,和使用者認證。想要知道更多關於libcurl的介紹，可以到官網http://curl.haxx.se/上去了解。

五、libcurl使用的HTTP訊息頭
當使用libcurl傳送http請求時，它會自動新增一些http頭。我們可以通過CURLOPT_HTTPHEADER屬性手動替換、新增或刪除相應 的HTTP訊息頭。
Host
http1.1（大部分http1.0)版本都要求客戶端請求提供這個資訊頭。
Pragma
"no-cache"。表示不要緩衝資料。
Accept
"*/*"。表示允許接收任何型別的資料。
Expect
以POST的方式向HTTP伺服器提交請求時，libcurl會設定該訊息頭為"100-continue"，它要求伺服器在正式處理該請求之前，返回一 個"OK"訊息。如果POST的資料很小，libcurl可能不會設定該訊息頭。
自定義選項
當前越來越多的協議都構建在HTTP協議之上（如：soap），這主要歸功於HTTP的可靠性，以及被廣泛使用的代理支援（可以穿透大部分防火牆）。 這些協議的使用方式與傳統HTTP可能有很大的不同。對此，libcurl作了很好的支援。
自定義請求方式(CustomRequest)
HTTP支援GET, HEAD或者POST提交請求。可以設定CURLOPT_CUSTOMREQUEST來設定自定義的請求方式，libcurl預設以GET方式提交請求：
curl_easy_setopt(easy_handle, CURLOPT_CUSTOMREQUEST, "MYOWNREQUEST");

修改訊息頭
HTTP協議提供了訊息頭，請求訊息頭用於告訴伺服器如何處理請求；響應訊息頭則告訴瀏覽器如何處理接收到的資料。在libcurl中，你可以自由的新增 這些訊息頭：

struct curl_slist *headers=NULL; /* init to NULL is important */
headers = curl_slist_append(headers, "Hey-server-hey: how are you?");
headers = curl_slist_append(headers, "X-silly-content: yes");
/* pass our list of custom made headers */
curl_easy_setopt(easyhandle, CURLOPT_HTTPHEADER, headers);
curl_easy_perform(easyhandle); /* transfer http */
curl_slist_free_all(headers); /* free the header list */

對於已經存在的訊息頭，可以重新設定它的值：

headers = curl_slist_append(headers, "Accept: Agent-007"); 
headers = curl_slist_append(headers, "Host: munged.host.line"); 

刪除訊息頭
對於一個已經存在的訊息頭，設定它的內容為空，libcurl在傳送請求時就不會同時提交該訊息頭：

headers = curl_slist_append(headers, "Accept:");

六、獲取http應答頭資訊

發出http請求後，伺服器會返回應答頭資訊和應答資料，如果僅僅是列印應答頭的所有內容，則直接可以通過curl_easy_setopt(curl, CURLOPT_HEADERFUNCTION, 列印函式)的方式來完成，這裡需要獲取的是應答頭中特定的資訊，比如應答碼、cookies列表等，則需要通過下面這個函式：
CURLcode curl_easy_getinfo(CURL *curl, CURLINFO info, ... );
info引數就是我們需要獲取的內容，下面是一些引數值:
1.CURLINFO_RESPONSE_CODE
獲取應答碼
2.CURLINFO_HEADER_SIZE
頭大小
3.CURLINFO_COOKIELIST
cookies列表

除了獲取應答資訊外，這個函式還能獲取curl的一些內部資訊，如請求時間、連線時間等等。

更多的引數可以參考API文件。

七、多執行緒問題
首先一個基本原則就是：絕對不應該線上程之間共享同一個libcurl handle(CURL *物件)，不管是easy handle還是multi handle（本文只介紹easy_handle）。一個執行緒每次只能使用一個handle。
libcurl是執行緒安全的，但有兩點例外：訊號(signals)和SSL/TLS handler。 訊號用於超時失效名字解析(timing out name resolves)。libcurl依賴其他的庫來支援SSL/STL，所以用多執行緒的方式訪問HTTPS或FTPS的URL時，應該滿足這些庫對多執行緒 操作的一些要求。詳細可以參考：
OpenSSL:http://www.openssl.org/docs/crypto/threads.html#DESCRIPTION

GnuTLS:http://www.gnu.org/software/gnutls/manual/html_node/Multi_002dthreaded-applications.html

NSS: 宣稱是多執行緒安全的。

八、什麼時候libcurl無法正常工作
傳輸失敗總是有原因的。你可能錯誤的設定了一些libcurl的屬性或者沒有正確的理解某些屬性的含義，或者是遠端主機返回一些無法被正確解析的內容。
這裡有一個黃金法則來處理這些問題：將CURLOPT_VERBOSE屬性設定為1，libcurl會輸出通訊過程中的一些細節。如果使用的是http協 議，請求頭/響應頭也會被輸出。將CURLOPT_HEADER設為1，這些頭資訊將出現在訊息的內容中。
當然不可否認的是，libcurl還存在bug。
如果你對相關的協議瞭解越多，在使用libcurl時，就越不容易犯錯。

九、關於密碼
客戶端向伺服器傳送請求時，許多協議都要求提供使用者名稱與密碼。libcurl提供了多種方式來設定它們。
一些協議支援在URL中直接指定使用者名稱和密碼，類似於： protocol://user:[email protected]/path/。libcurl能正確的識別這種URL中的使用者名稱與密碼並執行 相應的操作。如果你提供的使用者名稱和密碼中有特殊字元，首先應該對其進行URL編碼。
也可以通過CURLOPT_USERPWD屬性來設定使用者名稱與密碼。引數是格式如 “user:password ”的字串：
curl_easy_setopt(easy_handle, CURLOPT_USERPWD, "user_name:password");
有時候在訪問代理伺服器的時候，可能時時要求提供使用者名稱和密碼進行使用者身份驗證。這種情況下，libcurl提供了另 一個屬性CURLOPT_PROXYUSERPWD：
curl_easy_setopt(easy_handle, CURLOPT_PROXYUSERPWD, "user_name:password");
在UNIX平臺下，訪問FTP的使用者名稱和密碼可能會被儲存在$HOME/.netrc檔案中。libcurl支援直接從這個檔案中獲取使用者名稱與密碼：
curl_easy_setopt(easy_handle, CURLOPT_NETRC, 1L);
在使用SSL時，可能需要提供一個私鑰用於資料安全傳輸，通過CURLOPT_KEYPASSWD來設定私鑰：
curl_easy_setopt(easy_handle, CURLOPT_KEYPASSWD, "keypassword");

十、HTTP驗證
在使用HTTP協議時，客戶端有很多種方式向伺服器提供驗證資訊。預設的 HTTP驗證方法是"Basic”，它將使用者名稱與密碼以明文的方式、經Base64編碼後儲存在HTTP請求頭中，發往伺服器。當然這不太安全。
當前版本的libcurl支援的驗證方法有：basic, Digest, NTLM, Negotiate, GSS-Negotiate and SPNEGO。（譯者感嘆：搞Web這麼多年，盡然不知道這些Http的驗證方式，實在慚愧。）可以通過CURLOPT_HTTPAUTH屬性來設定具體 的驗證方式：
curl_easy_setopt(easy_handle, CURLOPT_HTTPAUTH, CURLAUTH_DIGEST);
向代理伺服器傳送驗證資訊時，可以通過CURLOPT_PROXYAUTH設定驗證方式：
curl_easy_setopt(easy_handle, CURLOPT_PROXYAUTH, CURLAUTH_NTLM);
也可以同時設定多種驗證方式（通過按位與）， 使用‘CURLAUTH_ANY‘將允許libcurl可以選擇任何它所支援的驗證方式。通過CURLOPT_HTTPAUTH或 CURLOPT_PROXYAUTH屬性設定的多種驗證方式，libcurl會在執行時選擇一種它認為是最好的方式與伺服器通訊：
curl_easy_setopt(easy_handle, CURLOPT_HTTPAUTH, CURLAUTH_DIGEST|CURLAUTH_BASIC);
// curl_easy_setopt(easy_handle, CURLOPT_HTTPAUTH, CURLAUTH_ANY);

#include <iostream>
#include <curl/curl.h>
using namespace std;

size_t receive_data(void *buffer, size_t size, size_t nmemb, FILE *file);
int main(){
    char url[] = "http://www.sina.com.cn";
    char path[] = "save_file.txt";
    FILE *file = fopen(path,"w");
    curl_global_init(CURL_GLOBAL_ALL);
    CURL *handle = curl_easy_init();
    curl_easy_setopt(handle, CURLOPT_URL, url);
    curl_easy_setopt(handle, CURLOPT_WRITEFUNCTION, receive_data);
    curl_easy_setopt(handle, CURLOPT_WRITEDATA, file);
    cout << curl_easy_perform(handle);


    curl_easy_cleanup(handle);
    curl_global_cleanup();

    return 0;
}

size_t receive_data(void *buffer, size_t size, size_t nmemb, FILE *file){
    size_t r_size = fwrite(buffer, size, nmemb, file);
    fclose(file);
    return r_size;
}

是不是覺得完全沒有任何問題對不對，我下載了sina的html，然後儲存到save_file.txt裡。
BUT，當我開啟save_file.txt發現裡面只有不全的一段html，並沒有全部在裡面。為什麼呢？
因為curl_easy_setopt(handle, CURLOPT_WRITEFUNCTION, receive_data);這個設定的回撥函式的呼叫是在每次socket接收到資料之後，並不是socket接收了所有的資料，然後才呼叫設定的回撥函式
當socket才接收到一部分資料的時候，就呼叫了回撥函式。回撥函式將接收到的不完全資料儲存到檔案裡，然後關閉檔案。然後socket又接收到了下一部分的資料，呼叫回撥函式。但是此時檔案已經被關閉了,程式出錯，所以後續的內容不能夠被儲存到檔案中。所以看到的檔案也就是不完整的。
修改後的程式碼:

#include <iostream>
#include <curl/curl.h>
using namespace std;

size_t receive_data(void *buffer, size_t size, size_t nmemb, FILE *file);

int main() {
    char url[] = "http://www.sina.com.cn";
    char path[] = "save_file.txt";
    FILE *file = fopen(path, "w");
    curl_global_init(CURL_GLOBAL_ALL);
    CURL *handle = curl_easy_init();
    curl_easy_setopt(handle, CURLOPT_URL, url);
    curl_easy_setopt(handle, CURLOPT_WRITEFUNCTION, receive_data);
    curl_easy_setopt(handle, CURLOPT_WRITEDATA, file);
    cout << curl_easy_perform(handle);

    fclose(file);
    curl_easy_cleanup(handle);
    curl_global_cleanup();
    return 0;
}

size_t receive_data(void *buffer, size_t size, size_t nmemb, FILE *file) {
    size_t r_size = fwrite(buffer, size, nmemb, file);
    return r_size;
}