2. 程式人生 > >Linux獲取網頁原始碼的幾種方法 linux爬蟲程式

Linux獲取網頁原始碼的幾種方法 linux爬蟲程式

阿新 • • 發佈：2018-11-15

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow

也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！

                第一個為利用linux下的工具來獲取網頁原始碼，我用的是Wget，也可以使用Curl，curl的話更加的靈活，可以設定很多引數
C++程式碼 複製程式碼 
收藏程式碼
  1. //通過Wget來獲取網頁   
  2. string GetHtmlByWget(string url)   
  3. {   
  4.     //獲取待下載網頁檔名   
  5.     string fileName = url.substr((int)url.find_last_of("/") + 1);   
  6.     
    if(fileName != "")   
  7.     {   
  8.         string strCom = "wget -q "; //wget命令，-q表示不顯示下載資訊  
  9.         strCom.append(url);   
  10.         system(strCom.c_str()); //執行wget   
  11.   
  12.         ifstream fin(fileName.c_str());   
  13.         if(!fin)   
  14.         {   
  15.             return "";   
  16.         }   
  17.         string strHtml = "";   
  18.         char chTemp[1024] = "";   
  19.         //讀取網頁檔案到記憶體中   
  20.         while(fin.getline(chTemp , 1024))   
  21.         {   
  22.             strHtml.append(string(chTemp));   
  23.             strcpy(chTemp , "");   
  24.         }   
  25.         fin.close();   
  26.         strCom = "rm -f ";  //刪除檔案命令,-f表示直接刪除不做任何提示  
  27.         strCom.append(fileName);   
  28.         system(strCom.c_str()); //刪除剛才下載下來的檔案  
  29.         return strHtml; //返回網頁原始碼  
  30.     }   
  31.     else  
  32.     {   
  33.         return "";   
  34.     }   
  35. }  
[C++] view plain copy print ?
  1. //通過Wget來獲取網頁  
  2. string GetHtmlByWget(string url)  
  3. {  
  4.     //獲取待下載網頁檔名  
  5.     string fileName = url.substr((int)url.find_last_of("/") + 1);  
  6.     if(fileName != "")  
  7.     {  
  8.         string strCom = "wget -q "; //wget命令，-q表示不顯示下載資訊  
  9.         strCom.append(url);  
  10.         system(strCom.c_str()); //執行wget  
  11.   
  12.         ifstream fin(fileName.c_str());  
  13.         if(!fin)  
  14.         {  
  15.             return "";  
  16.         }  
  17.         string strHtml = "";  
  18.         char chTemp[1024] = "";  
  19.         //讀取網頁檔案到記憶體中  
  20.         while(fin.getline(chTemp , 1024))  
  21.         {  
  22.             strHtml.append(string(chTemp));  
  23.             strcpy(chTemp , "");  
  24.         }  
  25.         fin.close();  
  26.         strCom = "rm -f ";  //刪除檔案命令,-f表示直接刪除不做任何提示  
  27.         strCom.append(fileName);  
  28.         system(strCom.c_str()); //刪除剛才下載下來的檔案  
  29.         return strHtml; //返回網頁原始碼  
  30.     }  
  31.     else  
  32.     {  
  33.         return "";  
  34.     }  
  35. }  
//通過Wget來獲取網頁string GetHtmlByWget(string url){    //獲取待下載網頁檔名    string fileName = url.substr((int)url.find_last_of("/") + 1);    if(fileName != "")    {        string strCom = "wget -q "; //wget命令，-q表示不顯示下載資訊        strCom.append(url);        system(strCom.c_str()); //執行wget        ifstream fin(fileName.c_str());        if(!fin)        {            return "";        }        string strHtml = "";        char chTemp[1024] = "";        //讀取網頁檔案到記憶體中        while(fin.getline(chTemp , 1024))        {            strHtml.append(string(chTemp));            strcpy(chTemp , "");        }        fin.close();        strCom = "rm -f ";  //刪除檔案命令,-f表示直接刪除不做任何提示        strCom.append(fileName);        system(strCom.c_str()); //刪除剛才下載下來的檔案        return strHtml; //返回網頁原始碼    }    else    {        return "";    }}


第二個是用的socket的來獲取原始碼
C++程式碼 複製程式碼  收藏程式碼
  1. //通過GET獲取網頁原始碼   
  2. string GetHtmlByGet(string url)   
  3. {   
  4.     string strHtmlContent = "";   
  5.     int sockfd;   
  6.     struct sockaddr_in addr;   
  7.     struct hostent *pURL;   
  8.     char text[RECVBUF];   
  9.   
  10.     //分析連結   
  11.     UrlInfo urlInfo = ParseURL(url);   
  12.     string sAccept = "Accept: */*\r\nAccept-Language: zh-cn\r\nAccept-Encoding: gzip, deflate";   
  13.     //不同的主機UserAgent不同   
  14.     string sUserAgent = "Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/534.10 (KHTML, like Gecko) Chrome/8.0.552.224 Safari/534.10";   
  15.     //將埠轉換為字串   
  16.     char t[6];   
  17.     string  strPort;   
  18.     sprintf(t,"%d", urlInfo.Port);   
  19.     strPort = t;   
  20.     //構造傳送字串   
  21.     string strRequest = "";   
  22.     strRequest.append("GET ");   
  23.     strRequest.append(urlInfo.File);   
  24.     strRequest.append("?");   
  25.     strRequest.append(urlInfo.Body);   
  26.     strRequest.append(" HTTP/1.1\r\n");   
  27.     strRequest.append(sAccept);   
  28.     strRequest.append("\r\nUser-Agent:");   
  29.     strRequest.append(sUserAgent);   
  30.     strRequest.append("\r\nHost:");   
  31.     strRequest.append(urlInfo.Host);   
  32.     strRequest.append(":");   
  33.     strRequest.append(strPort);   
  34.     strRequest.append("\r\nConnection: Keep-Alive\r\n\r\n");   
  35.   
  36.     char* host = const_cast<char*>(urlInfo.Host.c_str());   
  37.     sockfd = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP); //TCP方式傳送  
  38.     pURL = gethostbyname(host);   
  39.     addr.sin_family = AF_INET;   
  40.     addr.sin_addr.s_addr = *((unsigned long*)pURL->h_addr);   
  41.     addr.sin_port = htons(80);   
  42.   
  43.     //連線   
  44.     connect(sockfd,(struct sockaddr *)&addr,sizeof(addr));   
  45.     //傳送   
  46.     send(sockfd, const_cast<char*>(strRequest.c_str()), strRequest.length(), 0);   
  47.     //接受   
  48.     while(recv(sockfd, text, RECVBUF, 0) > 0)   
  49.     {   
  50.         strHtmlContent.append(text);   
  51.         bzero(text,RECVBUF);   
  52.     }   
  53.     //關閉socket   
  54.     close(sockfd);   
  55.     //返回接受結果   
  56.     return strHtmlContent;   
  57. }  
[C++] view plain copy print ?
  1. //通過GET獲取網頁原始碼  
  2. string GetHtmlByGet(string url)  
  3. {  
  4.     string strHtmlContent = "";  
  5.     int sockfd;  
  6.     struct sockaddr_in addr;  
  7.     struct hostent *pURL;  
  8.     char text[RECVBUF];  
  9.   
  10.     //分析連結  
  11.     UrlInfo urlInfo = ParseURL(url);  
  12.     string sAccept = "Accept: */*\r\nAccept-Language: zh-cn\r\nAccept-Encoding: gzip, deflate";  
  13.     //不同的主機UserAgent不同  
  14.     string sUserAgent = "Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/534.10 (KHTML, like Gecko) Chrome/8.0.552.224 Safari/534.10";  
  15.     //將埠轉換為字串  
  16.     char t[6];  
  17.     string  strPort;  
  18.     sprintf(t,"%d", urlInfo.Port);  
  19.     strPort = t;  
  20.     //構造傳送字串  
  21.     string strRequest = "";  
  22.     strRequest.append("GET ");  
  23.     strRequest.append(urlInfo.File);  
  24.     strRequest.append("?");  
  25.     strRequest.append(urlInfo.Body);  
  26.     strRequest.append(" HTTP/1.1\r\n");  
  27.     strRequest.append(sAccept);  
  28.     strRequest.append("\r\nUser-Agent:");  
  29.     strRequest.append(sUserAgent);  
  30.     strRequest.append("\r\nHost:");  
  31.     strRequest.append(urlInfo.Host);  
  32.     strRequest.append(":");  
  33.     strRequest.append(strPort);  
  34.     strRequest.append("\r\nConnection: Keep-Alive\r\n\r\n");  
  35.   
  36.     char* host = const_cast<char*>(urlInfo.Host.c_str());  
  37.     sockfd = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP); //TCP方式傳送  
  38.     pURL = gethostbyname(host);  
  39.     addr.sin_family = AF_INET;  
  40.     addr.sin_addr.s_addr = *((unsigned long*)pURL->h_addr);  
  41.     addr.sin_port = htons(80);  
  42.   
  43.     //連線  
  44.     connect(sockfd,(struct sockaddr *)&addr,sizeof(addr));  
  45.     //傳送  
  46.     send(sockfd, const_cast<char*>(strRequest.c_str()), strRequest.length(), 0);  
  47.     //接受  
  48.     while(recv(sockfd, text, RECVBUF, 0) > 0)  
  49.     {  
  50.         strHtmlContent.append(text);  
  51.         bzero(text,RECVBUF);  
  52.     }  
  53.     //關閉socket  
  54.     close(sockfd);  
  55.     //返回接受結果  
  56.     return strHtmlContent;  
  57. }  
//通過GET獲取網頁原始碼string GetHtmlByGet(string url){    string strHtmlContent = "";    int sockfd;    struct sockaddr_in addr;    struct hostent *pURL;    char text[RECVBUF];    //分析連結    UrlInfo urlInfo = ParseURL(url);    string sAccept = "Accept: */*\r\nAccept-Language: zh-cn\r\nAccept-Encoding: gzip, deflate";    //不同的主機UserAgent不同    string sUserAgent = "Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/534.10 (KHTML, like Gecko) Chrome/8.0.552.224 Safari/534.10";    //將埠轉換為字串    char t[6];    string  strPort;    sprintf(t,"%d", urlInfo.Port);    strPort = t;    //構造傳送字串    string strRequest = "";    strRequest.append("GET ");    strRequest.append(urlInfo.File);    strRequest.append("?");    strRequest.append(urlInfo.Body);    strRequest.append(" HTTP/1.1\r\n");    strRequest.append(sAccept);    strRequest.append("\r\nUser-Agent:");    strRequest.append(sUserAgent);    strRequest.append("\r\nHost:");    strRequest.append(urlInfo.Host);    strRequest.append(":");    strRequest.append(strPort);    strRequest.append("\r\nConnection: Keep-Alive\r\n\r\n");    char* host = const_cast<char*>(urlInfo.Host.c_str());    sockfd = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP); //TCP方式傳送    pURL = gethostbyname(host);    addr.sin_family = AF_INET;    addr.sin_addr.s_addr = *((unsigned long*)pURL->h_addr);    addr.sin_port = htons(80);    //連線    connect(sockfd,(struct sockaddr *)&addr,sizeof(addr));    //傳送    send(sockfd, const_cast<char*>(strRequest.c_str()), strRequest.length(), 0);    //接受    while(recv(sockfd, text, RECVBUF, 0) > 0)    {        strHtmlContent.append(text);        bzero(text,RECVBUF);    }    //關閉socket    close(sockfd);    //返回接受結果    return strHtmlContent;}



使用libcurl
Java程式碼 複製程式碼  收藏程式碼
  1. #include <stdio.h>    
  2.  #include <string.h>    
  3.  #include <curl/curl.h>    
  4.   
  5.  #define MAX_BUF     65536    
  6.   
  7.  char wr_buf[MAX_BUF+1];    
  8.  int  wr_index;    
  9.   
  10.  /*   
  11.  * Write data callback function (called within the context of  
  12.  * curl_easy_perform.   
  13.  */    
  14.  size_t write_data( void *buffer, size_t size, size_t nmemb, void *userp )    
  15.  {    
  16.   int segsize = size * nmemb;    
  17.   
  18.   /* Check to see if this data exceeds the size of our buffer. If so,  
  19.    * set the user-defined context value and return 0 to indicate a  
  20.    * problem to curl.   
  21.    */    
  22.   if ( wr_index + segsize > MAX_BUF ) {    
  23.     *(int *)userp = 1;    
  24.     return 0;    
  25.   }    
  26.   
  27.   /* Copy the data from the curl buffer into our buffer */    
  28.   memcpy( (void *)&wr_buf[wr_index], buffer, (size_t)segsize );    
  29.   
  30.   /* Update the write index */    
  31.   wr_index += segsize;    
  32.   
  33.   /* Null terminate the buffer */    
  34.   wr_buf[wr_index] = 0;    
  35.   
  36.   /* Return the number of bytes received, indicating to curl that all is okay */    
  37.   return segsize;    
  38.  }    
  39.   
  40.   
  41.  /*   
  42.  * Simple curl application to read the index.html file from a Web site.  
  43.  */    
  44.  int main( void )    
  45.  {    
  46.   CURL *curl;    
  47.   CURLcode ret;    
  48.   int  wr_error;    
  49.   
  50.   wr_error = 0;    
  51.   wr_index = 0;    
  52.   
  53.   /* First step, init curl */    
  54.   curl = curl_easy_init();    
  55.   if (!curl) {    
  56.     printf("couldn't init curl\n");    
  57.     return 0;    
  58.   }    
  59.   
  60.   /* Tell curl the URL of the file we're going to retrieve */    
  61.   curl_easy_setopt( curl, CURLOPT_URL, "www.exampledomain.com" );    
  62.   
  63.   /* Tell curl that we'll receive data to the function write_data, and  
  64.    * also provide it with a context pointer for our error return.  
  65.    */    
  66.   curl_easy_setopt( curl, CURLOPT_WRITEDATA, (void *)&wr_error );    
  67.   curl_easy_setopt( curl, CURLOPT_WRITEFUNCTION, write_data );    
  68.   
  69.   /* Allow curl to perform the action */    
  70.   ret = curl_easy_perform( curl );    
  71.   
  72.   printf( "ret = %d (write_error = %d)\n", ret, wr_error );    
  73.   
  74.   /* Emit the page if curl indicates that no errors occurred */    
  75.   if ( ret == 0 ) printf( "%s\n", wr_buf );    
  76.   
  77.   curl_easy_cleanup( curl );    
  78.   
  79.   return 0;    
  80.  }  
  81. http://yang7229693.iteye.com/blog/855208
[java] view plain copy print ?
  1.   
            
 
 

 
 
給我老師的人工智慧教程打call！http://blog.csdn.net/jiangjunshow

 
  這裡寫圖片描述
  
 
   
 
 
 
 

            
  

           

              
              

            

            
相關推薦

			   
            
            
            
 

    


    
    
Linux獲取網頁原始碼的幾種方法 linux爬蟲程式

     
  
  
  
 分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow
 
 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！
 
 
          



  
 

    


    
    
本地文件上傳到Linux服務器的幾種方法

     
 scp   xftp   u盤掛載   本文介紹幾種常見的方法，把文件上傳到Linux服務器中！常見有使用：scp命令、xshell軟件裏的xftp程序、U盤掛載、服務器自帶的lrzsz程序。一、scp使用說明：1、把本機的文件傳給目的服務器：scp get66.pcap [email protec 



  
 

    


    
    
在Windows環境下學習Linux命令列的幾種方法

     
  
  
  
 分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow
 
 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！
 
 
          



  
 

    


    
    
【轉】linux清屏的幾種方法

     
 內置命令   測試   get   回車   清空   曾經   .exe   兼容   喜歡   在windows的DOS操作界面裏面，清屏的命令是cls，那麽在linux 裏面的清屏命令是什麽呢？下面筆者分享幾種在linux下用過的清屏方法。
1、clear命令、這個命令將會刷新屏幕，本質上只是讓終端顯示 



  
 

    


    
    
Linux安裝軟體的幾種方法

     
 
                一、rpm包安裝方式步驟： 
1、找到相應的軟體包，比如soft.version.rpm，下載到本機某個目錄； 
2、開啟一個終端，su -成root使用者； 
3、cd soft.version.rpm所在的目錄； 
4、輸入rpm -ivh soft.version.rp 



  
 

    


    
    
linux實現HA有幾種方法

     
 
                
【實驗配置環境】伺服器系統：CentOS-5.6LVS主節點（lvs-master）：192.168.2.250(eth0) 心跳直連線口：192.168.1.250(eth1)LVS備節點（lvs-backup）：192.168.2.251(eth0) 心跳直連線口：19 



  
 

    


    
    
Linux獲取幫助的幾種姿勢

     
 
							
							
							
在Linux的命令列中，究竟有多少可以使用的命令，這些命令的用法和作用我們都需要做到了然於心，胸有成竹嗎？

    如果要做到這樣，真的腦子要爆炸了。所以，我們需要有方便的方式來獲取支援幫助，這些Linux都貼心的內建在系統中了，大概有以下四種方式。

1. 



  
 

    


    
    
在Windows中執行Linux bash命令的幾種方法

     
 
                                        
                                                如果你正在課程中正在學習 shell 指令碼，那麼需要使用 Linux 命令來練習命令和指 



  
 

    


    
    
Spring 獲取 request 的幾種方法及其線程安全性分析

     
 就是   base   p地址   sco   便是   情況   C4D   cookie   tex   本文將介紹在Spring MVC開發的Web系統中，獲取request對象的幾種方法，並討論其線程安全性。
一、概述
在使用Spring MVC開發Web系統時，經常需要在處理請求時使用request 



  
 

    


    
    
JS獲取DOM的幾種方法

     
 tar   ren   nod   找到   綁定   inpu   相同   html   node   JS獲取DOM和幾種方法

通過ID獲取（getElementById）
通過name屬性（getElementsByName）
通過標簽名（getElementsByTagName）
通過類名（get 



  
 

    


    
    
Java從檔案路徑中獲取檔名的幾種方法

     
  
 
  Java從檔案路徑中獲取檔名的幾種方法 
  舉例：String fName =” G:\Java_Source\navigation_tigra_menu\demo1\img\lev1_arrow.gif ” 
  方法一： 
  
  ?
  View Code  



  
 

    


    
    
java中獲取時間的幾種方法

     
 
								
								            
							
							
							1. 通過Date類來獲取當前時間

Date day=new Date();
SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm: 



  
 

    


    
    
python 獲取路徑的幾種方法

     
 
                1、sys.path[0]

獲取當前執行的python檔案路徑，無論是在別的模組中的什麼位置 使用sys.path[0] 都會返回同一個值，當前執行的Python檔案路徑。

2、os.getcwd()

獲取Python的工作目錄。預設就是命令列執行命令的路徑，但是可以通 



  
 

    


    
    
C#呼叫預設瀏覽器開啟網頁的幾種方法

     
 
								
								            
						
                CSharp呼叫預設瀏覽器開啟網頁的幾種方法示例介面：方法一：從登錄檔中讀取預設瀏覽器可執行檔案路徑        private void button1_Click(object sender, E 



  
 

    


    
    
Android下獲取FPS的幾種方法

     
 
		sunrain_hjb的BLOG
		ARM.WinCE.Android.Robot.Linux.IoT.VR...
Develop Helpful and Effective apps to make Jobs easier and lives Better!
	

        



 



  
 

    


    
    
獲取session的幾種方法

     
 
								
								            
						
                
獲取session常用的幾種方法
1.spring mvc中
HttpServletRequest request = ((ServletRequestAttributes) RequestConte 



  
 

    


    
    
獲取HDC的幾種方法

     
 
                
當需要在顯示器上（當然包括印表機等裝置上）繪圖時，或者寫文字的時候，需要取得裝置的上下文控制代碼，即HDC，本文以下都稱為HDC。那麼，有哪些辦法取得HDC呢？
1 BeginPain()和EndPaint()
在處理WM_PAINT訊息時，使用
hdc = BeginPa 



  
 

    


    
    
從網路獲取圖片的幾種方法

     
 
								
								            
							
							
							通過API獲取網路的圖片下載，這裡以天行資料為例，做簡要實驗。


  資料獲取地址：網站地址（key請在個人中心獲取，需註冊，然後在個人中心複製，替換APIKEY即可）


1. Python方法

 



  
 

    


    
    
spring獲取webapplicationcontext,applicationcontext幾種方法詳解

     
 
                

方法一：在初始化時儲存ApplicationContext物件
程式碼：
ApplicationContext ac = new FileSystemXmlApplicationContext("applicationContext.xml");
ac.getBean(" 



  
 

    


    
    
Java獲取隨機數的幾種方法總結

     
 
							
							
							方法1 
(資料型別)(最小值+Math.random()*(最大值-最小值+1)) 
例:



(int)(1+Math.random()*(10-1+1))

從1到10的int型隨數 
方法2 
獲得隨機數



for (int i=0;i<30