網路爬蟲：

            網路爬蟲是一種按照一定的規則，自動的抓取全球資訊網資訊的程式或者指令碼，是搜尋引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在爬取網頁的過程中，不斷從當前頁面上抽取新的URL放入佇列，直到滿足系統的一定停止條件。 

圖1 網路爬蟲基本原理圖

網路爬蟲的基本工作流程如下：

    1.首先選取一部分精心挑選的種子URL；

    2.將這些URL放入待抓取URL佇列；

    3.從待抓取URL佇列中取出待抓取在URL，解析DNS，並且得到主機的ip，並將URL對應的網頁下載下來，儲存進已下載網頁庫中。此外，將這些URL放進已抓取URL佇列。

    4.分析已抓取URL佇列中的URL，分析其中的其他URL，並且將URL放入待抓取URL佇列，從而進入下一個迴圈。

API

開放應用程式的API（即Application Program Interface，應用程式介面）可以讓開發者在無需訪問原始碼，或理解內部工作機制細節的情況下，呼叫他人共享的功能和資源。開發者可以通過認證，根據企業規提供的程式設計介面，限制性的獲取自己需要的資料來開發自己的應用。

像國內新浪微博、騰訊微博、百度地圖、高德地圖等等很多應用都開發了自己的應用介面。開發者在註冊完賬戶，申請自己的相關應用就可以獲取平臺數據。

網路爬蟲與應用API的區別

複雜度：網頁爬蟲爬取資料要比API獲取資料要複雜的多，網頁爬蟲不僅需要解析網頁還需要考慮爬取演算法等一些因素，而API得使用就要想多簡單的多，一般直接使用應用提供的資料介面，直接能獲取到相關資料。

爬取限制：網頁爬蟲理論上爬取資料是沒有限制的，但是有些網站會採取一些相關的反爬蟲的技術，如IP限制，js資料寫入。但是隻要你技術牛，你就可以採取反反爬蟲，因此說網頁爬蟲是沒有限制的。但是使用API是受到爬取資料量的限制，已經爬取相關資料的限制。

返回資料：網頁爬蟲爬取相關介面以後，往往需要處理簡析html介面，然後進行判斷，資料的整合，最後才能返回結構化的資料。但是API一般使用一個URl地址或者呼叫一個函式，就能返回一個結構化的資料，如返回json或者XMl資料。

註冊認證：網頁爬蟲不需要註冊認證，你爬取對方的資料時不需要通知資料提供商（聽起來好像是在竊取他人財產），寫完爬蟲程式就可以爬取資料。而API是呼叫資料提供商的介面，你首先得註冊一個賬號，然後獲取你應用的授權才能使用介面。

獲取TwitterAPI keys

•      註冊一個Twitter賬號

•      點選“Create New App”，新建你自己的應用

•      填寫應用資訊表單, 然後點選“Create your Twitter application”生成你的twitter應用

•      在“keys and Access Tokens”介面, 點選“API keys”, 然後記錄你的“API key” 和"API secret".

•      在“keys and Access Tokens”介面點選“Create my access token”, 記錄你的"Access token" and "Access token secret".

這裡我就不囉嗦一步一步截圖了，按照上面一步一步做就行。但是隻裡面有一個坑，需要注意的：twitter在建立應用時，你的twitter賬號一定要繫結你的手機，但是國內的手機運營商收不到驗證碼。這裡好像可以用手機版twitter去繫結手機號（實測聯通可以收到驗證碼，電信好像不可以，移動沒試過）

使用TwitterAPI

這裡我使用的twitter4J來呼叫twitter介面。

在這裡你下載twitter4j的zip包然後解壓，將lib下面的這些jar包匯入你的專案中。

twitter4j-core-source.jar包是自己打包的原始碼包，用來檢視函式原始碼。

注：twitter4j的文件寫的很不全，參考意義不是很大，你可以結合下載zip包中的examples資料夾中的例子還可以看twitter官網的Twitter REST APIs：https://dev.twitter.com/rest/public

twitter4j是的使用需要翻牆代理，還有當你設定好以後，有可能會碰到連結拒絕（看你用的什麼代理），因為eclipse預設走的是ipv6協議，具體解決方法可以參考我這篇文章：

http://blog.csdn.net/u013817676/article/details/51906754

  這裡我就舉一個爬取某個人物的最新推文

import java.io.IOException;
import java.util.Date;
import java.util.List;
import twitter.common.GetConfiguration;
import twitter4j.Paging;
import twitter4j.Status;
import twitter4j.Twitter;
import twitter4j.TwitterException;

/*
 * getUserTimeline(user)
 * get users tweets
 */
public class GetUserTimeline{
   publicstatic void main(String[] args)throws TwitterException, IOException {
      GetConfiguration conf = new GetConfiguration();
      Twitter twitter = conf.getNewInstance();
      List<Status> statuses;
      String user = "BillGates";
      Paging page = new Paging();
      page.count(20);
      statuses = twitter.getUserTimeline(user, page);
      System.out.println("[email protected]"+ user + "'suser timeline.");
      for (Status status : statuses) {
         //status.getRetweetCount() 轉推的數目
         // status.getFavoriteCount() 點贊次數
         // status.getSource() 釋出的客戶端型別
         // status.getCreatedAt() 釋出時間
         // status.getGeoLocation() 地點
         // status.getId() 獲取該條tweet Id
         Stringcontent = status.getText(); // tweet內容StringScreenName = status.getUser().getScreenName();
         Date publishDate =  status.getCreatedAt();
         System.out.println("@"+ ScreenName +"--"+ content + "--"+publishDate);
         //System.out.println(status.getUser().getName() + ":" +
         // status.getText());
         StringtweetUrl = "https://twitter.com/"+ status.getUser().getScreenName() + "/status/"+ status.getId();
         System.out.println("tweetUrl:"+ tweetUrl);
         if (status.getMediaEntities() !=null && status.getMediaEntities().length>=1) {
            try {
               String type =status.getMediaEntities()[0].getType();
               if (type.equals("photo")) {
                  String imgUrl =status.getMediaEntities()[0].getMediaURL();
                  System.out.println("imgUrl:"+ imgUrl);
               } else if (type.equals("video")) {
                  String videoUrl =status.getMediaEntities()[0].getMediaURL();
                  System.out.println("videoUrl:"+ videoUrl);
               } else {
                  String animatedGifUrl =status.getMediaEntities()[0].getMediaURL();
                  System.out.println("animatedGifUrl:"+ animatedGifUrl);
               }

            } catch(Exception e) {
               System.out.println("Status:"+ status);
               System.out.println(e.getStackTrace());
            }
         }
         if (status.getRetweetedStatus() !=null) {
            // 如果這條訊息是轉發的
            //System.out.println("sourceTweet:"+status.getRetweetedStatus());
            //System.out.println(tweetUrl);
            StringreScreenName = status.getRetweetedStatus().getUser().getScreenName();
            Long RetweetedId =status.getRetweetedStatus().getId();
            //System.out.println("getMediaEntities:"+status.getRetweetedStatus().getUser().getScreenName());
            //System.out.println("getMediaEntities:"+status.getRetweetedStatus().getId());
            StringretweetUrl = "https://twitter.com/"+ reScreenName
                  + "/status/" + RetweetedId;
            System.out.println("retweetUrl:"+retweetUrl);
         }
      }
   }
}

GetConfiguration類程式碼

import twitter4j.Twitter;
import twitter4j.TwitterFactory;
import twitter4j.conf.ConfigurationBuilder;

public class GetConfiguration {
   public Twitter getNewInstance(){
      ConfigurationBuilder cb = new ConfigurationBuilder();
       cb.setDebugEnabled(true)
        .setOAuthConsumerKey("XQOBGSC66gqLulaEPNtJc****")
        .setOAuthConsumerSecret("UsNDcBdllprdnP0qH41CaYMYgNZDZUoFq0Qhj78uGCn6a****")
        .setOAuthAccessToken("4678138488-nhpI9HlnYQEH3MiWY87WgYKisMZnmB****Yhr3H")
        .setOAuthAccessTokenSecret("6RPOWclehdb****U6rbcdmleLUsjxQ8wujA7WHZqOEkFs");
       TwitterFactory tf = new TwitterFactory(cb.build());
       //Twitter twitter = tf.getSingleton();
       Twitter twitter = tf.getInstance();
       return twitter;
   }

}

應用：

1.Towardsa realtime Twitter analysis duringcrises for operational crisis management

2011年風暴襲擊比利時Pukkelpop音樂節前後抽取97000條相關風暴推文，自動過濾抽取一些重要資訊（包括一些謠傳資訊）來進行危機管理。

2.Twitter英文使用者眼中的中國

通過爬蟲技術獲取與中國相關推文922447條,採用主題建模和情感分析兩種技術進行探索性分析。

“飲食”成為 twitter 英文使用者關注中國程度最高的主題,政治類的主題關注度高於經濟、社會等其他類別,日常生活等微觀類主題的關注度持平於巨集觀類主題。

Twitter英文使用者釋出的推文多為積極態度, 但消極態度的推文比例也很高,只有少數推文帶有明顯的情感(如喜悅、憤怒);情情感隨年份的變化非常小,Twitter 英文使用者對中國的情感相對穩定,難以變化。

3.PsychologicalLanguage on Twitter Predicts County-Level Heart

DiseaseMortality

研究人員主要研究了美國地區，在2009到2010年這段區間裡，對特定地點的推文進行研究。之後，研究人員把這些推文資料和美國疾病控制預防中心內的1300歌本地資料進行了對比。

負面情緒語言和主題，比如像敵意侵略型的詞“fuck”、“shit”詞；壓力厭惡型的詞“hate”，“jealousy”；疲倦，厭倦類詞“boring”，“tired”都跟冠心病死亡率正相關，而一些積極的主題詞。

參考

TerpstraT, de Vries A, Stronkman R, et al. Towards a realtime Twitter analysis duringcrises for operational crisis management[M]. Simon Fraser University, 2012.

易紅髮, 肖明, 彭繼春,等. Twitter英文使用者眼中的中國(2006-2013)——基於主題建模和情感分析的探索[C]// 2014中國傳播論壇:“國際話語體系與國際傳播能力建設”研討會會議論文集. 2014.

EichstaedtJ C, Schwartz H A, Kern M L, et al. Psychological language on Twitter predictscounty-level heart disease mortality[J]. Psychological science, 2015, 26(2):159-169.