學習大資料，如果只是零零散散地學習各個模組，就會深陷其中，很難深入瞭解hadoop架構中各個叢集的作用。那麼在實際開發中，究竟是怎樣的一個流程呢？先看下面一張流程圖：

接下來就用一些大白話，來講解每個模組的實際應用。

大資料工程師應該從哪裡收集使用者的訪問資料呢？一般可以從兩個地方可以取，一個是客戶端，一個是服務端。

如果從伺服器取資料，比如伺服器每天在晚上8點到9點之間使用者訪問量非常多，而如果我們也從伺服器獲取這些資料，那麼會造成伺服器端壓力更加的大了。

 所以很多時候可以從客戶端獲取資料，客戶端每一次訪問url都會產生資料，每一次訪問順便就把這些資料傳送給大資料伺服器。那麼這個怎麼做到的呢？使用者每次訪問一個

 這些資料最終肯定都會儲存到HDFS分散式檔案系統中，但js返回的資料也不可能直接就存到HDFS，因為jsSDK就不能寫HDFS的客戶端程式碼。況且，比如淘寶，併發量是非常之大的，在同一時間點會產生巨大的資料，所以我們需要一個可以接收高併發資料的伺服器，這個時候，nginx就派上用場了，所以jsSDK把資料傳送給nginx叢集。nginx叢集的資料存入到本地檔案中。這個時候就引來一個問題，如何把本地資料搞到

），flume就可以做這樣的事情，Flume是一個分散式的海量日誌採集和傳輸框架，nginx是個叢集，資料分佈在不同的節點，Flume可以實時的從網路協議、訊息系統、檔案系統採集日誌，並傳輸到HDFS上。

當然不可能所有的日誌資料都是通過jsSDK在客戶端收集，比如支付日誌，如果在客戶端收集，就不會很安全了。所以必須要在web服務端收集了。就需要用到javaSDK了。javaSDK同樣把資料傳送給nginx叢集。

上面整個流程已經把收集到的日誌資料，儲存到了HDFS中。那麼怎麼把HDFS中的資料拿出來處理呢？

先使用ETL(ETL，是英文 Extract-Transform-Load 的縮寫，用來描述將資料從來源端經過抽取（

，處理結果我們需要在web頁面去顯示，把分析後的結果先放到MySql這種實時響應的關係型資料庫中。MR、Spark都可以直接把資料寫入MySql中，但是Hive卻不行，它把分析的資料存在HDFS分散式系統中，這個時候Sqoop就出現了（Sqoop(發音：skup)是一款開源的工具，主要用於在Hadoop(Hive)與傳統的資料庫(mysql、postgresql...)間進行資料的傳遞，可以將一個關係型資料庫（例如 ： MySQL ,Oracle ,Postgres等）中的資料導進到Hadoop的HDFS中，也可以將HDFS的資料導進到關係型資料庫中。）