hdfs簡介：

Hadoop分散式檔案系統(HDFS)被設計成適合執行在通用硬體(commodity hardware)上的分散式檔案系統。

專案需求：

使用hdfs進行客戶需要的指定域名時間打包日誌 以及原始日誌儲存進行離線計算

遇到的問題：

在這一步遇到的一個重要的問題：

問題：從kafka中日誌直接按域名時間分類存入hdfs時速度不夠,主要時資料量太大，當資料量減少到1/10的時候滿足要求。

試過：

spark：從kafka取出資料日誌解析存入hdfs

logstash: 從kfaka中取出資料，然後自定義conf配置檔案，按域名按小時直接存入hdfs

flume： flume自定義filter外掛（java寫的），將原始日誌按照時間域名分類存入hdfs

發現這些東西都是存入hdfs速度不夠，當然同時也看hdfs日誌，hdfs本來就是適合大檔案儲存，同時每條日誌儲存有自己的路徑有namenode datanode，現在這樣一條日誌或者百千條日誌就進行一次日誌儲存的效率明顯很低。

進行速度測試：

spark - kafka -logstash:從spark從kafka中取出原始日誌然後將結果寫入kafka的另一個topic這樣的速度是OK的， 然後嘗試結果資料再次通過logstash從kafka取出寫入hdfs速度是跟不上的。

flume： 直接從kafka中取出然後按域名時間分類，寫入本地或者直接螢幕上列印速度都是可以的。

最後的解決是：

flume自定義fliter外掛（java），outPutSink外掛（java），寫入本地（這樣已經測試速度是OK的，時間域名分割儲存還未OK），本地形成大檔案後寫入hdfs（這裡可以直接通過hdfs的api實現，linux定時指令碼呼叫即可）

當然也可以直接用hbase進行原始日誌的儲存

git地址示例：

https://github.com/penghaoyou5/Flume-plug-in-log

直接上配置：

[email protected]:~/apps/hadoop-2.6.4/etc/hadoop$ cat core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://sp26:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/ubuntu/hdpdata</value>

</property>

</configuration>

[email protected]:~/apps/hadoop-2.6.4/etc/hadoop$ cat hadoop-env.sh

export JAVA_HOME=/home/ubuntu/apps/jdk1.7.0_45

[email protected]:~/apps/hadoop-2.6.4/etc/hadoop$ cat hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>/mnt/data2/wlkhadname,/mnt/data3/wlkhadname,/mnt/data4/wlkhadname,/mnt/data5/wlkhadname,/mnt/data6/wlkhadname,/mnt/data7/wlkhadname,/mnt/data8/wlkhadname,/mnt/data9/wlkhadname,/mnt/data10/wlkhadname</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/mnt/data2/wlkhaddata,/mnt/data3/wlkhaddata,/mnt/data4/wlkhaddata,/mnt/data5/wlkhaddata,/mnt/data6/wlkhaddata,/mnt/data7/wlkhaddata,/mnt/data8/wlkhaddata,/mnt/data9/wlkhaddata,/mnt/data10/wlkhaddata</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.secondary.http.address</name>

<value>sp26:50090</value>

</property>

<property>

<name>dfs.datanode.max.xcievers</name>

<value>8192</value>

</property>

</configuration>

[email protected]:~/apps/hadoop-2.6.4/etc/hadoop$ cat slaves

sp27

sp28

sp29

sp30