1. 程式人生 > >Hadoop筆記之十五——spark分析日誌例項流程簡述

Hadoop筆記之十五——spark分析日誌例項流程簡述

需求:
    分析apache 伺服器日誌
步驟:
    step 0:在命令列下建立專案(windows、linux都可以)
    step 1:將專案匯入idea
    step 2:修改pom.xml,加上hadoop和spark的依賴
    step 3:建立apchelog物件類
    step 4:編寫日誌分析邏輯
    step 5:去掉重複放servlet-api.jar包(因為hadoop和spark中都有,而且版本不同的話會有衝突)
    step 6:將core-site.xml和hdfs-site.xml放到resources資源包下
    step 7: 執行
        spark專案存放路徑:../../從前程式碼系列/spark/FirstSpark.zip