有時候，我們需要對一些程式的日誌檔案進行資料分析，如果是我們自己處理和分析的情況下一般是使用程式讀取對應日誌檔案按照對應規則儲存到資料庫然後再進行分析。
如果我們直接到日誌檔案進行分析，我們沒有辦法記錄以及分析過的。因為日誌檔案是隨時在增加的。但是我們程式讀取到和處理一次時，沒有辦法確定是否有新的日誌追加到裡面。
那麼如果直接讀取第一行後刪除第一行後再寫入檔案中。這樣會造成日誌丟失，所以這個方法是不可行的。那麼既然直接讀取不可行，就想其他的辦法。在日誌檔案中我們都有一些習慣或者對應規則按照天拆分。也就是每當一天結束後，對應那天的日誌檔案會按照規則新生成一個檔案，而不是當前正在使用的日誌檔案（老司機懂，新司機請自行腦補）

根據這個思路我們就讀取備份的日誌檔案，這樣就不會在當前日誌造成丟失了。但是考慮到日誌分析對按照天來讀取，這樣資料更新太慢不好，那麼就想法指定週期讀取如5分鐘一次，10分鐘一次，30分鐘一次。。。。

具體看對應業務對資料更新速度要求，這樣一來我們就可以實現去用程式動態解析日誌檔案了。按照指定週期拆分檔案，大部分程式都有自己的配置規則，根據實際程式來定，這裡舉例說明nginx 沒有自己的拆分規則。需要藉助其他工具來拆分。
在linux 中可以使用logrotate 來實現 似乎logrotate 中最小單位是天所以這裡還是很推薦的一種方案，如果業務量大，一天的日誌很可能上G

logrotate 不可以實現那麼還是我們自己動手吧

#!/bin/bash
# 遍歷目錄下所有檔案
function listPath(){
        for file in `ls $1`
        do
                if [ -d $1"/"$file ]; then
             listPath $1$file/
        else
                    path=$1$file
                        end=${path: -4}
                        if [ "$end" == ".log" ]; then
                                dologFile $path
 

                        fi
        fi

        done
}
# 處理日誌檔案
function dologFile(){
        if [ -s $1 ]; then
          time=$(date +%Y%m%d-%H%M%S)
          echo $1 $time
          mv $1 $1-$time
        fi
}
# 重新載入nginx 日誌
function loadNginx(){
        echo "loadNginx"

        /bin/kill -USR1 `cat /run/nginx.pid 2>/dev/null` 2>/dev/null || true

        echo "end load"
}
# 刪除過期檔案
function delOverdueFile(){
        find $INIT_PATH -mtime +7 -name "*.*" | xargs rm -f
}
INIT_PATH="/var/log/nginx/log/"

listPath $INIT_PATH

上面命令即可實現對應拆分方法。
這裡解釋一下#重新載入nginx 日誌方法的作用。因為linux 中是按照檔案的描述來確定檔案的，所以如果我們直接mv 過去對應程式會mv 後的檔案中追加，所以我們必須重新載入一次對應程式，來重新定位日誌檔案。

上面這個命令在部分程式裡面都實現了，只需要配置好規則就行，如果沒有就可以使用上面命令來實現。

這裡命令寫好了，就得想辦法讓這個命令定期執行 這裡使用crontab 來實現如果沒有安裝這個軟體請自行安裝
安裝好後

crontab -e

然後輸入

*/5 * * * * /etc/nginx/nginxlog.sh

然後儲存就好了，這裡需要提醒java quartz 的老司機這裡的cron 表示式是精確到分鐘而是秒，所以當儲存儲存的時候請注意表示式書寫正確沒有

這裡不清楚cron 表示式的可以自行腦補一下。

這樣就完成日誌檔案安裝指定週期分割了。然後就是這些程式去掃描對應檔案進行分析了