1.Flink實時專案前期準備
1.日誌生成專案
日誌生成機器:hadoop101
jar包:mock-log-0.0.1-SNAPSHOT.jar
gmall_mock
|----mock_common
|----mock_db
|----mock_log
專案地址:https://github.com/zhangbaohpu/gmall-mock
將模組mock_log打包成jar,並在同級新增application.yml
cd /opt/software/applog/
vim application.yml
點選檢視程式碼
# 外部配置開啟 # logging.config=./logback.xml #業務日期 mock.date: "2020-12-18" #模擬資料傳送模式 mock.type: "http" #http模式下,傳送的地址 mock.url: "http://hadoop101:8081/applog" #mock: # kafka-server: "hdp1:9092,hdp2:9092,hdp3:9092" # kafka-topic: "ODS_BASE_LOG" #啟動次數 mock.startup.count: 1000 #裝置最大值 mock.max.mid: 20 #會員最大值 mock.max.uid: 50 #商品最大值 mock.max.sku-id: 10 #頁面平均訪問時間 mock.page.during-time-ms: 20000 #錯誤概率 百分比 mock.error.rate: 3 #每條日誌傳送延遲 ms mock.log.sleep: 100 #商品詳情來源 使用者查詢,商品推廣,智慧推薦, 促銷活動 mock.detail.source-type-rate: "40:25:15:20" #領取購物券概率 mock.if_get_coupon_rate: 75 #購物券最大id mock.max.coupon-id: 3 #搜尋關鍵詞 mock.search.keyword: "圖書,小米,iphone11,電視,口紅,ps5,蘋果手機,小米盒子"
然後啟動專案
java -jar mock-log-0.0.1-SNAPSHOT.jar
預設埠8080,呼叫以下方法,會向介面http://hadoop101:8081/applog 傳送日誌資料
點選檢視程式碼
import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.context.ConfigurableApplicationContext; @SpringBootApplication public class GmallMockLogApplication { public static void main(String[] args) { ConfigurableApplicationContext context = SpringApplication.run(GmallMockLogApplication.class, args); MockTask mockTask = context.getBean(MockTask.class); mockTask.mainTask(); } }
2.日誌採集專案
日誌處理機器:hadoop101,hadoop102,hadoop103
專案地址:https://github.com/zhangbaohpu/gmall-flink-parent/tree/master/gmall-logger
jar包:gmall-logger-0.0.1-SNAPSHOT.jar
專案中配置檔案:application.yml
點選檢視程式碼
server: port: 8081 #kafka spring: kafka: bootstrap-servers: 192.168.88.71:9092,192.168.88.72:9092,192.168.88.73:9092 producer: key-serializer: org.apache.kafka.common.serialization.StringSerializer value-serializer: org.apache.kafka.common.serialization.StringSerializer
LoggerController.java
接收日誌,並把日誌傳送給kafka
點選檢視程式碼
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
/**
* @author zhangbao
* @date 2021/5/16 11:33
**/
@RestController
@Slf4j
public class LoggerController {
@Autowired
KafkaTemplate kafkaTemplate;
@RequestMapping("/applog")
public String logger(String param){
log.info(param);
kafkaTemplate.send("ods_base_log",param);
return param;
}
}
3.nginx配置
安裝機器:hadoop101
修改nginx.conf配置,hadoop101作為負載均衡機器,hadoop101,hadoop102,hadoop103作為日誌處理機器,nginx預設埠為80,主要配置如下:
點選檢視程式碼
#在 server 內部配置
location /
{
proxy_pass http://www.logserver.com;
}
#切記:在 server 外部配置反向代理
upstream www.logserver.com{
server hadoop101:8081 weight=1;
server hadoop102:8081 weight=2;
server hadoop103:8081 weight=3;
}
4.將日誌採集專案jar分發
將日誌採集jar包分發到其他機器,供nginx負載均衡轉發呼叫
xsync gmall-logger-0.0.1-SNAPSHOT.jar
5.修改模擬日誌生成的配置
我們將生成的日子傳送給nginx,然後在分發到其他採集日誌的機器,生成日誌的機器在hadoop101
cd /opt/software/applog/
vim application.yml
點選檢視程式碼
#模擬資料傳送模式
mock.type: "http"
#http模式下,傳送的地址
mock.url: "http://hadoop101/applog"
6.叢集群起指令碼
將採集日誌服務和nginx服務放在指令碼中
在/home/zhangbao/bin建立指令碼logger.sh
cd /home/zhangbao/bin
,並授予執行許可權
點選檢視程式碼
#!/bin/bash
JAVA_HOME=/opt/module/jdk1.8.0_144/bin/java
APPNAME=gmall-logger-0.0.1-SNAPSHOT.jar
case $1 in
"start"){
for i in hadoop101 hadoop102 hadoop103
do
echo "================$i================="
ssh $i "$JAVA_HOME -Xms32m -Xmx64m -jar /opt/software/applog/$APPNAME >/dev/null 2>&1 &"
done
echo "===============NGINX================="
/opt/module/nginx/sbin/nginx
};;
"stop"){
echo "===============NGINX================="
/opt/module/nginx/sbin/nginx -s stop
for i in hadoop101 hadoop102 hadoop103
do
echo "================$i==============="
ssh $i "ps -ef|grep $APPNAME |grep -v grep|awk '{print \$2}'|xargs kill" >dev/null 2>&1
done
};;
esac
7.測試
hadoop101 | hadoop102 | hadoop103 | |
---|---|---|---|
gmall_mock(生產日誌) | √ | ||
gmall-logger(採集日誌) | √ | √ | √ |
nginx | √ | ||
kafka | √ | √ | √ |
注意以下操作需要在linux的zhangbao使用者下操作,因為這些元件是在此使用者下安裝,不然起不來,指令碼都在hadoop101這臺機器:
啟動zookeeper
su zhangbao
zk.sh start
啟動kafka
kf.sh start
然後本專案的jar包可以在root使用者下操作
手動執行
- 啟動kafka消費者
kafka-console-consumer.sh --zookeeper hadoop101:2181,hadoop102:2181,hadoop103:2181 --topic ods_base_log
- 啟動nginx
/opt/module/nginx/sbin/nginx
,地址:http://hadoop101/
-
啟動日誌採集服務
日誌採集服務做了負責均衡,分別在hadoop101,hadoop102,hadoop103
java -jar /opt/software/applog/gmall-logger-0.0.1-SNAPSHOT.jar
-
生產日誌服務
生產日誌服務在hadoop101,一臺即可
java -jar /opt/software/applog/mock-log-0.0.1-SNAPSHOT.jar
使用指令碼啟停採集日誌服務和nginx服務
./bin/logger.sh start
./bin/logger.sh stop