2. 程式人生 > >Docker極簡部署Kafka+Zookeeper+ElasticStack

Docker極簡部署Kafka+Zookeeper+ElasticStack

阿新 • • 發佈：2020-03-17
之前寫ELK部分時有朋友問有沒有能一鍵部署的Kafka+ELK，寫本文主要是填這個坑，基本上配置已經集中在一兩個檔案中了，理論上此配置支援ElasticStack 7.x所有版本 本文所有配置與程式碼均在本人Github中可以找到： ## 測試環境 - Ubuntu 18.04 LTS - Docker 18.09.7 - docker-compose 1.24.0 - 主機IP：192.168.87.139 - ElasticStack 7.5.2 ## 埠號佔用表 | 服務名稱 | 預設埠號 | | ------------- | ------------------------- | | elasticsearch | 9200 | | logstash | 9600 | | kibana | 5601 | | zookeeper | 2181 | | kafka | 9090 | | kafka-manager | 9001（防止與cerebro衝突） | >
以上埠號本來想再提供自定義配置到 `.env` 檔案中的，有過度設計的嫌疑，所以就不放上去了 ## 部署ElasticStack的主機的配置 **為ES修改記憶體限制** ```bash $ sudo vim /etc/security/limits.conf #新增如下內容並儲存退出 * soft memlock unlimited * hard memlock unlimited ``` **修改系統限制檔案開啟數、執行緒數等** ```bash $ sudo vim /etc/systemd/system.conf #最下方新增，引數值可以更大些 DefaultLimitNOFILE=65536 DefaultLimitNPROC=32000 DefaultLimitMEMLOCK=infinity ``` **重啟主機** 或 **執行命令**：`systemctl daemon-reexec` **修改vm.map計數的作業系統限制 並 禁用swap** ```bash $ sudo vim /etc/sysctl.conf #新增如下內容，如有配置，請修改 vm.max_map_count=262144 vm.swappiness=0 #儲存退出 $ sudo sysctl -p #立即永久生效 ``` >
有興趣的可以寫Shell指令碼自動配置，本人覺得這些配置最好還是對系統管理員或部署人員可見為好 ## Clone 倉庫到本地 ```shell git clone https://github.com/hellxz/QuickDeployElasticStack.git cd QuickDeployElasticStack ``` 檔案結構如下 ``` . ├── docker-compose.yml ├── logstash-pipeline │   └── logstash.conf └── README.md ``` ## 修改配置檔案.env 按需修改.env檔案 ```shell #docker-compose.yml引用變數，便於單機部署ElasticStack #Author: Hellxz #=========================== 宿主機 配置項 =================================== #宿主機ip LOCALHOST_IP=192.168.87.139 #=========================== ElasticStack 共用配置 =========================== #ELK Docker映象版本號 ELASTIC_STACK_VERSION=7.5.2 #=========================== Elasticsearch 配置項 ============================ #Elastsearch JVM設定, Xms與Xmx保持相同，最大不要超過32G ES_JVM_OPTS=-Xms8g -Xmx8g #Elastsearch資料持載目錄與日誌目錄，需要對映到主機上 ES_DATA_DIR=/data/elk/es-data ES_LOGS_DIR=/data/elk/es-logs #=========================== Logstash 配置項 ================================= #Logstash 流水線工作執行緒數 LOGSTASH_PIPELINE_WORKERS=5 #Logstash JVM設定 LS_JAVA_OPTS=-Xms4g -Xmx4g #=========================== Kafka 配置項 ==================================== #Kafka主機名 #外部訪問kafka時，只需將客戶端主機hosts新增Kafka宿主機ip與此主機名的對映 #例如，"10.2.6.63 kafka1" KAFKA_HOSTNAME=kafka1 #Kafka資料目錄 KAFKA_DATA_DIR=/data/elk/kafka-data #Kafka JVM設定 KAFKA_JVM_OPTS=-Xms4g -Xmx4g #Kafka啟動時建立的Topics #格式為"topic名稱:分割槽數:副本數[:清理策略]", 多個topic以','分開 KAFKA_BOOTSTRAP_CREATE_TOPICS=logsTopic:5:1:compact #=========================== KafkaManager 配置項 ============================= #自定義KafkaManager埠號 KAFKA_MANAGER_PORT=9001 #============================ 自定義引數 ===================================== ``` ## 修改logstash-pipeline/logstash.conf ```bash input { kafka { bootstrap_servers =>
"kafka1:9090" #替換為kafka對映hosts名稱 topics => ["logsTopic"] consumer_threads => 3 group_id => "logstash" decorate_events => true codec => json } } filter { #這裡留給大家自由發揮 } output { elasticsearch { hosts => ["192.168.87.139:9200"] #es地址 index => "logs-%{+YYYY.MM.dd}" #user => "elastic" #password => "changeme" } stdout { codec => rubydebug } } ``` ## 快速部署 配置完前邊的部分後，只需要在docker-compose.yml的資料夾下執行一行命令即可啟動 ```shell docker-compose up -d ``` ## 部署後修改配置 部署後修改配置的問題再所難免，處理也較簡單 修改 `docker-compose.yml` 的話，執行部署命令會檢測變更 ```shell docker-compose up -d ``` 非上述檔案的話，需要判斷變動配置會影響哪些容器，如： - Kafka依賴Zookeeper - Logstash依賴Es與Kafka - Kibana依賴Es 分別按依賴關係重啟容器即可（被依賴的如果變動需要先重啟）不被依賴的直接重啟 ```shell docker restart 容器ID或Name ``` **後續** 本文原始碼直接去Github上看吧，技術含量不高，主要是為了方便大家部署ELK 最後，如果本文對你有幫助，歡迎推薦、評論，轉載請註明出處。 原始碼地址：

相關推薦

Docker極簡部署Kafka+Zookeeper+ElasticStack

之前寫ELK部分時有朋友問有沒有能一鍵部署的Kafka+ELK，寫本文主要是填這個坑，基本上配置已經集中在一兩個檔案中了，理論上此配置支援ElasticStack 7.x所有版本 本文所有配置與程式碼均在本人Github中可以找到： ## 測試環境 - Ubuntu 18.04 LTS - Dock

asp.net core 發布到docker 極簡步驟

步驟 成功 img .com src dock 命令 http bubuko 1.使用dotnet命令發布項目 2.把發布成功的文件通過scp等工具發布到linux服務器上，在當前目錄下新建一個dockerfile 3.使用asp.net core鏡像為底包構建一個

Docker極簡教程 【進階】

原文連結：https://www.javazhiyin.com/20513.html 1. DockerFile建立映象 建立檔案Dockerfile檔案，該檔名不可更改 vi Dockerfile 寫入文字 FROM alpine:latest MAINT

Docker極簡教程【初識】

開頭安利一個Java方向的學習群：歡迎加入 Java知音三千人的社群：696209224 Docker 是一個開源的應用容器引擎，基於 Go 語言] 並遵從Apache2.0協議開源。Docker 可以讓開發者打包他們的應用以及依賴包到一個輕量級、可移植的容器中，然後釋出到任何流行

Docker極簡教程 【高階】

1.Registry介紹 Registry 是映象倉庫，我們可以從映象倉庫中拉取一些映象到本地，也可以提交映象到倉庫。 一些術語： ENGLISH 中文 host 宿主機 imag

Windows server 2008 部署Kafka Zookeeper小結

1.首先先下載Zookeeper ： Zookeeper下載連結 2.下載Kafka ：Kafka下載連結 ，注意：程式碼中使用Producer的話，要注意jar包要和安裝的ban版本一致 3.安裝Kafka ： 解壓Kafka，注意安裝目錄不能有空格，建一個lo

kubernetes的幾種極簡部署與試用方式

前言 前一段實踐想在開發環境下搞一套kubernetes，可惜手頭只有一臺開發用的windows機器，發現看似簡單的機器其實有不少的坑，走了不少彎路耗費了不少時間，在這裡記錄下來，希望後來人少走一樣的彎路。實際上這個問題本身就是一個有問題的問題，在國內的網路環境

部署kafka+zookeeper叢集，java實現生產和消費

很長一段時間沒有寫部落格了。最近單位系統升級，鑑於activemq+redis構架存在的一些我沒有能力解決的問題。考慮再三，決定換kafka+zookeeper。選用的是多節點多boker叢集。 先說一下我的伺服器歡迎： 編號 伺服器名 內網IP 0

docker極速搭建kafka 外網可以訪問-已測試

原文：https://blog.csdn.net/lblblblblzdx/article/details/80548294  docker極速搭建kafka，測試了其他很多資料  只有這個是外網可以訪問的 1. 啟動zookeeper容器 docker run -d

.Net Core in Docker極簡入門（上篇）

[TOC] # 前言 Docker 是一個開源的應用容器引擎，它十分火熱，如今幾乎成為了後端開發人員必須掌握的一項技能。即使你在生產環境中可能用不上它，就算把它當作一個輔助開發的工具來使用，也是非常方便的。本文就介紹一下.Net Core應用在Docker中的一些基本使用。 # 開始 ## 環境

.Net Core in Docker極簡入門（下篇）

Tips：本篇已加入系列文章閱讀目錄，可點選檢視更多相關文章。 [TOC] # 前言 上一篇【[.Net Core in Docker極簡入門（上篇）](https://www.cnblogs.com/xhznl/p/13353095.html)】講解了docker的一些基本命令和操作，併成功構建了自己

極簡的選擇！ iPXE+RancherOS+RancherLabs 實現 自動化 急速 大規模 批量部署 Docker 容器 節點 及 編排

RancherOS （v0.7.1） # 1.下載部署包，點這裡下載，由於CSDN資源限制原因，其中不包含ros.tar.xz，需要完整包點這裡。 # 2.按需修改檔案引數：1.boot.txt

docker環境下部署的微服務架構： zookeeper和kafka部署

轉載自：http://www.jianshu.com/p/263164fdcac7 kafka簡單介紹 Kafka 是 LinkedIn 開源的一種高吞吐量的分散式釋出訂閱訊息系統，kafka的誕生就是為了處理海量日誌資料，所以kafka處理訊息的效率非常高，即使是非常

KafKa+Zookeeper+Flume部署腳本

tns 企鵝 aaa 源碼 腳本 nsa data- aaaaa cst 喜歡學習的朋友可以收藏 願意了解框架技術或者源碼的朋友直接加求求（企鵝）：2042849237KafKa+Zookeeper+Flume部署腳本

Kafka+Zookeeper+Storm的docker化

docker kafka storm Kafka+Zookeeper+Storm的docker化 因為項目需要，需要把kafka、zookeeper、storm等服務組件docker化，在借鑒相關的開源dockerfile文件後，終於完成，以此記錄。 1.首先是建立基礎的Linux鏡像，針對本

部署Mesos+zookeeper+Marathon+Docker實戰

結果 executor disco client lower key 伸縮 python 開發 Mesos是什麽？ Mesos是Apache下的開源分布式資源管理框架，它被稱為是分布式系統的內核。Mesos能夠在同樣的集群機器上運行多種分布式系統類型，更加動態有效率低共享資

Docker下極速體驗Kafka

快速體驗Kafka Kafka是一種高吞吐量的分散式釋出訂閱訊息系統，從本章開始我們先極速體驗，再實戰docker下搭建kafka環境，最後開發一個java web應用來體驗kafka服務。 我們一起用最快的速度體驗kafka的訊息釋出訂閱功能： 新建一個

極簡構建docker映象並push到私有倉庫

step1，安裝本地docker環境，請自行百度 step2，本地docker 登入 私有倉庫，請自行百度 step3，調整 maven setting.xml 為當前環境的profile 新增 <properties> <!-- 本地 dock

阿里雲Ubuntu 16.04 部署Mysql資料庫-極簡

買了一臺阿里雲的伺服器，想搞搞事情。於是乎，準備搭建了Mysql資料庫，下面是具體的操作流程 1.安裝mysql服務端 sudo apt-get install mysql-server [ema

Mesos+Zookeeper+Marathon的Docker管理平臺部署記錄（2）--負載均衡marathon-lb

[[email protected] ~]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS