linux集群部署
*********************************配置主機名,通過主機名連接機器*********************************
比如說,已經有了三臺主機
1,在linux上設置hostname,通過hostname來訪問linux虛擬機
1.1. 修改hosts文件
vim /etc/hosts #/etc/hosts 的內容一般有如下類似內容: 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.202.156 node1 192.168.202.157 node2 192.168.202.158 node3
node1我當時沒有專門加這一行,而是直接在127.0.0.1後面,把localhost.localdomain修改為 node1
1.2. 修改network
修改配置文件/etc/sysconfig/network 修改HOSTNAME=yourname NETWORKING=yes HOSTNAME=node1
然後三臺機器重啟,reboot
重啟後,ssh node2 ,發現能通過主機名字,連上
*********************************不同機器間,免密訪問*********************************
通過secureCRT,send commands to all sessions,可以達到一個輸入,在多個linux中響應
免密訪問可以看 http://blog.chinaunix.net/uid-26284395-id-2949145.html
1、ssh-keygen
2、ssh-copy-id -i /root/.ssh/id_rsa.pub node1 (更換node2、3,然後一共重復三遍,將每臺機器的publickey放到三臺機器中)
最後,可以查看 cat /root/.ssh/authorized_keys 是否有node1、2、3,有的話就是可以
通過ssh node1、2、3,可以分別連上三臺機器。
*********************************安裝clustershell*********************************
我的linux是CentOS6.5
去下載包 clustershell-1.6-1.el6.noarch.rpm — RPM RHEL6/CentOS6/SL6
https://github.com/cea-hpc/clustershell/downloads
執行命令,安裝:rpm -ivh clustershell-1.6-1.el6.noarch.rpm
安裝成功後,
vim /etc/clustershell/groups
在groups裏面加一個組
kafka: node[1-3]
這樣就把node[1-3] 加入到kafka這個組裏面。
這樣,clustershell 安裝成功
clush -g kafka -c /opt/kafka
可以將/opt/kafka復制到集群中這個組中去
*********************************安裝zookeeper,並啟動*********************************
cd zookeeper-3.4.10 cd conf/ cp zoo_sample.cfg zoo.cfg vim zoo.cfg 加入: server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3:2888:3888 clush -g kafka -c zoo.cfg clush -g kafka mkdir /tmp/zookeeper echo "1" > /tmp/zookeeper/myid [[email protected] conf]# clush -g kafka cat /tmp/zookeeper/myid node3: 3 node2: 2 node1: 1 [[email protected] zookeeper-3.4.10]# clush -g kafka "/opt/kafka/zookeeper-3.4.10/bin/zkServer.sh start /opt/kafka/zookeeper-3.4.10/conf/zoo.cfg " node1: ZooKeeper JMX enabled by default node1: Using config: /opt/kafka/zookeeper-3.4.10/conf/zoo.cfg node2: ZooKeeper JMX enabled by default node3: ZooKeeper JMX enabled by default node2: Using config: /opt/kafka/zookeeper-3.4.10/conf/zoo.cfg node3: Using config: /opt/kafka/zookeeper-3.4.10/conf/zoo.cfg node1: Starting zookeeper ... STARTED node2: Starting zookeeper ... STARTED node3: Starting zookeeper ... STARTED [[email protected] zookeeper-3.4.10]# clush -g kafka "/opt/kafka/zookeeper-3.4.10/bin/zkServer.sh status /opt/kafka/zookeeper-3.4.10/conf/zoo.cfg "
如果沒有啟動成功,那就可能是防火墻的問題,吧防火墻關了即可
clush -g kafka service iptables stop
linux集群部署