企業網站架構之Nginx+tomcat+memcached叢集
nginx+tomcat+memcached應用
系統環境:RHEL6.4 x64 iptables -F and selinux is disabled
主機角色:node1 :192.168.0.24 :lnmp環境 tomcat memcached
node2 :192.168.0.99 : tomcat memcached
軟體下載:在lnmp環境上測試tomcat,使用nginx簡單釋出jsp
jdk-6u32-linux-x64.bin apache-tomcat-7.0.37.tar.gz
https://code.google.com/memcached-session-manager
Nginx(lnmp)
/
<T1> <T2>
; / ;
; / ;
; / ;
; / ;
<M1> <M2>
Tomcat1將session儲存在memcacted2上.tomcat和Memcached使用交叉儲存,只有當M2不可用時T1才將資料儲存在M1上(M1是T1的failoverNode),使用這種方式可以避免單點故障.從而實現應用的高可用性.
注意:兩臺node上的tomcat應用完全一致
1.在兩臺node主機上配置tomcat環境
#sh jdk-6u32-linux-x64.bin # mv jdk1.6.0_32/ /usr/local/lnmp/jdk 這個不是必須的,看自己的習慣哦 #vim /etc/profile 編寫環境變數 export JAVA_HOME=/usr/local/lnmp/jdk export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin #source /etc/profile #which javac #which java #vim test.java public class test{ public static void main(String[] args) {System.out.println("Hello!"); } } #javac test.java 編譯 #java test 執行後出現Hello!說名java環境配置好
安裝tomcat伺服器
#tar zxf apache-tomcat-7.0.37.tar.gz 解壓就能用,不需要編譯
#mv apache-tomcat-7.0.37 tomcat
#/root/tomcat/webapps/ROOT tomcat的預設釋出目錄
#/root/tomcat/bin/startup.sh(shutdown.sh) tomcat預設的啟動和關閉指令碼tomcat預設開啟8080埠,
測試http://192.168.0.24:8080 訪問到tomcat預設的測試頁
#cd tomcat/webapps/ROOT 自寫測試頁
#vim test.jsp
this time is: <%=new java.util.Date()%>
測試訪問;http://192.168.0.24:8080 顯示當前時間
tomcat訪問每次得8080埠,使用nginx反向代理一下。
使用nginx釋出jsp動態網頁:
修改nginx配置檔案:vim /usr/local/lnmp/nginx/conf/nginx.conf
location ~ .jsp$ {
proxy_pass http://127.0.0.1:8080;
}
nginx -t && nginx -s reload訪問:http://192.168.0.24/test.jsp
同步兩臺tomcat的內容
#scp tomcat/ jdk/ 192.168.0.99:
修改java環境變數/etc/profile
啟動tomcat服務，並且編寫可以識別的指令碼
測試：http：//192.168.0.99：8080/test.jsp
兩臺node(tomcat)準備好了
2.在node1上的nginx環境中釋出網頁
使用nginx的負載均衡功能,
在http塊中加
upstream linux {
server 192.168.0.24:8080;
server 192.168.0.99:8080;
}
location ~ .jsp$ {
proxy_pass http://linux;
}
nginx -t && nginx -s reload 測試：http：//lnmp.xxb.com/test.jsp 實現兩臺主機的負載均衡
lnmp.xxb.com對應的是nginx的(24)主機
問題:在後臺實現了nginx的負載均衡,但是當一個使用者重新整理資料時,資料總是變化的,試想,在動態頁面,如果使用者提交資料重新整理後會換成另外一個空面,這樣會造成一定的損失
解決:給nginx增加一個sticky模組.(需要重新編譯nginx)
重新在nginx在進行模組化編譯：
download:nginx-sticky-modules.tar.gz(解壓就行)
#cd nginx-1.4.2/
# ./configure --prefix=/usr/local/lnmp/nginx --with-http_ssl_module --with-http_stub_status_module --add-module=/root/nginx-sticky-module-1.0
#make && make install
vim nginx.conf
upstream linux {
sticky;
裝了nginx-sticky後的功能
server 192.168.0.99:8080 ;
server 192.168.0.24:8080 ;
}測試：http://lnmp.xxb.com/test.jsp 後發現重新整理不會來回負載(每個使用者看到的其實不是一個tomcat上的資料,但是對使用者是透明的)
3.nginx負載tomcat的jsp時,需要解決session共享:
使用memcache進行快取(使用者)後端資料,但是又要想到解決單點故障問題,因而可以採用兩臺memcache作為後端負載.
memcached 11211 後端使用交叉試儲存(tomcat會將session同步,session自動尋找儲存的memcached,但是預設是交叉儲存,當m壞掉,tomcat都會存到存活的m上)
只要tomcat不會宕掉,一切資料都還ok
但是當memcached宕掉,tomcat會向存活的mem上存取
session 的序列化方案官方推薦的有 4 種:
1. java serialization
2. msm-kryo-serializer
3. msm-javolution-serializer
4. msm-xstream-serializer
其中效能最好的數Kryo,我們使用kryo來做session
mecached伺服器node1 and node2
#yum install memcached -y
#/etc/init.d/memcached restart
memcached預設開啟11211埠
測試訪問:telnet localhost 11211
stats 檢視狀態
set user 0 0 3 儲存新值(add replace)
get user 獲取值
配置兩臺memcached伺服器(tomcat),下載jar包(必須支援相關的java程式)
kryo-1.03.jar
kryo-serializers-0.8.jar
memcached-2.5.jar
memcached-session-manager-1.5.1.jar
memcached-session-manager-tc7-1.5.1.jar
minlog-1.2.jar
msm-kryo-serializer-1.5.1.jar
reflectasm-0.9.jar
node1 and node2 同步的內容哦
#cd tomcat/lib/
#mget jar/* 下載tomcat的session共享管理
#cd tomcat/conf/
# vim context.xml
<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="n1:192.168.0.24:11211,n2:192.168.0.99:11211"
failoverNodes="n1" 失敗時存到n1，正常時互動儲存;tomcat2需要變n2
requestUriIgnorePattern=".*.(ico|png|gif|jpg|css|js)$" transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
/>
#tomcat/bin/.sthudown.sh 關閉tomcat後重啟,以識別memcached-session-manager
# tail -f logs/catalina.out 預設日誌
INFO: MemcachedSessionService finished initialization, sticky true, operation timeout 1000, with node ids [n2] and failover node ids [n1]正常啟動
編輯測試檔案:
(動態效果的jsp網頁)
# vim tomcat/webapps/ROOT/test.jsp 提交使用者資訊的測試頁
<%@ page contentType="text/html; charset=GBK" %>
<%@ page import="java.util.*" %>
<html><head><title>Cluster App Test</title></head>
<body>
Server Info:
<%
out.println(request.getLocalAddr() + " : " + request.getLocalPort()+"<br>");%>
<%
out.println("<br> ID " + session.getId()+"<br>");
String dataName = request.getParameter("dataName");
if (dataName != null && dataName.length() > 0) {
String dataValue = request.getParameter("dataValue");
session.setAttribute(dataName, dataValue);
}
out.print("<b>Session list</b>");
Enumeration e = session.getAttributeNames();
while (e.hasMoreElements()) {
String name = (String)e.nextElement();
String value = session.getAttribute(name).toString();
out.println( name + " = " + value+"<br>");
System.out.println( name + " = " + value);
}
%>
<form action="test.jsp" method="POST">
name:<input type=text size=20 name="dataName">
<br>
key:<input type=text size=20 name="dataValue">
<br>
<input type=submit>
</form>
</body>
</html>session共享完成:兩臺tomcat和memcached機子做相同的配置(jdk,memcache,tomcat)
測試:
http://lnmp.xxb.com/test.jsp 使用一臺tomcat和另外一臺的memcached進行session共享
當任何一臺tomcat或者memcached掛了都無所謂
session會記錄並且保持使用者的資料資訊
圖1：
訪問node1資料預設存在node2的memcached上,但是node1上能看見資料
圖2
可以看見,當訪問node1的時候預設放資料是在node2上的
圖3：
