2. 程式人生 > 實用技巧 >JVM垃圾回收分析

JVM垃圾回收分析

阿新 • • 發佈：2020-07-22

Nginx安裝

注意：這裡以CentOS 6.8伺服器為例，以root使用者身份來安裝Nginx。

1.安裝依賴環境

yum-yinstallwgetgcc-c++ncursesncurses-develcmakemakeperlbisonopensslopenssl-develgcc*libxml2libxml2-develcurl-devellibjpeg*libpng*freetype*autoconfautomakezlib*fiex*libxml*libmcrypt*libtool-ltdl-devel*libaiolibaio-develbzrlibtool

2.安裝openssl

wgethttps://www.openssl.org/source/openssl-1.0.2s.tar.gz
tar-zxvfopenssl-1.0.2s.tar.gz
cd/usr/local/src/openssl-1.0.2s
./config--prefix=/usr/local/openssl-1.0.2s
make
makeinstall

3.安裝pcre

wgethttps://ftp.pcre.org/pub/pcre/pcre-8.43.tar.gz
tar-zxvfpcre-8.43.tar.gz
cd/usr/local/src/pcre-8.43
./configure--prefix=/usr/local/pcre-8.43
make
makeinstall

4.安裝zlib

wgethttps://sourceforge.net/projects/libpng/files/zlib/1.2.11/zlib-1.2.11.tar.gz
tar-zxvfzlib-1.2.11.tar.gz
cd/usr/local/src/zlib-1.2.11
./configure--prefix=/usr/local/zlib-1.2.11
make
make

5.安裝Nginx

wgethttp://nginx.org/download/nginx-1.17.2.tar.gz
tar-zxvfnginx-1.17.2.tar.gz
cd/usr/local/src/nginx-1.17.2
./configure--prefix=/usr/local/nginx-1.17.2--with-openssl=/usr/local/src/openssl-1.0.2s--with-pcre=/usr/local/src/pcre-8.43--with-zlib=/usr/local/src/zlib-1.2.11--with-http_ssl_module
 
make
makeinstall

這裡需要注意的是：安裝Nginx時，指定的是openssl、pcre和zlib的原始碼解壓目錄，安裝完成後Nginx配置檔案的完整路徑為：/usr/local/nginx-1.17.2/conf/nginx.conf。

Nginx負載均衡配置

1.負載均衡配置

http{
……
upstreamreal_server{
server192.168.103.100:2001weight=1;#輪詢伺服器和訪問權重
server192.168.103.100:2002weight=2;
}

server{
listen80;

location/{
proxy_passhttp://real_server;
}
}
}

2.失敗重試配置

upstreamreal_server{
server192.168.103.100:2001weight=1max_fails=2fail_timeout=60s;
server192.168.103.100:2002weight=2max_fails=2fail_timeout=60s;
}

意思是在fail_timeout時間內失敗了max_fails次請求後，則認為該上游伺服器不可用，然後將該服務地址踢除掉。fail_timeout時間後會再次將該伺服器加入存活列表，進行重試。

Nginx限流配置

1.配置引數

limit_req_zone指令設定引數

limit_req_zone$binary_remote_addrzone=mylimit:10mrate=10r/s;

  • limit_req_zone定義在http塊中，$binary_remote_addr表示儲存客戶端IP地址的二進位制形式。

  • Zone定義IP狀態及URL訪問頻率的共享記憶體區域。zone=keyword標識區域的名字，以及冒號後面跟區域大小。16000個IP地址的狀態資訊約1MB，所以示例中區域可以儲存160000個IP地址。

  • Rate定義最大請求速率。示例中速率不能超過每秒10個請求。

2.設定限流

location/{
limit_reqzone=mylimitburst=20nodelay;
proxy_passhttp://real_server;
}

burst排隊大小，nodelay不限制單個請求間的時間。

3.不限流白名單

geo$limit{
default1;
192.168.2.0/240;
}

map$limit$limit_key{
1$binary_remote_addr;
0"";
}

limit_req_zone$limit_keyzone=mylimit:10mrate=1r/s;

location/{
limit_reqzone=mylimitburst=1nodelay;
proxy_passhttp://real_server;
}

上述配置中，192.168.2.0/24網段的IP訪問是不限流的，其他限流。

IP後面的數字含義：

  • 24表示子網掩碼:255.255.255.0

  • 16表示子網掩碼:255.255.0.0

  • 8表示子網掩碼:255.0.0.0

Nginx快取配置

1.瀏覽器快取

靜態資源快取用expire

location~*.(jpg|jpeg|png|gif|ico|css|js)${
expires2d;
}

Response Header中添加了Expires和Cache-Control,

靜態資源包括（一般快取）

  • 普通不變的影象，如logo，圖示等

  • js、css靜態檔案

  • 可下載的內容，媒體檔案

協商快取（add_header ETag/Last-Modified value）

  • HTML檔案

  • 經常替換的圖片

  • 經常修改的js、css檔案

  • 基本不變的API介面

不需要快取

  • 使用者隱私等敏感資料

  • 經常改變的api資料介面

2.代理層快取

//快取路徑，inactive表示快取的時間，到期之後將會把快取清理
proxy_cache_path/data/cache/nginx/levels=1:2keys_zone=cache:512minactive=1dmax_size=8g;

location/{
location~\.(htm|html)?${
proxy_cachecache;
proxy_cache_key$uri$is_args$args;//以此變數值做HASH，作為KEY
//HTTP響應首部可以看到X-Cache欄位，內容可以有HIT,MISS,EXPIRES等等
add_headerX-Cache$upstream_cache_status;
proxy_cache_valid20010m;
proxy_cache_validany1m;
proxy_passhttp://real_server;
proxy_redirectoff;
}
location~.*\.(gif|jpg|jpeg|bmp|png|ico|txt|js|css)${
root/data/webapps/edc;
expires3d;
add_headerStaticNginx-Proxy;
}
}

在本地磁碟建立一個檔案目錄，根據設定，將請求的資源以K-V形式快取在此目錄當中，KEY需要自己定義（這裡用的是url的hash值），同時可以根據需要指定某內容的快取時長，比如狀態碼為200快取10分鐘，狀態碼為301，302的快取5分鐘，其他所有內容快取1分鐘等等。
可以通過purger的功能清理快取。

AB測試/個性化需求時應禁用掉瀏覽器快取。

Nginx黑名單

1.一般配置

location/{
deny192.168.1.1;
deny192.168.1.0/24;
allow10.1.1.0/16;
allow2001:0db8::/32;
denyall;
}

2. Lua+Redis動態黑名單(OpenResty)

安裝執行

yuminstallyum-utils
yum-config-manager--add-repohttps://openresty.org/package/centos/openresty.repo
yuminstallopenresty
yuminstallopenresty-resty
檢視
yum--disablerepo="*"--enablerepo="openresty"listavailable
執行
serviceopenrestystart

配置(/usr/local/openresty/nginx/conf/nginx.conf)

lua_shared_dictip_blacklist1m;

server{
listen80;

location/{
access_by_lua_filelua/ip_blacklist.lua;
proxy_passhttp://real_server;
}
}

lua指令碼（ip_blacklist.lua）

localredis_host="192.168.1.132"
localredis_port=6379
localredis_pwd=123456
localredis_db=2

--connectiontimeoutforredisinms.
localredis_connection_timeout=100

--asetkeyforblacklistentries
localredis_key="ip_blacklist"

--cachelookupsforthismanyseconds
localcache_ttl=60

--endconfiguration

localip=ngx.var.remote_addr
localip_blacklist=ngx.shared.ip_blacklist
locallast_update_time=ip_blacklist:get("last_update_time");

--updateip_blacklistfromRediseverycache_ttlseconds:
iflast_update_time==nilorlast_update_time<(ngx.now()-cache_ttl)then

localredis=require"resty.redis";
localred=redis:new();

red:set_timeout(redis_connect_timeout);

localok,err=red:connect(redis_host,redis_port);
ifnotokthen
ngx.log(ngx.ERR,"Redisconnectionerrorwhileconnect:"..err);
else
localok,err=red:auth(redis_pwd)
ifnotokthen
ngx.log(ngx.ERR,"Redispassworderrorwhileauth:"..err);
else
localnew_ip_blacklist,err=red:smembers(redis_key);
iferrthen
ngx.log(ngx.ERR,"Redisreaderrorwhileretrievingip_blacklist:"..err);
else
ngx.log(ngx.ERR,"Getdatasuccess:"..new_ip_blacklist)
--replacethelocallystoredip_blacklistwiththeupdatedvalues:
ip_blacklist:flush_all();
forindex,banned_ipinipairs(new_ip_blacklist)do
ip_blacklist:set(banned_ip,true);
end
--updatetime
ip_blacklist:set("last_update_time",ngx.now());
end
end
end
end

ifip_blacklist:get(ip)then
ngx.log(ngx.ERR,"BannedIPdetectedandrefusedaccess:"..ip);
returnngx.exit(ngx.HTTP_FORBIDDEN);
end

Nginx灰度釋出

1.根據Cookie實現灰度釋出

根據Cookie查詢version值，如果該version值為v1轉發到host1，為v2轉發到host2，都不匹配的情況下轉發到預設配置。

upstreamhost1{
server192.168.2.46:2001weight=1;#輪詢伺服器和訪問權重
server192.168.2.46:2002weight=2;
}

upstreamhost2{
server192.168.1.155:1111max_fails=1fail_timeout=60;
}

upstreamdefault{
server192.168.1.153:1111max_fails=1fail_timeout=60;
}

map$COOKIE_version$group{
~*v1$host1;
~*v2$host2;
defaultdefault;
}

lua_shared_dictip_blacklist1m;

server{
listen80;

#set$group"default";
#if($http_cookie~*"version=v1"){
#set$grouphost1;
#}
#if($http_cookie~*"version=v2"){
#set$grouphost2;
#}

location/{
access_by_lua_filelua/ip_blacklist.lua;
proxy_passhttp://$group;
}
}

2.根據來路IP實現灰度釋出

server{
……………
set$groupdefault;
if($remote_addr~"192.168.119.1"){
set$grouphost1;
}
if($remote_addr~"192.168.119.2"){
set$grouphost2;
}

3.更細粒度灰度釋出

參考：

https://github.com/sunshinelyz/ABTestingGateway

好了，咱們今天就聊到這兒吧！別忘了給個在看和轉發，讓更多的人看到，一起學習一起進步！！

相關推薦

相關推薦

JVM垃圾回收分析

GC和GC Tuning GCC基礎知識 什麼是垃圾 C語言申請記憶體：malloc free C++: new delete C/C++: 手動回收記憶體

JVM垃圾回收演算法的概念與分析

前言 在JVM記憶體模型中會將堆記憶體劃分新生代、老年代兩個區域，兩塊區域的主要區別在於新生代存放存活時間較短的物件，老年代存放存活時間較久的物件，除了存活時間不同外，還有垃圾回收策略的不同，在JVM中中有

JVM垃圾回收概述

垃圾回收概述 什麼是垃圾 什麼是垃圾( Garbage) 呢? 垃圾是指在執行程式中沒有任何指標指向的物件，這個物件就是需要被回收的垃圾。

JVM垃圾回收的過程

JVM垃圾回收的演算法很多，但是不管是哪種演算法，在進行GC時大致的流程都是差不多的，主要有以下3個過程：

JVM垃圾回收（五）

低延遲垃圾收集器 衡量垃圾收集器的三項最重要的指標是： 記憶體佔用（Footprint）、吞吐量（Throughput）和延遲（Latency）。三者總體的表現會隨技術進步而越來越好，但是要在這三個方面同時具有卓越表現的“完

JVM垃圾回收（六）

記憶體分配與回收策略 大多數情況下，物件在新生代Eden區中分配。當Eden區沒有足夠空間進行分配時，虛擬機器將發起一次Minor GC。

JVM垃圾回收相關演算法

垃圾標記階段 物件存活判斷：在堆裡存放著幾乎所有的Java物件例項，在GC執行垃圾回收之前，首先需要區分出記憶體中哪些是存活物件，哪些是已經死亡的物件。只有被標記為己經死亡的物件，GC才會在執行垃圾回收時，釋

JVM垃圾回收概念

垃圾回收概念 什麼是垃圾 垃圾是指在執行程式中沒有任何指標指向的物件，這個物件就是需要被回收的垃圾。

真的可惜，四面阿里，結果我被JVM垃圾回收機制與 OOM異常卡住了

前言 為什麼需要垃圾回收 首先我們來聊聊為什麼會需要垃圾回收，假設我們不進行垃圾回收會造成什麼後果，我們舉一個簡單的例子

[JVM垃圾回收3]垃圾回收相關概念

System.gc()的理解 在預設情況下，通過System.gc()或Runtime.getRuntime().gc()的呼叫，會顯示觸發FullGC，同時對老年代和新生代進行回收，嘗試釋放被丟棄物件佔用的記憶體。

淺析JVM垃圾回收的過程

JVM垃圾回收的演算法很多，但是不管是哪種演算法，在進行GC時大致的流程都是差不多的，主要有以下3個過程：

java面試--Java基礎--JVM--垃圾回收機制

如何判定物件為垃圾物件 在堆裡面存放著Java世界中幾乎所有的物件例項, 垃圾收集器在對堆進行回收前, 第一件事就是判斷哪些物件已死(可回收).

JVM-垃圾回收篇

目錄JVM-垃圾回收篇前言舉個例子JVM 有哪些垃圾回收演算法？標記-清除演算法複製演算法標記-整理演算法分代收集演算法JVM 有哪些垃圾回收器？概述幾個相關概念一：Serial 收集器二：ParNew收集器三：Parallel Scaven

JVM垃圾回收

JVM垃圾回收 安全點 方法呼叫，迴圈跳轉，異常跳轉的地方一般設定為安全點。

15. JVM垃圾回收器詳解

1. 垃圾回收器的分類 和 GC效能指標 垃圾收集器沒有在規範中進行過多的規定，可以由不同的廠商、不同版本的JVM來實現。

JVM - 垃圾回收概述

技術標籤：jvmjvmjava 文章目錄 引用計數法迴圈引用 GC Root 可達性分析根物件定義通過 finalize() 復活糟糕的 finalize引用佇列

JVM垃圾回收機制

技術標籤：JavaJVM垃圾回收器分代垃圾回收 文章目錄 第一章：垃圾回收簡介1.1 什麼是自動垃圾回收1.2 自動垃圾回收基本流程第一步：標記 Marking第二步a：正常刪除 Normal Deletion第二步b：壓縮刪除 Deletion

jvm垃圾回收之finalize方法

技術標籤：垃圾回收jvmjvm.gc 垃圾回收： 首先進行一次引用判斷，當前資源是否有GCroot引用，沒有引用則進行下一步檢視物件是否有必要執行finalize方法，有必要則進行下一步-----沒有必要執行finalize則直接進行

JVM 垃圾回收（三）垃圾回收器和 JDK版本更新有關垃圾回收機制內容

1. 序列 特點： 單執行緒堆記憶體較小，適合個人電腦 2. 吞吐量優先 讓單位時間內, STW的時間最短0.2 0.2 = 0.4 ,垃圾回收時間佔比最低，這樣就稱吞吐量高。當進行垃圾回收的時候cpu佔用會升高。

JVM垃圾回收面試題詳解，Java入門程式設計教程

JVM垃圾回收面試題詳解，Java入門程式設計教程 2.2.2 哪些物件可作為GC Roots 有四類物件可作為可達性分析的GC Roots