elasticsearch 壓測優化後的配置
配置說明
一、JVM配置:
Jdk1.8(es要求最低jdk1.7)
最大堆最小堆均為32G
GC型別:-XX:+UseG1Gc -XX:MaxGCPauseMillis=200 。
其他預設。
二、Es叢集配置:
cluster.name: es-test
node.name: "test-169-71"
node.master: false
node.data: true
index.store.type: niofs 讀寫檔案方式
index.cache.field.type: soft 快取型別
bootstrap.mlockall: true 禁用swap
gateway.type: local 本地儲存
gateway.recover_after_nodes: 3 3個數據節點開始恢復
gateway.recover_after_time: 5m 5分鐘後開始恢復資料
gateway.expected_nodes: 4 4個
cluster.routing.allocation.node_initial_primaries_recoveries:8 併發恢復分片數
cluster.routing.allocation.node_concurrent_recoveries:2 同時recovery併發數
indices.recovery.max_bytes_per_sec: 250mb 資料在節點間傳輸最大頻寬
indices.recovery.concurrent_streams: 8 同時讀取資料檔案流執行緒
discovery.zen.ping.multicast.enabled: false 禁用多播
discovery.zen.ping.unicast.hosts:["192.168.169.51:9300", "192.168.169.52:9300"]
discovery.zen.fd.ping_interval: 10s 節點間存活檢測間隔
discovery.zen.fd.ping_timeout: 120s 存活超時時間
discovery.zen.fd.ping_retries: 6 存活超時重試次數
http.cors.enabled: true 使用監控
index.analysis.analyzer.ik.type:"ik" ik分詞
#####thread pool setting#################
threadpool.index.type: fixed 寫索引執行緒池型別
threadpool.index.size: 64 執行緒池大小(建議2~3倍cpu數)
threadpool.index.queue_size: 1000 佇列大小
threadpool.search.size: 64 搜尋執行緒池大小
threadpool.search.type: fixed 搜尋執行緒池型別
threadpool.search.queue_size: 1000 佇列大小
threadpool.get.type: fixed 取資料執行緒池型別
threadpool.get.size: 32 取資料執行緒池大小
threadpool.get.queue_size: 1000 佇列大小
threadpool.bulk.type: fixed 批量請求執行緒池型別
threadpool.bulk.size: 32 批量請求執行緒池大小
threadpool.bulk.queue_size: 1000 佇列大小
threadpool.flush.type: fixed 刷磁碟執行緒池型別
threadpool.flush.size: 32 刷磁碟執行緒池大小
threadpool.flush.queue_size: 1000 佇列大小
#indices.store.throttle.type: merge
indices.store.throttle.type: none 寫磁碟型別
indices.store.throttle.max_bytes_per_sec:500mb 寫磁碟最大頻寬
index.merge.scheduler.max_thread_count: 8 索引merge最大執行緒數
index.translog.flush_threshold_size:600MB 重新整理translog檔案閥值
相關推薦
elasticsearch 壓測優化後的配置
配置說明 一、JVM配置: Jdk1.8(es要求最低jdk1.7) 最大堆最小堆均為32G GC型別:-XX:+UseG1Gc -XX:MaxGCPauseMillis=200 。 其他預設。 二、Es叢集配置: cluster.name: es-test
初次端內開發及node壓測優化
前段時間客戶端這邊做了一個爆款活動,我這邊支援了一下h5頁面,也是我做了這麼久的web頁面之後第一次嘗試做移動端和使用jsbridge,同時因為我們的服務有使用nodejs踩了一些坑,在這裡記錄一下。 端內開發程式碼規範 這裡只記錄了幾個開發的時候沒有注意到的坑 1. 無襯線字型
想做iPhoneX搶購活動?壓測大師先教你優化網站後臺
app get 了解 頁面 報告 好的 騰訊 智能手機 如果 北京時間9月13日淩晨1點,iPhone 10周年,在Apple Park喬布斯劇院,蘋果發布了三款新iPhone。全面屏iPhone X來襲,這款被定義為未來的智能手機黑科技滿滿:全面屏,無線充電、面部識別“F
後端服務性能壓測實踐
sta gosling rmp cor top 環境 結構 發現 路線 轉自:https://mp.weixin.qq.com/s/XW9geHZ9odHdI7srDiKBIg 目錄 背景 環境檢測 壓力機及壓力工具檢測 Linux openfiles
Jmeter-----隨機生成手機號後8位並去重,來進行註冊手機號的壓測
2種 技術分享 16px 打印 http style 方法 sam phone 要求:對註冊接口進行100000次壓測,手機號已126開頭,後面的8位數不限 前言:在進行測試中,我們需要對註冊接口進行壓測100000次,那麽就要求手機號碼每次填寫的不一致,否則手機號
壓測工具之JMeter之環境配置及運行
tar load col image 技術 down files inf apache 一、下載JMeter 地址:http://jmeter.apache.org/download_jmeter.cgi 系統:win7 x64 在 Binaries 目錄下選擇一個合適自己
壓測中提高併發數後服務端處理時間增長的原因分析
後端邏輯: 接收請求、分詞匹配、讀redis做一些過濾策略 在不斷提高併發數的壓測過程中,發現一個問題,後臺服務對一個請求的處理時間也在增高, 而且增高的主要時間是消耗在讀redis過濾那塊 過濾那塊的主要邏輯是:從redis中讀資料,並基於這些資料做一些過濾的策略 為什
優化後的https--nginx配置示例
server { listen 443 ssl; server_name varycloud.com; access_log off; ssl_certificate cert.pem; ssl_certificate_k
Linux下安裝jmeter後壓測
1、測試準備 linux平臺 jmeter安裝包(這裡使用jmeter3.1版本) jdk 2、安裝jdk(步驟略) 3、上傳jmeter安裝包到Linux伺服器的/hom
記5.28大促壓測的效能優化—執行緒池相關問題
目錄: 1.環境介紹 2.症狀 3.診斷 4.結論 5.解決 6.對比java實現 廢話就不多說了,本文分享下博主在5.28大促壓測期間解決的一個性能問題,覺得這個還是比較有意思的,值得總結拿出來分享下。 博主所服務的部門是作為公共業務平臺,公共業務平臺支援上層所有業務系統(2C、UGC、直播
記一次壓測問題定位:connection reset by peer,TCP三次握手後服務端傳送RST
問題描述 這兩天用Go做一個比較簡單的task:後端有HTTPServer和TCPServer。客戶端通過http接入到HTTPServer,HTTPServer通過RPC將請求傳送到TCPServer,所有的業務邏輯都由TCPServer處理。 壓測:自己的ma
一組Logstash與elasticsearch的壓測資料[轉]
概述 組內的日誌系統基於ELK搭建,本文中的資料在生產環境中進行測試得到,僅供參考。 系統構成 系統可以簡要的分為: 日誌接收機 日誌資料佇列 日誌資料處理機 ES叢集 在日誌接收機上通過一個 Logstash 程序 parse 日誌資料,將 parse
jmeter伺服器壓測--------環境配置
前言:前段時間一直在做壓力測試,模擬真人壓力測試,檢視伺服器承受狀況。內容:一、jdk配置1、jdk安裝2、jdk環境配置我的電腦-屬性--高階系統設定--環境變數--系統變數,新增下列配置變數名:JAVA_HOME變數值:填寫jdk的安裝目錄變數名:Path變數值:%JAV
壓測netty框架,返回少量java.net.ConnectException:Connection timed out,優化程式碼
xx專案需要做效能測試,開發端主要是netty框架,500併發TPS能達到7000+,但是返回少量 Connection timed out,原因有可能是程式碼有問題,也有可能僅是客戶端主動關閉了連線,導致服務端的寫失敗,linux伺服器本身無法處理如此大量請求,監控到客
大併發壓測下,redis連線異常Read timed out排查優化
壓測業務流程:獲取全國範圍地區資訊,第一次從mysql獲取資訊,獲取到資訊後hset到redis,後面的獲取資訊都走redis獲取並返回介面資料。 問題:20併發壓測獲取全國範圍地區資訊, 應用報錯,getList:merchant:area:listerror,redis
etcd 容器化運行與etcd直接運行後的壓測數據對比
new oooo add response sts 數據對比 req 0.10 address 直接運行 INFO: 2019/05/16 16:59:29 ccResolverWrapper: sending new addresses to cc: [{http:
Elasticsearch基本概念及核心配置文件詳解
last log4j 強烈 內存 文檔 size oca 機制 集群 Elasticsearch5.X,下列的是Elasticsearch2.X系類配置,其實很多配置都是相互兼容的 1. 配置文件 config/elasticsearch.yml 主配置文件
java 生成壓測數據
frame 數據 exce object 計劃 list ++ reat ktr public static void main(String[] args) throws IOException { List<Object[]> rows = new A
接口壓測工具--jmeter
cto linux下 一點 不一致 文件讀取 coo 並發 bin 文檔 jmeter jmeter是apache公司基於java開發的一款開源壓力測試工具,是一個較輕量的測試工具。運行需要安裝jdk環境,jmeter為免安裝軟件, 解壓後直接運行j
優化tomcat配置(從內存、並發、緩存4個方面)優化
公司 應該 adt 打開 mx2 type 內存 主機名 socket Tomcat內存優化 Tomcat內存優化主要是對 tomcat 啟動參數優化,我們可以在 tomcat 的啟動腳本 catalina.sh 中設置 java_OPTS 參數。 JAVA_OPTS參數說