架構必會的性能指標及分析策略
不管是java還是.net基礎設施必不可少。
MQ:
如果發現MQ是瓶頸。不管用的是rabbitmq還是kafka,其他的也好。作為生產者要確認超時時間、重試機制、異步線程池。消費方要做兩件事:發現和解決。發現的主要是通過積壓閾值最快發現問題。解決的方法主要有:短期方案:增大線程數,增加服務器。長期需要優化邏輯。積壓閾值的設置主要取決於對積壓的容忍程度,比如我們的服務對延時很敏感,那麽設置積壓閾值為50或者100。這樣有問題可以快速發現。
緩存:
緩存的話,不管是tair還是redis或者memcached。我們對緩存的寫入成功和數據存在性都不能強依賴。所以基本要做到緩存讀取不成功就需要再次查DB。而且不管出什麽問題,對程序來說,就是拋異常了。所以一定要異常捕獲。數據要用異步線程池異步寫入。監控要做好。我們有個服務要做一層緩存。我們組的兄弟比較擔心,問我了解不了解冷熱啟動的概念。這個其實需要去咨詢維護服務的人怎麽定義這個概念。一般來講:冷啟動數據是從磁盤加載的,熱啟動是從內存加載的。
超時和重試:
為了防止別的服務出問題,一定優化好超時時間和重試機制。超時時間的定義一般設置為一個請求處理99.9%的耗時時間的5到10倍。這是因為考慮到跨機房等網絡耗時的問題。雖然運維的同事會告訴說跨機房之間的時延也就是1ms或者2ms的事情,但是實際值要大於這個值,所以一般設置超時時間是100ms起步。很多請求設置了這個值還是超時了,沒關系,就是截獲一個異常然後重試。如果服務不重要,比如展示的時候,去取一個展示的key的字典值,也可以不重試。一般的RPC組件默認重試是3次。
一般超時的異常有以下特征:
java.lang.reflect.UndeclaredThrowableException at com.sun.proxy.$Proxy67.xxxx(Unknown Source) at Caused by: org.apache.thrift.TException: tthrift remote(IP:端口) invoke(xxxx) timeout, traceId:-2093033244087395764, timeout:100
Unknown Source:遠程問題的特征之一
timeout是超時的特征
服務隔離:
服務隔離是為了減少損失的影響範圍,避免雪崩效應。比如我們有一些外部的依賴:我們依賴微信支付的穩定性、支付寶支付的穩定性、銀聯支付的穩定性。那麽我需要按照這幾種通道做物理隔離,可以部署相同的代碼但是部署在不同的機器群。
組件版本及時升級:
比如httpclient4.3的版本有個bug並發量大的時候會阻塞。之前在樂視的時候,部門有個小組的服務就發生過這樣的線上問題。
及時下線不再使用的代碼:
可能在一個團隊中很多程序bug都是因為存在太多的兼容邏輯和臨時代碼,寫這些邏輯的人如果沒有加上很好的註釋,在用完的時候也沒有及時清理。後來維護的人看到這段毫無道理的代碼不敢動。程序裏大量的IF和ELSE,很容易踩坑。招聘的時候卡的很嚴,很多面試者不服氣,我也能寫出來代碼。但是會寫代碼和會寫代碼是不一樣的。我們需求很急,但是寧願不做也不要一個寫出一堆問題代碼,處處是坑,難以維護代碼的程序員。
數據庫:
一個數據表的數據過多,對更新和查詢性能都有影響。對於不再使用的數據要及時備份清走。一般數據庫的容量剩余不到60%, 就要考慮分庫分表了。一般一臺物理機寫入能力也不能高於QPS1500。所以對於主從延時不是很敏感的業務場景,一定要做好讀寫分離。雖然做了讀寫分離,如果讀和寫的代碼在一個事務裏,其實都是走的主庫。
梳理好依賴:
開發一個系統,最忌諱的是沒有靈魂。來什麽需求都接。把系統搞得很亂。梳理好系統的邊界和定位。我們應該依賴什麽服務,是強依賴還是可以降級的弱依賴。調用系統的調用方需要什麽東西,我們是應該給提供,還是讓他們自己去解決。
總結:
上面提到的哪一步沒有做好,都可能引發蝴蝶效應。比如:一個MQ的消費能力差,積壓了,生產者同步寫入,寫入等待。另外一個服務調用了這個接口,還把這個調用包裹到事務裏,導致這個事務長時間不提交。這樣的請求來幾個,線程池滿了,整個服務就掛了。如果別人調用這個服務,超時時間設置的過長,別的服務也跟著線程池滿,掛掉了。如果沒做好物理隔離,所有服務都掛了。
跑題時間:
瑪格麗特.米切爾寫的《飄》英文原名是《gone with the wind》,意思是美國南部的奴隸制文明一去不返,中文的翻譯完全沒有這種韻味。女主人公斯嘉麗愛慕阿希禮的高貴氣質,冒著生命危險為他做了很多的事情。而阿希禮只在斯嘉麗需要的時候給了她一把土。當時光沈澱了一切,斯嘉麗意識到自己愛上的只是自己想象出來的一個人,基於阿希禮。阿希禮只是空有一副皮囊,他的靈魂基於他的妻子梅蘭。而斯嘉麗自己的丈夫白瑞德才更配的上自己的靈魂。愛情來的時候本來就是毫無道理,而自己困境中望著你,你一次次將我逼進絕望。我一次次從絕望中翻身的強大會將你從心裏擠走。一個再堅強的女孩子最後也會愛上讓自己不用堅強的人。
喜歡做魚頭雞湯。魚肉可以做出很多種花樣,而魚頭吃起來比較費勁,骨頭多,做湯最好。雞片入鍋,加上水豆豉,枸杞、姜片、甘草。將魚頭放到笊籬裏,水煮到笊籬裏只剩魚骨,將笊籬拿出。關火裝盤即可。好湯關鍵是食材,食材越好,調料可以越少。
世界上最遙遠的距離是魚和飛鳥的距離,一個在天際一個卻深潛水底。我卻偏偏想讓他們在一起。即使不用一起成為湯,他們也可以在水面的一瞬間相遇。世界上最遙遠的距離是我變成了你最喜歡的樣子站在你面前,卻不喜歡你。
架構必會的性能指標及分析策略