【學習筆記】分散式追蹤Tracing
在軟體工程中，Tracing指使用特定的日誌記錄程式的執行資訊，與之相近的還有兩個概念，它們分別是Logging和Metrics。
- Logging：用於記錄離散的事件，包含程式執行到某一點或某一階段的詳細資訊，比如，應用程式的除錯（debug）資訊或錯誤（error）資訊。它是我們診斷問題的依據。
- Metrics：用於記錄可聚合的資料，且通常是固定型別的時序資料，每個都是一個邏輯計量單元，或者一個時間段內的柱狀圖，比如，佇列的當前深度可以被定義為一個計量單元，在寫入或讀取時被更新統計；輸入HTTP請求的數量可以被定義為一個計數器，用於簡單累加；請求的執行時間可以被定義為一個柱狀圖，在指定時間片上更新和統計彙總。
- Tracing：用於記錄單次請求範圍內的處理資訊，其中包括服務呼叫和處理時長等，比如，一次呼叫遠端服務的RPC執行過程；一次實際的SQL查詢語句；一次HTTP請求的業務性ID。它是我們排查系統性能問題的利器。
系統架構從單體轉變為微服務以後，一次請求往往涉及到多個服務之間的呼叫。隨著服務數量的增多和內部呼叫鏈的複雜化，僅憑藉日誌和效能監控很難做到 “See the Whole Picture”，在進行問題排查或是效能分析的時候，無異於盲人摸象。
分散式追蹤系統（Tracing）旨在分析請求背後呼叫了哪些服務，服務的呼叫順序、耗時、錯誤原因等，幫助開發者直觀分析請求鏈路，快速定位效能瓶頸，逐漸優化服務間依賴，也有助於開發者從更巨集觀的角度更好地理解整個分散式系統。
早在 2005 年，Google 就在內部部署了一套分散式追蹤系統 Dapper，並發表了一篇論文《Dapper, a Large-Scale Distributed Systems Tracing Infrastructure》，闡述了該分散式追蹤系統的設計和實現，可以視為分散式追蹤領域的鼻祖。隨後各大廠商紛紛落地了一些優秀的分散式追蹤系統，比如Jaeger（Uber）、Zipkin（twitter）、X-ray（AWS）、SkyWalking等，但各家的分散式追蹤方案很可能是互不相容的，於是誕生了OpenTracing。
1. OpenTracing
OpenTracing是一個輕量級的標準化層，它位於<應用程式/類庫>和<追蹤或日誌分析程式>之間，通過提供平臺無關、廠商無關的API，使得開發人員能夠方便的新增（或更換）追蹤系統的實現，解決不同的分散式追蹤系統API不相容的問題，也使得在通用程式碼庫增加對分散式追蹤的支援成為可能。
- 後臺無關的一套介面，被跟蹤的服務只需要呼叫這套介面，就可以被任何實現這套介面的跟蹤後臺（比如Zipkin, Jaeger等等）支援，而作為一個跟蹤後臺，只要實現了個這套介面，就可以跟蹤到任何呼叫這套介面的服務。
- 標準化了對跟蹤最小單位Span的管理：定義了開始Span，結束Span和記錄Span耗時的API。
- 標準化了程序間跟蹤資料傳遞的方式：定義了一套API方便跟蹤資料的傳遞。
- 標準化了程序內當前Span的管理：定義了儲存和獲取當前Span的API。
- 不對編碼定標準：不對程序間傳遞的跟蹤資料的編碼定標準，不對向後臺傳送的跟蹤資料的編碼定標準，讓跟蹤後臺自己決定最適合他們的編碼方式。
OpenTracing已進入 CNCF，正在為全球的分散式追蹤，提供統一的概念和資料標準，支援多種語言：https://github.com/opentracing。其中，OpenTracing API for Java：https://github.com/opentracing/opentracing-java
- opentracing-api，是一個純粹的API沒有任何依賴
- opentracing-noop，實現了API，但是是空實現什麼也不幹，依賴opentracing-api
- opentracing-util，包含了一個GlobalTracer和基於Thread_local的簡單實現ScopeManager，依賴opentracing-api、opentracing-noop
- opentracing-mock，mock測試，包含一個簡單的MockTracer，將資料儲存進記憶體，依賴opentracing-api、opentracing-noop、opentracing-util
- opentracing-testbed，用於測試和嘗試新特性
OpenTracing資料模型中有三個重要的相互關聯的型別，分別是Tracer，Span和SpanContext。
- Trace：一個完整請求鏈路
- Span：一次呼叫過程(需要有開始時間和結束時間)
- SpanContext：Trace的全域性上下文資訊，如裡面有traceId
Trace
一個Trace代表一個事務或者流程在（分散式）系統中的執行過程。一條Trace（呼叫鏈）可以被認為是一個由多個Span組成的有向無環圖（DAG），通過歸屬於此呼叫鏈的Span來隱性的定義。
Tracer介面用來建立Span，以及處理如何處理Inject(serialize) 和 Extract (deserialize)，用於跨程序邊界傳遞。
Span
一個Span代表系統中具有開始時間和執行時長的邏輯執行單元。Span之間通過巢狀或者順序排列建立邏輯因果關係。Span可以被理解為一次方法呼叫, 一個程式塊的呼叫, 或者一次RPC/資料庫訪問，只要是一個具有完整時間週期的程式訪問，都可以被認為是一個span。每個Span包含以下的狀態：
- An operation name，操作名稱
- A start timestamp，起始時間
- A finish timestamp，結束時間
- Span Tag，一組鍵值對構成的Span標籤集合。鍵值對中，鍵必須為string，值可以是字串，布林，或者數字型別
- Span Log，一組span的日誌集合。每次log操作包含一個鍵值對，以及一個時間戳。鍵值對中，鍵必須為string，值可以是任意型別
- SpanContext，Span上下文物件
- References，Span間關係，目前定義了兩種關係：ChildOf（父子，父級span某種程度上取決於子span） 和 FollowsFrom（跟隨，父級節點不以任何方式依然他們子節點的執行結果）
SpanContext
Span上下文物件，代表跨越程序邊界，傳遞到下級span的狀態。每一個SpanContext包含以下狀態：
- 任何一個OpenTracing的實現，都需要將當前呼叫鏈的狀態（例如：trace和span的id），依賴一個獨特的Span去跨程序邊界傳輸
- Baggage Items，Trace的隨行資料，是一個鍵值對集合，它存在於trace中，也需要跨程序邊界傳輸
OpenTracing的使用者僅僅需要，在建立span、向傳輸協議Inject（注入）和從傳輸協議中Extract（提取）時，使用SpanContext和References。
2.Jaeger
Jaeger是Uber開源的一款分散式追蹤系統（https://github.com/jaegertracing/jaeger），相容OpenTracing API（支援Java語言：https://github.com/jaegertracing/jaeger-client-java）。
- jaeger-client：Jaeger的客戶端，實現了OpenTracing的API，支援主流程式語言。客戶端直接整合在應用程式中，把trace資訊按指定的取樣策略傳遞給jaeger-agent，這個過程通常被稱為埋點。
- jaeger-agent：一個監聽在UDP埠上接收trace資訊的網路守護程序，會將資料批量傳送給jaeger-collector。它被設計成一個基礎元件，部署到所有的宿主機上，agent將client和collector解耦，為client遮蔽路由和發現collector的細節。
- jaeger-collector：負責接收jaeger-agent傳送來的資料，然後非同步處理，最終將資料儲存到DB中。它被設計成無狀態的元件，因此可以同時執行任意數量的jaeger-collector。
- jaeger-query：接收查詢請求，然後從DB中檢索 trace資訊並通過 UI 進行展示。Query是無狀態的，可以啟動多個例項，把它們部署在nginx這樣的負載均衡器後面。
- jaeger-ingester：中文名稱“攝食者”，從kafka讀取資料然後寫到jaeger的後端儲存，比如Cassandra和Elasticsearch。
分散式追蹤系統大體分為三個部分，資料採集、資料持久化、資料展示。
- 資料採集是指在程式碼中埋點，設定請求中要上報的階段，以及設定當前記錄的階段隸屬於哪個上級階段。
- 資料持久化則是指將上報的資料落盤儲存，例如Jaeger就支援多種儲存後端，可選用Cassandra或者Elasticsearch。
- 資料展示則是前端根據TraceId查詢與之關聯的請求階段，並在介面上呈現。
3. dd-trace-java
dd-trace-java（https://github.com/DataDog/dd-trace-java）是Datadog開源的一個java版本的APM（應用效能管理）客戶端。它依賴了jaeger-client-java中的jaeger-core，採用位元組碼注入技術（JavaAgent）進行埋點，支援針對不同元件（http、kafka、jdbc等）進行外掛化開發。
啟動入口在AgentBootstrap的premain方法：
- AgentInstaller.installBytebuddyAgent：註冊各種支援不同元件的埋點外掛
- TracerInstaller.installGlobalTracer：註冊一個全域性的Tracer
1 public class AgentInstaller { 2 3 public static ResettableClassFileTransformer installBytebuddyAgent(final Instrumentation inst) { 4 AgentBuilder agentBuilder = 5 new AgentBuilder.Default() 6 .disableClassFormatChanges() 7 .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION) 8 .with(new RedefinitionLoggingListener()) 9 .with(AgentBuilder.DescriptionStrategy.Default.POOL_ONLY) 10 .with(AgentTooling.poolStrategy()) 11 .with(new TransformLoggingListener()) 12 .with(new ClassLoadListener()) 13 .with(AgentTooling.locationStrategy()) 14 .ignore(any(), skipClassLoader()) 15 .or(nameStartsWith("datadog.trace.")) 16 .or(nameStartsWith("datadog.opentracing.")) 17 .or(nameStartsWith("datadog.slf4j.")) 18 .or(nameStartsWith("java.").and(not(nameStartsWith("java.util.concurrent.")))) 19 .or(nameStartsWith("com.sun.")) 20 .or(nameStartsWith("sun.").and(not(nameStartsWith("sun.net.www.")))) 21 .or(nameStartsWith("jdk.")) 22 .or(nameStartsWith("org.aspectj.")) 23 .or(nameStartsWith("org.groovy.")) 24 .or(nameStartsWith("com.p6spy.")) 25 .or(nameStartsWith("org.slf4j.")) 26 .or(nameContains("javassist")) 27 .or(nameContains(".asm.")) 28 .or(nameMatches("com\\.mchange\\.v2\\.c3p0\\..*Proxy")); 29 30 for (final Instrumenter instrumenter : ServiceLoader.load(Instrumenter.class)) { 31 log.info("Loading instrumentation {}", instrumenter.getClass().getName()); 32 agentBuilder = instrumenter.instrument(agentBuilder); 33 } 34 return agentBuilder.installOn(inst); 35 } 36 }AgentInstaller
業務方可通過繼承Instrumenter.Default進行外掛化開發，以支援不同元件的埋點。
1 @AutoService(Instrumenter.class) 2 public class MDCInjectionInstrumentation extends Instrumenter.Default { 3 4 private static final String mdcClassName = "org.TMP.MDC".replaceFirst("TMP", "slf4j"); 5 6 @Override 7 protected boolean defaultEnabled() { 8 return Config.get().isLogsInjectionEnabled(); 9 } 10 11 @Override 12 public ElementMatcher<? super TypeDescription> typeMatcher() { 13 return named(mdcClassName); 14 } 15 16 @Override 17 public void postMatch( 18 final TypeDescription typeDescription, 19 final ClassLoader classLoader, 20 final JavaModule module, 21 final Class<?> classBeingRedefined, 22 final ProtectionDomain protectionDomain) { 23 if (classBeingRedefined != null) { 24 MDCAdvice.mdcClassInitialized(classBeingRedefined); 25 } 26 } 27 28 @Override 29 public Map<? extends ElementMatcher<? super MethodDescription>, String> transformers() { 30 return singletonMap( 31 isTypeInitializer(), MDCInjectionInstrumentation.class.getName() + "$MDCAdvice"); 32 } 33 34 @Override 35 public String[] helperClassNames() { 36 return new String[]{LogContextScopeListener.class.getName()}; 37 } 38 39 public static class MDCAdvice { 40 @Advice.OnMethodExit(suppress = Throwable.class) 41 public static void mdcClassInitialized(@Advice.Origin final Class mdcClass) { 42 try { 43 final Method putMethod = mdcClass.getMethod("put", String.class, String.class); 44 final Method removeMethod = mdcClass.getMethod("remove", String.class); 45 GlobalTracer.get().addScopeListener(new LogContextScopeListener(putMethod, removeMethod)); 46 } catch (final NoSuchMethodException e) { 47 org.slf4j.LoggerFactory.getLogger(mdcClass).debug("Failed to add MDC span listener", e); 48 } 49 } 50 } 51 }Instrumenter.Default
End
OpenTracing建立了一套標準，解決了不同的分散式追蹤系統埋點API不相容的問題（類似SLF4J）；Uber開源的Jaeger提供一套完整的分散式追蹤解決方案（相容OpenTracing API），包括資料採集、資料持久化、資料展示；Datadog開源的dd-trace-java是一個APM client for Java（依賴jaeger-client-java），採用位元組碼注入技術（JavaAgent）進行埋點，支援針對不同元件進行外掛化開發。