1. 程式人生 > >zipkin原理

zipkin原理

通過zipkin的表結構,理解dapper;trace把多個span進行串接;
形成依賴鏈路。

結構

zipkin主要包括:collector、storage、search、webui;
zipkin collector會對一個到來的被trace的資料(span)進行驗證、儲存並設定索引。
其中storage包括:記憶體、mysql、es、cassandra。

資料結構

Annotation:用於定位一個request的開始和結束,cs/sr/ss/cr含有額外的資訊,比如說時間點,當這個annotation被記錄了,這個RPC也被認為完成了。

     cs:Client Start,表示客戶端發起請求 ;一個span的開始;
     cr:Client Received,表示客戶端獲取到服務端返回資訊;一個span的結束

     sr:Server Receive,表示服務端收到請求
     ss:Server Send,表示服務端完成處理,並將結果傳送給客戶端

    sr-cs:網路延遲
    ss-sr:邏輯處理時間
    cr-cs:整個流程時間

Span:一個請求(包含一組Annotation和BinaryAnnotation);它是基本工作單元,一次鏈路呼叫(可以是RPC,DB等沒有特定的限制)建立一個span,通過一個64位ID標識它。span通過還有其他的資料,例如描述資訊,時間戳,key-value對的(Annotation)tag資訊,parent-id等,其中parent-id 可以表示span呼叫鏈路來源,通俗的理解span就是一次請求資訊。

Trace:類似於樹結構的Span集合,表示一條呼叫鏈路,存在唯一標識
Traces are built by collecting all Spans that share a traceId。通過traceId、spanId和parentId,被收集到的span會匯聚成一個tree,從而提供出一個request的整體流程。

流程圖

image.png

表設計

1.span表

CREATE TABLE IF NOT EXISTS zipkin_spans (
  `trace_id` BIGINT NOT NULL,
  `id` BIGINT NOT NULL,
  `name` VARCHAR(255) NOT NULL,
  `parent_id` BIGINT,
  `debug` BIT(1),
  `start_ts` BIGINT 
   COMMENT 'Span.timestamp(): epoch micros used for endTs query and to implement 
   TTL',
  `duration` BIGINT 
COMMENT 'Span.duration(): micros used for minDuration and maxDuration query'
) ENGINE=InnoDB ROW_FORMAT=COMPRESSED;

一些約束

ALTER TABLE zipkin_spans ADD UNIQUE KEY(`trace_id`, `id`) 
COMMENT 'ignore insert on duplicate';
ALTER TABLE zipkin_spans ADD INDEX(`trace_id`, `id`) 
COMMENT 'for joining with zipkin_annotations';
ALTER TABLE zipkin_spans ADD INDEX(`trace_id`) 
COMMENT 'for getTracesByIds';
ALTER TABLE zipkin_spans ADD INDEX(`name`) 
COMMENT 'for getTraces and getSpanNames';
ALTER TABLE zipkin_spans ADD INDEX(`start_ts`) 
COMMENT 'for getTraces ordering and range';
CREATE TABLE IF NOT EXISTS zipkin_annotations (
  `trace_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.trace_id',
  `span_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.id',
  `a_key` VARCHAR(255) NOT NULL 
            COMMENT 'BinaryAnnotation.key or Annotation.value if type == -1',
  `a_value` BLOB 
            COMMENT 'BinaryAnnotation.value(), which must be smaller than 64KB',
  `a_type` INT NOT NULL COMMENT 'BinaryAnnotation.type() or -1 if Annotation',
  `a_timestamp` BIGINT 
          COMMENT 'Used to implement TTL; Annotation.timestamp or         
          zipkin_spans.timestamp',
  `endpoint_ipv4` INT COMMENT 'Null when Binary/Annotation.endpoint is null',
  `endpoint_ipv6` BINARY(16) 
        COMMENT 'Null when Binary/Annotation.endpoint is null, or no IPv6 address',
  `endpoint_port` SMALLINT COMMENT 'Null when Binary/Annotation.endpoint is null',
  `endpoint_service_name` VARCHAR(255) COMMENT 'Null when 
          Binary/Annotation.endpoint is null'
) ENGINE=InnoDB ROW_FORMAT=COMPRESSED;
ALTER TABLE zipkin_annotations ADD UNIQUE KEY(`trace_id`, `span_id`, `a_key`, `a_timestamp`)
 COMMENT 'Ignore insert on duplicate';
ALTER TABLE zipkin_annotations ADD INDEX(`trace_id`, `span_id`)
 COMMENT 'for joining with zipkin_spans';
ALTER TABLE zipkin_annotations ADD INDEX(`trace_id`) COMMENT 'for getTraces/ByIds';
ALTER TABLE zipkin_annotations ADD INDEX(`endpoint_service_name`) 
COMMENT 'for getTraces and getServiceNames';
ALTER TABLE zipkin_annotations ADD INDEX(`a_type`) COMMENT 'for getTraces';
ALTER TABLE zipkin_annotations ADD INDEX(`a_key`) COMMENT 'for getTraces';

3.依賴關係

CREATE TABLE IF NOT EXISTS zipkin_dependencies (
  `day` DATE NOT NULL,
  `parent` VARCHAR(255) NOT NULL,
  `child` VARCHAR(255) NOT NULL,
  `call_count` BIGINT
) ENGINE=InnoDB ROW_FORMAT=COMPRESSED;

ALTER TABLE zipkin_dependencies ADD UNIQUE KEY(`day`, `parent`, `child`);