springcloud-slenth-zipkin進行分散式鏈路追蹤
阿新 • • 發佈：2018-12-23
Spring Cloud Sleuth
一般的，一個分散式服務跟蹤系統，主要有三部分：資料收集、資料儲存和資料展示。根據系統大小不同，每一部分的結構又有一定變化。譬如，對於大規模分散式系統，資料儲存可分為實時資料和全量資料兩部分，實時資料用於故障排查（troubleshooting），全量資料用於系統優化；資料收集除了支援平臺無關和開發語言無關係統的資料收集，還包括非同步資料收集（需要跟蹤佇列中的訊息，保證呼叫的連貫性），以及確保更小的侵入性；資料展示又涉及到資料探勘和分析。雖然每一部分都可能變得很複雜，但基本原理都類似。
服務追蹤的追蹤單元是從客戶發起請求（request）抵達被追蹤系統的邊界開始，到被追蹤系統向客戶返回響應（response）為止的過程，稱為一個“trace”。每個 trace 中會呼叫若干個服務，為了記錄呼叫了哪些服務，以及每次呼叫的消耗時間等資訊，在每次呼叫服務時，埋入一個呼叫記錄，稱為一個“span”。這樣，若干個有序的 span 就組成了一個 trace。在系統向外界提供服務的過程中，會不斷地有請求和響應發生，也就會不斷生成 trace，把這些帶有span 的 trace 記錄下來，就可以描繪出一幅系統的服務拓撲圖。附帶上 span 中的響應時間，以及請求成功與否等資訊，就可以在發生問題的時候，找到異常的服務；根據歷史資料，還可以從系統整體層面分析出哪裡效能差，定位效能優化的目標。
Spring Cloud Sleuth為服務之間呼叫提供鏈路追蹤。通過Sleuth可以很清楚的瞭解到一個服務請求經過了哪些服務，每個服務處理花費了多長。從而讓我們可以很方便的理清各微服務間的呼叫關係。此外Sleuth可以幫助我們：
- 耗時分析: 通過Sleuth可以很方便的瞭解到每個取樣請求的耗時，從而分析出哪些服務呼叫比較耗時;
- 視覺化錯誤: 對於程式未捕捉的異常，可以通過整合Zipkin服務介面上看到;
- 鏈路優化: 對於呼叫比較頻繁的服務，可以針對這些服務實施一些優化措施。
spring cloud sleuth可以結合zipkin，將資訊傳送到zipkin，利用zipkin的儲存來儲存資訊，利用zipkin ui來展示資料。
這是Spring Cloud Sleuth的概念圖：
ZipKin
Zipkin 是一個開放原始碼分散式的跟蹤系統，由Twitter公司開源，它致力於收集服務的定時資料，以解決微服務架構中的延遲問題，包括資料的收集、儲存、查詢和展現。
每個服務向zipkin報告計時資料，zipkin會根據呼叫關係通過Zipkin UI生成依賴關係圖，顯示了多少跟蹤請求通過每個服務，該系統讓開發者可通過一個 Web 前端輕鬆的收集和分析資料，例如使用者每次請求服務的處理時間等，可方便的監測系統中存在的瓶頸。
快速上手
建立map-zipkin-server專案
專案依賴
<?xml version="1.0" encoding="UTF-8"?> 啟動類
package com.kye;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
import org.springframework.cloud.sleuth.zipkin.stream.EnableZipkinStreamServer;
import org.springframework.context.annotation.Bean;
import zipkin.storage.mysql.MySQLStorage;
import javax.sql.DataSource;
/**
* @業務描述：
* @Package Name: com.kye
* @Author: [email protected]
* @Date: 2018/11/14 11:58
* @Copyright (c) 跨越新科技 版權所有
*/
@SpringBootApplication
@EnableDiscoveryClient
@EnableZipkinStreamServer
public class MapZipkinServerApplication {
public static void main(String[] args) {
SpringApplication.run(MapZipkinServerApplication.class, args);
System.out.printf("啟動成功");
}
@Bean
public MySQLStorage mySQLStorage(DataSource datasource) {
return MySQLStorage.builder().datasource(datasource).executor(Runnable::run).build();
}
}
使用了@EnableZipkinStreamServer註解，啟用Zipkin服務。
配置檔案
eureka:
client:
serviceUrl:
defaultZone: http://localhost:8761/eureka/
server:
port: 9000
spring:
application:
name: map-zipkin-server
datasource:
type: com.alibaba.druid.pool.DruidDataSource
driverClassName: com.mysql.jdbc.Driver
url: jdbc:mysql://localhost:3306/sleuth_log
username: root
password: 123456
schema[0]: classpath:/mysql.sql
# 下面為連線池的補充設定，應用到上面所有資料來源中
# 初始化大小，最小，最大
initialSize: 5
minIdle: 5
maxActive: 20
# 配置獲取連線等待超時的時間
maxWait: 60000
# 配置間隔多久才進行一次檢測，檢測需要關閉的空閒連線，單位是毫秒
timeBetweenEvictionRunsMillis: 60000
# 配置一個連線在池中最小生存的時間，單位是毫秒
minEvictableIdleTimeMillis: 300000
validationQuery: SELECT 1 FROMDUAL
testWhileIdle: true
testOnBorrow: false
testOnReturn: false
# 開啟PSCache，並且指定每個連線上PSCache的大小
poolPreparedStatements: true
maxPoolPreparedStatementPerConnectionSize: 20
# 配置監控統計攔截的filters，去掉後監控介面sql無法統計，'wall'用於防火牆
filters: stat,wall,log4j
# 通過connectProperties屬性來開啟mergeSql功能；慢SQL記錄
connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000
#rabbitmq配置
rabbitmq:
host: localhost
port: 5672
username: guest
password: guest
#zipkin資料儲存到資料庫中需要進行如下配置
#表示當前程式不使用sleuth
sleuth:
enabled: false
#表示zipkin資料儲存方式是mysql
zipkin:
storage:
type: mysql
資料庫檔案：mysql.sql(用於追蹤資料的持久化 放在resource目錄下)
CREATE TABLE IF NOT EXISTS zipkin_spans (
`trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT 'If non zero, this means the trace uses 128 bit traceIds instead of 64 bit',
`trace_id` BIGINT NOT NULL,
`id` BIGINT NOT NULL,
`name` VARCHAR(255) NOT NULL,
`parent_id` BIGINT,
`debug` BIT(1),
`start_ts` BIGINT COMMENT 'Span.timestamp(): epoch micros used for endTs query and to implement TTL',
`duration` BIGINT COMMENT 'Span.duration(): micros used for minDuration and maxDuration query'
) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;
ALTER TABLE zipkin_spans ADD UNIQUE KEY(`trace_id_high`, `trace_id`, `id`) COMMENT 'ignore insert on duplicate';
ALTER TABLE zipkin_spans ADD INDEX(`trace_id_high`, `trace_id`, `id`) COMMENT 'for joining with zipkin_annotations';
ALTER TABLE zipkin_spans ADD INDEX(`trace_id_high`, `trace_id`) COMMENT 'for getTracesByIds';
ALTER TABLE zipkin_spans ADD INDEX(`name`) COMMENT 'for getTraces and getSpanNames';
ALTER TABLE zipkin_spans ADD INDEX(`start_ts`) COMMENT 'for getTraces ordering and range';
CREATE TABLE IF NOT EXISTS zipkin_annotations (
`trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT 'If non zero, this means the trace uses 128 bit traceIds instead of 64 bit',
`trace_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.trace_id',
`span_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.id',
`a_key` VARCHAR(255) NOT NULL COMMENT 'BinaryAnnotation.key or Annotation.value if type == -1',
`a_value` BLOB COMMENT 'BinaryAnnotation.value(), which must be smaller than 64KB',
`a_type` INT NOT NULL COMMENT 'BinaryAnnotation.type() or -1 if Annotation',
`a_timestamp` BIGINT COMMENT 'Used to implement TTL; Annotation.timestamp or zipkin_spans.timestamp',
`endpoint_ipv4` INT COMMENT 'Null when Binary/Annotation.endpoint is null',
`endpoint_ipv6` BINARY(16) COMMENT 'Null when Binary/Annotation.endpoint is null, or no IPv6 address',
`endpoint_port` SMALLINT COMMENT 'Null when Binary/Annotation.endpoint is null',
`endpoint_service_name` VARCHAR(255) COMMENT 'Null when Binary/Annotation.endpoint is null'
) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;
ALTER TABLE zipkin_annotations ADD UNIQUE KEY(`trace_id_high`, `trace_id`, `span_id`, `a_key`, `a_timestamp`) COMMENT 'Ignore insert on duplicate';
ALTER TABLE zipkin_annotations ADD INDEX(`trace_id_high`, `trace_id`, `span_id`) COMMENT 'for joining with zipkin_spans';
ALTER TABLE zipkin_annotations ADD INDEX(`trace_id_high`, `trace_id`) COMMENT 'for getTraces/ByIds';
ALTER TABLE zipkin_annotations ADD INDEX(`endpoint_service_name`) COMMENT 'for getTraces and getServiceNames';
ALTER TABLE zipkin_annotations ADD INDEX(`a_type`) COMMENT 'for getTraces';
ALTER TABLE zipkin_annotations ADD INDEX(`a_key`) COMMENT 'for getTraces';
ALTER TABLE zipkin_annotations ADD INDEX(`trace_id`, `span_id`, `a_key`) COMMENT 'for dependencies job';
CREATE TABLE IF NOT EXISTS zipkin_dependencies (
`day` DATE NOT NULL,
`parent` VARCHAR(255) NOT NULL,
`child` VARCHAR(255) NOT NULL,
`call_count` BIGINT,
`error_count` BIGINT
) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;
ALTER TABLE zipkin_dependencies ADD UNIQUE KEY(`day`, `parent`, `child`);
配置完成後依次啟動示例專案：map-rcenter-server（eureka註冊中心） map-zipkin-server （zipkin服務端） http://localhost:9000 可以看到Zipkin後臺頁面
專案新增zipkin支援
新建一個專案spring-cloud-producer
pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>1.5.9.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<artifactId>spring-cloud-producer</artifactId>
<packaging>jar</packaging>
<dependencies>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-eureka</artifactId>
<version>1.4.2.RELEASE</version>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-zipkin</artifactId>
<version>1.3.1.RELEASE</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
配置檔案：
server:
port: 9001
spring:
application:
name: producer
zipkin:
base-url: http://localhost:9000
sleuth:
sampler:
percentage: 1.0
eureka:
client:
serviceUrl:
defaultZone: http://localhost:8761/eureka/
啟動類：
package com.kye;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
@SpringBootApplication
@EnableDiscoveryClient
public class ProducerApplication {
public static void main(String[] args) {
SpringApplication.run(ProducerApplication.class, args);
System.out.println("啟動成功");
}
}
controller：
package com.kye.controller;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.cloud.netflix.zuul.filters.route.FallbackProvider;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org