微服务实现简单的分布式日志追踪

服务器 服务器产品 分布式
最近想给项目添加一个简单的分布式请求跟踪功能,从前端发起请求到网关,再从网关调用 Spring Cloud 的微服务,这些过程中希望能从日志中看到一个分布式 ID 的链路,通过请求的 ID 可以追踪整一条链路,方便问题的排查。

最近想给项目添加一个简单的分布式请求跟踪功能,从前端发起请求到网关,再从网关调用 Spring Cloud 的微服务,这些过程中希望能从日志中看到一个分布式 ID 的链路,通过请求的 ID 可以追踪整一条链路,方便问题的排查。

[[378163]]

现成的方案自然是使用 SkyWalking 、 Spring Cloud Sleuth 、Zipkin 之类的组件,但是想到主要的目的记录一个可以一直贯通各个服务的 ID,方便日志查询,也就不想引入太多复杂的组件,最终决定通过 MDC 在日志中输出追踪的 ID,然后在 Feign 和 RestTemplate 中将请求 ID 在微服务中传递。

主要包括几个步骤:

  • 从前端生成请求 ID 并加入请求头带入网关
  • 网关通过 WebFilter 拦截并加入 MDC 中,在 log 中输出
  • 在 Feign 和 RequestTemplate 中将请求 ID 在带到 HTTP 的 Header 中微服务传递
  • 各个微服务同样通过 WebFilter 实现拦截并加入 MDC,在 log 中输出

MDC

MDC(Mapped Diagnostic Context,映射调试上下文)是 Log4j 和 Logback 提供的一种方便在多线程条件下记录日志的功能。 MDC 可以看成是一个与当前线程绑定的哈希表,可以往其中添加键值对。

MDC 的关键操作:

  • 向 MDC 中设置值:MDC.put(key, value);
  • 从 MDC 中取值:MDC.get(key);
  • 将 MDC 中内容打印到日志中:%X{key}

新增 TraceId 工具类

先新增一个 TraceIdUtils 工具类,用于定义 TRACE_ID 的常量值以及设置及生成 TRACE_ID 的方法,后续代码中都是通过这个估计类进行操作。

 

  1. import org.apache.commons.lang.RandomStringUtils; 
  2. import org.apache.commons.lang.StringUtils; 
  3. import org.slf4j.MDC; 
  4.  
  5. public class TraceIdUtils { 
  6.     public static final String TRACE_ID = "traceId"
  7.     private static final int MAX_ID_LENGTH = 10; 
  8.  
  9.     /** 
  10.      * 生成 traceId 
  11.      */ 
  12.     private static String genTraceId() { 
  13.         return RandomStringUtils.randomAlphanumeric(MAX_ID_LENGTH); 
  14.     } 
  15.  
  16.     /** 
  17.      * 设置 traceId 
  18.      */ 
  19.     public static void setTraceId(String traceId) { 
  20.         // 如果参数为空,则生成新 ID 
  21.         traceId = StringUtils.isBlank(traceId) ? genTraceId() : traceId; 
  22.         // 将 traceId 放到 MDC 中 
  23.         MDC.put(TRACE_ID, StringUtils.substring(traceId, -MAX_ID_LENGTH)); 
  24.     } 
  25.  
  26.     /** 
  27.      * 获取 traceId 
  28.      */ 
  29.     public static String getTraceId() { 
  30.         // 获取 
  31.         String traceId = MDC.get(TRACE_ID); 
  32.         // 如果 traceId 为空,则生成新 ID 
  33.         return StringUtils.isBlank(traceId) ? genTraceId() : traceId; 
  34.     } 

通过 WebFilter 添加 TraceId 过滤器

新增一个 GenericFilterBean ,从请求头中获取 TraceIdUtils.TRACE_ID 对应的值,该值在前端发起请求或者微服务之间传递都会带上,如果没有,则 TraceIdUtils.setTraceId 会生成一个。

 

  1. import org.springframework.core.annotation.Order
  2. import org.springframework.web.filter.GenericFilterBean; 
  3.  
  4. @WebFilter(urlPatterns = "/*", filterName = "traceIdFilter"
  5. @Order(1) 
  6. public class TraceIdFilter extends GenericFilterBean { 
  7.     @Override 
  8.     public void doFilter(ServletRequest request, ServletResponse response, FilterChain filterChain) throws IOException, ServletException { 
  9.         // traceId初始化 
  10.         HttpServletRequest req = (HttpServletRequest) request; 
  11.         String traceId = req.getHeader(TraceIdUtils.TRACE_ID); 
  12.         TraceIdUtils.setTraceId(traceId); 
  13.         // 执行后续过滤器 
  14.         filterChain.doFilter(request, response); 
  15.     } 

不要忘记在 SpringBoot 的启动类加上 @ServletComponentScan 注解,否则自定义的 Filter 无法生效。其中 “com.yourtion.trace.filter” 是 TraceIdFilter 所在的包名。

 

  1. @ServletComponentScan(basePackages = "com.yourtion.trace.filter"
  2. @SpringBootApplication 
  3. public class MyApplication { 
  4.  
  5.     public static void main(String[] args) { 
  6.         SpringApplication.run(MyApplication.class, args); 
  7.     } 

在 Feign 上添加 TraceId

因为 @FeignClient 的代理类在执行的时候,会去使用使用到 Spring 上下文的 RequestInterceptor,所以自定义自己的拦截器,然后注入到 Spring 上下文中,这样就可以在请求的上下文中添加自定义的请求头。

 

  1. import feign.RequestInterceptor; 
  2. import feign.RequestTemplate; 
  3. import org.springframework.stereotype.Service; 
  4.  
  5. @Service 
  6. public class FeignInterceptor implements RequestInterceptor { 
  7.     @Override 
  8.     public void apply(RequestTemplate template) { 
  9.         template.header(TraceIdUtils.TRACE_ID, TraceIdUtils.getTraceId()); 
  10.     } 

在 RestTemplate 上添加 TraceId

还有一部分请求是通过 RestTemplate 发起的,之前我们是自己实现了 RestTemplateConfig 的配置类,这次在相关的配置上添加:

 

  1. RestTemplate restTemplate = builder.additionalInterceptors((request, body, execution) -> { 
  2.     request.getHeaders().add(TraceIdUtils.TRACE_ID, TraceIdUtils.getTraceId()); 
  3.     return execution.execute(request, body); 
  4. }).build(); 

至此,链路上的 TraceId 添加已经完成,剩下的就是在日志中打印出来了。

修改 Log4j2 的 layout 格式

修改日志的layout格式,将MDC中的traceId打印出来:

  1. <!-- 原始格式 --> 
  2. <PatternLayout pattern="%5p %c:%L - %m %throwable{separator( --> )}%n"/> 
  3.  
  4. <!-- 增加traceId的格式 --> 
  5. <PatternLayout pattern="%5p traceId:%X{traceId} %c:%L - %m %throwable{separator( --> )}%n"/> 

至此,修改就大功告成了。

责任编辑:未丽燕 来源: Yourtion的博客
相关推荐

2020-09-11 09:44:04

微服务分布式链路

2020-05-26 11:59:30

日志链路微服务架构

2022-01-26 00:03:00

高可用gRPC微服务

2019-08-07 10:44:28

MySQLGoogle

2019-05-24 14:45:17

分布式微服务运维

2022-08-05 10:03:17

分布式微服务

2023-11-20 15:32:29

2023-09-12 22:58:51

分布式架构微服务

2022-04-14 08:51:49

微服务Redisson分布式锁

2023-06-29 11:06:46

vivoID服务器

2022-06-15 16:16:21

分布式数据库鸿蒙

2022-01-10 19:45:40

微服务GO系统

2020-03-31 08:05:23

分布式开发技术

2021-03-26 11:35:48

微服务分布式服务器

2017-03-14 11:52:52

微服务架构数据管理

2021-06-09 09:00:00

微服务架构技术

2021-04-02 09:50:14

微服务分布式锁Java

2021-03-17 10:51:16

架构运维技术

2017-12-05 09:43:42

分布式系统核心

2019-11-15 10:16:27

分布式任务框架
点赞
收藏

51CTO技术栈公众号