秒懂Springboot之如何使用logback做日志脱敏和截取

[版权申明] 非商业目的注明出处可自由转载
出自:shusheng007

文章目录

  • 前言
  • 日志
    • logback
    • 原理
    • 实现原理
    • 方案
  • 技术总结
  • 总结
  • 源码

前言

日志的重要性无需多言,而数据的安全性亦不用赘述,但不幸的是它两常常产生矛盾。要便利就会牺牲安全,要安全就会牺牲便利,所以需要找到一个折中的方案:既满足日志方便审计以及查找问题的需求又兼顾安全。这就是我们今天要谈论的日志脱敏的问题。

日志

现在java生态最常使用的几个用来记录日志的技术有:log4j,logback,log4j2 , tinyLog,不过现在我们一般会通过SLF4J来集成日志。SLF4J的意思是Simple Logging Facade for Java,可见其是一个面板,一个日志的抽象层。我们通过SLF4J接入日志后,以后想要更换其他的实现了SLF4J的日志库就比较方便了,无需改动代码。

如下图所示:
在这里插入图片描述
图片出至 logback官方文档

logback

2001年瑞士程序员Ceki Gülcü创建了Log4j,多年后的一天早上起来他决定不玩了,于是 2015又发起了SLF4J和Logback新项目,目标是成为前辈log4j的继任者。但是对于大型互联网系统,选择Log4J2的比较多,因为其性能更加优秀,据说每秒可以写入1千8百万条日志,而logback最多每秒写入200万条日志,其还有非常强大的插件系统。可能就是因为复杂而强大,2021年阿里云发现了零日漏洞,被称为近10年最严重的软件漏洞… 阿里第一时间向Apache基金会报告了此漏洞,却没有向中国信息相关部门报告,最后还被处罚了。

闲话聊的差不多了就,该如正题了。现在由于Springboot 默认集成logback,所以logback越来越流行。所以今天就聊一下如何使用logback进行日志的脱敏和截取。

Logback 被分成三个不同的模块:logback-core,logback-classic,logback-access。我们一般会使用logback-core和logback-classic,logback-access 用来与 Servlet 容器(Tomcat、Jetty)进行整合提供http访问日志的功能。

原理

logback的学习曲线还是比较陡曲的,我第一次接触的时候就被那个配置搞的相当懵逼。相信工作了几年的同学如果没有专门研究过还是感觉无从下手。由于我们这篇文章主要着眼于脱敏和截取,而不是如何使用logback,所以对其如何使用不会说的太详细,有相关需求的可以看官方文档。如果需求特别强烈可以抽时间在写一篇相关文章。

logback里面有几个非常关键的概念:

  • Logger

    日志对象的抽象,负责日志等级,Mark的设置等

  • Appender

    负责将日志输出到不同的目的地,控制台、文件、数据库、网络…

  • Encoder

    顾名思义,它是编码用的。那编什么码呢?Encoder将日志事件转换为字节数组,同时将字节数组写入到一个 OutputStream 中。

  • Layouts

    负责将日志事件转化为格式化的字符串

当输出一个日志logEvent时,其处理流程如下:

Appender ->Encoder->Layout-> Converter

如下图所示。
在这里插入图片描述

日志最后都会经过各种Converter, 所以我们可以在这一步来做文章。

实现原理

在springboot中使用logback的时候,通常会在resource文件下创建一个名为logback-spring.xml的文件。logback配置文件本来的命名为logback.xml,当加上spring后缀猴就可以在logback配置文件中使用spring相关的配置了,这块一会再说。

这里我们做一个最低配置。一个 ConsoleAppender, 一个PatternLayoutEncoder,一个PatternLayout。如下所示:

<?xml version="1.0" encoding="UTF-8"?>
<configuration>

    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{40} - %msg%n</pattern>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="CONSOLE"/>
    </root>

</configuration>

我们的日志内容的转换是由PatternLayout里的%msg负责的,它其实是配置了一个MessageConverter ,源码非常简单,如下所示。

public class MessageConverter extends ClassicConverter {
    public String convert(ILoggingEvent event) {
        return event.getFormattedMessage();
    }
}

可见MessageConverter 没有做任何日志的转化,直接将获取到的格式化日志直接返回了。 要想对输出的日志做一些脱敏等工作我们就需要实现自己的MessageConverter

方案

我们准备实现如下功能

  • 消息超长截取。例如设置最大长度为1024个字符,超过则截取并在末尾加上一个<<<
  • 敏感信息处理。例如我们可以指定部分字符使用*替换。
  • 匹配深度。这个设计是为了性能,一般也用不上。例如我们认为手机号是敏感信息,很不辛一段日志里面包含了1000个手机号,如果深度设置为200,200以后的手机号就不在按敏感信息处理了。

下面是如何实现:

  1. 继承ClassicConverter,重写其start() 方法。从上面可见这个类也是MessageConverter 的基类。
 @Override
 public void start() {
     List<String> options = getOptionList();
     //从参数选项中提取配置
     if (options != null) {
         try {
             final Integer targetMaxLength = Integer.valueOf(options.get(0));
             ...
         } catch (Exception e) {
             e.printStackTrace();
         }
     }
 }

在此方法内,我们可以通过父类DynamicConvertergetOptionList()获取从外界传入的参数。这些参数包括,最大长度、匹配敏感信息的正则表达式,对敏感信息的处理方式…

  1. 重写DynamicConverterconvert(ILoggingEvent event)方法
 @Override
 public String convert(ILoggingEvent event) {
     String source = event.getFormattedMessage();
     ...

     int length = source.length();
     boolean isOutLengthLimit = length > maxLength;
     if (isOutLengthLimit || replaceMatcher != null) {
         StringBuilder sb = new StringBuilder(isOutLengthLimit ? maxLength + 6 : length + 6);
         //超长截取
         if (isOutLengthLimit) {
             sb.append(source, 0, maxLength)
                     .append("<<<");
         } else {
             sb.append(source);
         }
         if (replaceMatcher != null) {
             return replaceMatcher.execute(sb, PolicyEnum.fromName(policy));
         }
         return sb.toString();
     }
     return source;
 }

当获取到日志消息后,对其长度进行判断,超长则截取。然后构建一个ReplaceMatcher进行正则匹配,脱敏。

  1. 创建一个静态内部类ReplaceMatcher ,这个类是真正干活的类
    public static class ReplaceMatcher {
        private final Pattern pattern;
        private final int depth;
        ...

        public String execute(StringBuilder source, PolicyEnum policy) {
            Matcher matcher = pattern.matcher(source.toString());

            int depthCounter = 0;
            while (matcher.find() && (depthCounter < depth)) {
                depthCounter++;
                int start = matcher.start();
                int end = matcher.end();
                if (start < 0 || end < 0) {
                    break;
                }
                //匹配到的数据
                source.replace(start, end, facade(matcher.group(), policy));
            }
            return source.toString();
        }

        private String facade(String source, PolicyEnum policy) {
            final int length = source.length();
            StringBuilder sb = new StringBuilder(source);
            
            if (policy == REPLACE) {
                if (length > 128) {
                    return sb.replace(3, length - 3, String.format("[%s]", length - 6)).toString();
                }
                if (length > 10) {
                    return sb.replace(3, length - 3, repeat('*', length - 6)).toString();
                }
            }
            ...
            return sb.replace(0, length, repeat('*', length)).toString();
        }
    }

其逻辑也很简单。使用正则表达式去匹配,如果匹配到了就处理。处理的方式我们可以自己指定,文中展示了REPLACE这种方案。

  • 当敏感信息长度大于128个字符时,保留前后3个字符,中间字符使用[省略的长度]来代替。例如 字符串: abc这里省略了200个字符cba 会被替换为abc[200]cba
  • 当长度大于10小于128时,保留前后各三个字符,中间用*替换。例如: 13512341234替换为:135*****234
  • 当小于10,则全部替换为*。例如password替换为********
  1. 如何使用

当完成以上步骤后我们的DesensitizedMessageConverter 就大功告成了。接下来就是怎么让它生效的问题了。

再来看一眼我们的logback的配置文件,其中%msg是在配置其原生的MessageConverter ,我们的目标是要用我们自己的DesensitizedMessageConverter来替换掉MessageConverter ,那怎么弄呢?

...
   <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{40} - %msg%n</pattern>
...    

logback提供了一个叫<coconversionRule >的标签,通过这个标签我们就可以使用自定义的Converter

<configuration>

    <springProperty scope="context" name="LOG_CON_MAX_LIMIT" source="cus-log.properties.max-limit"/>
    <springProperty scope="context" name="LOG_CON_POLICY" source="cus-log.properties.policy"/>
    <springProperty scope="context" name="LOG_CON_REGEX" source="cus-log.properties.regex"/>
    <property name="LOG_CON_DEPTH" value="100"/>

    <property name="LOG_CON_SUM" value="'${LOG_CON_MAX_LIMIT}','${LOG_CON_REGEX}','${LOG_CON_POLICY}','${LOG_CON_DEPTH}'"/>

	<conversionRule conversionWord="dmsg" converterClass="top.ss007.log.cuslog.DesensitizedMessageConverter"/>

		...
		   <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{40} - %dmsg{${LOG_CON_SUM}}%n</pattern>
		...    

</configuration>

首先我们定义DesensitizedMessageConverterconversionWorddmsg,这个随便叫,只有不和logback自己已经使用的重复了就行。然后我们就可以使用dmsg来替换msg了。正常情况下已经OK了,但是我们的Conveter需要传入参数,例如最大长度,正则表达式等,这怎么办呢?

如下所示,只有在dmsg后面使用{}依次传入即可,传几个都可以,但是顺序以及个数是与我们在DesensitizedMessageConverter解析一一对应的,不能瞎传。

%dmsg{p1,p2,p3...}

上文是我通过application.yaml读取了相应的值传到logback里的

cus-log:
  properties:
    max-limit: 1024
    policy: REPLACE
    regex: (?<="password":").*?(?=") #匹配  {"password":"123456"} 中的123456

技术总结

这一套方案看起来不难,但其实要求对Logback有比较全面的理解才能做到,下面我总结几点关键点:

  1. 清楚logback的日志处理流程,确定要对MessageConverter 下手
  2. 清楚如何给Converter传参和如何解析参数
  3. 清楚如何应用自定义的Converter
  4. 会写各种正则表达式

总结

总体来说logback的学习曲线还是比较陡的,由于很多同学参与项目时,日志已经配置好了,平时也不会去改动它,导致很多人工作了很多年对其都不是很了解。不过不了解也不要紧,日志虽然非常非常非常重要,但其具有一旦设定就几乎不改改的特性。但是,技多不压身…

源码

一如既往,你可以从个人博客首发获取源码

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/520087.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【MySQL】如何判断一个数据库是否出问题

在实际的应用中&#xff0c;其实大多数是主从结构。而采用主备&#xff0c;一般都需要一定的费用。 对于主备&#xff0c;如果主机故障&#xff0c;那么只需要直接将流量打到备机就可以&#xff0c;但是对于一主多从&#xff0c;还需要将从库连接到主库上。 对于切换的操作&a…

阿里云无影云电脑具体价格_4核8G和8核16G配置99元一年

2024年阿里云无影云电脑具体价格99元一年起&#xff0c;配置可选4核8G和8核16G&#xff0c;使用时长可选800小时和1800小时&#xff0c;目前有四款无影云电脑可以享受优惠价格&#xff0c;阿里云服务器网aliyunfuwuqi.com整理2024年无影云电脑详细配置和优惠价格表&#xff0c;…

ARMv8/Armv9架构中cacheable属性的介绍

快速链接: 【精选】ARMv8/ARMv9架构入门到精通-[目录] &#x1f448;&#x1f448;&#x1f448; 思考&#xff1a;在页表的Descriptors中的Lower attributes中的AttrIndx中指向的MAIR_EL1寄存器中有配置cacheable属性, 在TCR_EL1寄存器中有cacheable属性位ORGN0、IRGN0、ORGN1…

每日五道java面试题之ZooKeeper篇(三)

目录&#xff1a; 第一题. 会话管理第二题. 服务器角色第三题. Zookeeper 下 Server 工作状态第四题. 数据同步第五题. zookeeper 是如何保证事务的顺序一致性的&#xff1f; 第一题. 会话管理 分桶策略&#xff1a;将类似的会话放在同一区块中进行管理&#xff0c;以便于 Zoo…

C语言第四十弹---预处理(下)

✨个人主页&#xff1a; 熬夜学编程的小林 &#x1f497;系列专栏&#xff1a; 【C语言详解】 【数据结构详解】 预处理 1、#和## 1.1 #运算符 1.2、##运算符 2、命名约定 3、#undef 4、命令行定义 5、条件编译 6、头文件的包含 6.1、头文件被包含的方式 6.1.1、本地…

蓝桥杯-冶炼金属(二分求最大最小)

P9240 [蓝桥杯 2023 省 B] 冶炼金属 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 二分做法&#xff1a; #include<bits/stdc.h> using namespace std; #define int long long const int N 1e410; int n,a,b; int v[N],cnt[N]; int check(int x){for(int i1;i<n;i…

硬件-1、体系架构

cpu 处理器 arm处理器的七种工作模式 arm寄存器 两张图是一样的&#xff0c;r0---r12是通用寄存器。其他寄存器可参考图一&#xff0c;cpu架构。 程序状态寄存器psr&#xff08;cpsr/spsr&#xff09; 程序异常处理 理解示例 当使用swi&#xff08;软中断指令&#xff09;指令…

RabbitMQ3.13.x之十_流过滤的内部结构设计与实现

RabbitMQ3.13.x之十_流过滤的内部结构设计与实现 文章目录 RabbitMQ3.13.x之十_流过滤的内部结构设计与实现1. 概念1. 消息发布2. 消息消费 2. 流的结构1. 在代理端进行过滤2. 客户端筛选3. JavaAPI示例4. 流过滤配置5. AMQP上的流过滤6. 总结 3. 相关链接 1. 概念 流过滤的思…

大算力芯片,正在拥抱Chiplet

随着摩尔定律走到极限&#xff0c;Chiplet被行业普遍认为是未来5年算力的主要提升技术。 在和业内人士交流时&#xff0c;有人曾表示&#xff1a;“要么业界采用Chiplet技术&#xff0c;维持摩尔定律的影响继续前进&#xff0c;要么就面临商业市场的损失。” 随着摩尔定律走到…

使用ADS确定元器件的等效感值与等效容值

使用ADS确定元器件的等效感值与等效容值 使用Win家的ADS的PDK&#xff0c;里面有一些微带电感结构&#xff0c;但是居然没有标注感值&#xff0c;给设计带来了一定的不便。 那么对于一个电路结构&#xff0c;如微带线、微带螺旋电感&#xff0c;我们如何知道其实际的感值、容…

磁盘压力测试工具(vdbenchfio)

磁盘压力测试工具&#xff08;vdbench&fio&#xff09; 最近有遇到对象挂载为文件系统的需求&#xff0c;为了测试挂载后的读写性能&#xff0c;有了解了一些测试工具。下面给大家分享下我使用的工具vdbench和fio。 1 vdbench 官网文档&#xff1a;https://www.oracle.com/…

【三十五】【算法分析与设计】综合练习(2),22。 括号生成,77。 组合,494。 目标和,模拟树递归,临时变量自动维护树定义,递归回溯,非树结构模拟树

22. 括号生成 数字 n 代表生成括号的对数&#xff0c;请你设计一个函数&#xff0c;用于能够生成所有可能的并且 有效的 括号组合。 示例 1&#xff1a; 输入&#xff1a;n 3 输出&#xff1a;["&#xff08;&#xff08;&#xff08;&#xff09;&#xff09;&#xff0…

软件杯 深度学习二维码识别

文章目录 0 前言2 二维码基础概念2.1 二维码介绍2.2 QRCode2.3 QRCode 特点 3 机器视觉二维码识别技术3.1 二维码的识别流程3.2 二维码定位3.3 常用的扫描方法 4 深度学习二维码识别4.1 部分关键代码 5 测试结果6 最后 0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天…

电商数据API接口|主流电商平台数据采集的主要方式:电商API接口接入实现大量级数据采集

item_get-获得淘宝商品详情 API测试注册KEY taobao.item_get 公共参数 名称类型必须描述keyString是调用key&#xff08;必须以GET方式拼接在URL中&#xff09;secretString是调用密钥api_nameString是API接口名称&#xff08;包括在请求地址中&#xff09;[item_search,it…

机器学习模型——K—Means算法

目录 无监督学习概念&#xff1a; 有监督学习与无监督学习&#xff1a; 无监督学习 - 聚类分析 &#xff1a; 聚类算法应用场景&#xff1a; 常用聚类算法介绍&#xff1a; 对不同的聚类算法应用选择原则&#xff1a; 基于原型聚类&#xff1a; K-Means聚类算法概念及步…

通过电机转速计算主轴旋转单圈所需时间(CODESYS ST代码)

1、伺服丝杠系统常用算法功能块 伺服丝杠系统常用算法功能块-CSDN博客文章浏览阅读353次。这篇博客主要介绍伺服、丝杠系统常用的运算功能块,其它相关运算可以查看下面文章链接:信捷PLC脉冲频率、位移、转速相关计算(C语言编程应用)_RXXW_Dor的博客-CSDN博客。https://rxxw-…

UE4_如果快速做出毛玻璃效果_假景深

UE4_如果快速做出毛玻璃效果_假景深 2022-08-20 15:02 一个SpiralBlur-SceneTexture材质节点完成效果&#xff0c;启用半透明材质通过修改BlurAmount数值大小调整效果spiralBlur-SceneTexture custom节点&#xff0c;HLSL语言float3 CurColor 0;float2 BaseUV MaterialFloa…

系统思考—领导者

“组织是船&#xff0c;领导者是什么角色&#xff1f;” 对于这个看似简单的问题&#xff0c;很多人可能会直观地想到船长或舵手。但学习型组织的倡导者彼得圣吉给出了另一种视角&#xff1a;如果组织是一艘船&#xff0c;那么领导者首先应该是这艘船的设计师。 在我近期与各个…

Linux:进程等待究竟是什么?如何解决子进程僵尸所带来的内存泄漏问题?

Linux&#xff1a;进程等待究竟是什么&#xff1f;如何解决子进程僵尸所带来的内存泄漏问题&#xff1f; 一、进程等待的概念二、进程等待存在的意义三、如何进行进程等待3.1 wait()是实现进程等待1、wait()原型2. 验证wait()能回收僵尸子进程的空间 3.2 waitpid()实现进程等待…

电子积木方案开发商

东莞市酷得智能科技有限公司电子积木方案开发商 提供消费电子解决方案、提供IC技术支持&#xff0c;全国线上线下服务 积木小车底层驱动开发过程主要涉及到以下几个方面&#xff1a; 首先&#xff0c;需要对小车底盘结构、硬件、模块等有深入的了解。底盘承载着机器人定位、导…