用户敏感信息脱敏展示:
@RequestParam 和 @PathVariable的区别
注解是用于从request中接收请求的,两个都可以接收参数,关键点不同的是@RequestParam 是从request里面拿取值,而 @PathVariable 是从一个URI模板里面来填充。
@PathVariable:主要用于接收http://host:port/path/{参数值}数据。
@RequestParam:主要用于接收http://host:port/path?参数名=参数值数据,这里后面也可以不跟参数值。
BeanUtil.toBean()方法
在Hutool工具包中,BeanUtil类的toBean()方法用于将一个对象或Map转换成指定类型的JavaBean对象。我们先创建了一个数据源对象product,然后,通过调用BeanUtil.toBean()方法,将数据源对象product转换成目标类型 productVo的JavaBean对象vo。
需要注意的是,转换过程中,BeanUtil.toBean()方法通过反射机制创建了目标类型的实例,并将数据源对象的属性值复制到目标对象中。所以,需要保证数据源对象和目标类型的属性名称和类型保持一致,否则无法正确转换属性值。所以在创建ProductVo时,是继承于Product的。另外,还需要在项目中引入Hutool的相关依赖才能使用BeanUtil类的方法。
PhoneDesensitizationSerializer:
package com.nageoffer.shortlink.admin.common.serialize;
import cn.hutool.core.util.DesensitizedUtil;
import com.fasterxml.jackson.core.JsonGenerator;
import com.fasterxml.jackson.databind.JsonSerializer;
import com.fasterxml.jackson.databind.SerializerProvider;
import java.io.IOException;
/**
* 手机号脱敏反序列化
*/
public class PhoneDesensitizationSerializer extends JsonSerializer<String> {
@Override
public void serialize(String phone, JsonGenerator jsonGenerator, SerializerProvider serializerProvider) throws IOException {
String phoneDesensitization = DesensitizedUtil.mobilePhone(phone);
jsonGenerator.writeString(phoneDesensitization);
}
}
UserRespDTO:
不知道为什么我都加了注解,也有文件,可是脱敏就是不生效,压根没走PhoneDesensitizationSerializer。
用户注册:
检查用户名是否存在:
- 海量用户如果说查询的用户名存在或不存在,全部请求数据库,会将数据库直接打满。
方法1:将数据库已有的用户名全部放到缓存里。
该方案问题:
- 是否要设置数据的有效期?只能设置为无无有效期,也就是永久数据。
- 如果是永久不过期数据,占用 Redis 内存太高。
方法2:使用布隆过滤器。
布隆过滤器是一种数据结构,用于快速判断一个元素是否存在于一个集合中。具体来说,布隆过滤器包含一个位数组和一组哈希函数。位数组的初始值全部置为 0。在插入一个元素时,将该元素经过多个哈希函数映射到位数组上的多个位置,并将这些位置的值置为 1。
在查询一个元素是否存在时,会将该元素经过多个哈希函数映射到位数组上的多个位置,如果所有位置的值都为 1,则认为元素存在;如果存在任一位置的值为 0,则认为元素不存在。
优点:
- 高效地判断一个元素是否属于一个大规模集合。
- 节省内存。
缺点:
- 可能存在一定的误判。
布隆过滤器误判理解
- 布隆过滤器要设置初始容量。容量设置越大,冲突几率越低。
- 布隆过滤器会设置预期的误判值。
误判能否接受
布隆过滤器的误判是否能够接受?
答:可以容忍。为什么?因为用户名不是特别重要的数据,如果说我设置用户名为 aaa,系统返回我不可用,那我大可以在 aaa 的基础上再加一个a,也就是 aaaa。
布隆过滤器的使用:
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<dependency>
<groupId>org.redisson</groupId>
<artifactId>redisson-spring-boot-starter</artifactId>
</dependency>
spring:
data:
redis:
host: 127.0.0.1
port: 6379
password: 123456
创建布隆过滤器实例:
import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/**
* 布隆过滤器配置
*/
@Configuration
public class RBloomFilterConfiguration {
/**
* 防止用户注册查询数据库的布隆过滤器
*/
@Bean
public RBloomFilter<String> userRegisterCachePenetrationBloomFilter(RedissonClient redissonClient) {
RBloomFilter<String> cachePenetrationBloomFilter = redissonClient.getBloomFilter("xxx");
cachePenetrationBloomFilter.tryInit(0, 0);
return cachePenetrationBloomFilter;
}
}
tryInit 有两个核心参数:
- expectedInsertions:预估布隆过滤器存储的元素长度。
- falseProbability:运行的误判率。
错误率越低,位数组越长,布隆过滤器的内存占用越大。
错误率越低,散列 Hash 函数越多,计算耗时较长。
一个布隆过滤器占用大小的在线网站:Bloom Filter Calculator
使用布隆过滤器的两种场景:
- 初始使用:注册用户时就向容器中新增数据,就不需要任务向容器存储数据了。
- 使用过程中引入:读取数据源将目标数据刷到布隆过滤器。
private final RBloomFilter<String> userRegisterCachePenetrationBloomFilter;
/**
* 查询用户名是否存在
* @param username
* @return 存在,true 不存在,false
*/
@Override
public Boolean hashUsername(String username) {
return userRegisterCachePenetrationBloomFilter.contains(username);
}
用户注册:
一定要记得写枚举的时候是用逗号分割。
redis使用:
由于很久没用过redis了,所以我忘记了怎么启动了。
可以参考这个文档,为了防止下一次找不到redis文件了,记得一定要配置环境变量。
redis的启动需要先打开redis-server.exe然后再用可视化工具连接即可。
如果redis没有密码,但是本地application.yml又配置了redis密码,就会导致报错:Factory method 'redisson' threw exception with message: Unable to connect to Redis server: 127.0.0.1/127.0.0.1:6379
Window下Redis的安装和部署详细图文教程(Redis的安装和可视化工具的使用)_redis安装-CSDN博客
自动填充字段
自动填充字段 | MyBatis-Plus
难点:
由于在注册时,将用户记录添加到数据库时,同时将用户名添加到布隆过滤器中。但是为了防止redis的主节点挂掉后,从节点变成主节点时,有些数据还没复制,就会导致脏数据,就会可能导致用户名重复,所以为了防止这个情况,我们需要将username设置为唯一索引,让数据库兜底。
如何防止恶意请求毫秒级触发大量请求去一个未注册的用户名?
因为用户名没注册,所以布隆过滤器不存在,代表着可以触发注册流程插入数据库。但是如果恶意请求短时间海量请求,这些请求都会落到数据库,造成数据库访问压力。这里通过分布式锁,锁定用户名进行串行执行,防止恶意请求利用未注册用户名将请求打到数据库。
用redisson实现分布式锁。
UserServiceImpl:
private final RedissonClient redissonClient;
/**
* 注册用户
*
* @param requestParam
*/
@Override
public void register(UserRegisterReqDTO requestParam) {
if(hashUsername(requestParam.getUsername())){
throw new ClientException(UserErrorCodeEnum.USER_NAME_EXIST);
}
RLock lock = redissonClient.getLock(LOCK_USER_REGISTER_KEY+requestParam.getUsername());
try{
if(lock.tryLock()){
int inserted=baseMapper.insert(BeanUtil.toBean(requestParam,UserDO.class));
if(inserted<1){
throw new ClientException(UserErrorCodeEnum.USER_SAVE_ERROR);
}
userRegisterCachePenetrationBloomFilter.add(requestParam.getUsername());
return;
}
throw new ClientException(UserErrorCodeEnum.USER_NAME_EXIST);
}finally {
lock.unlock();
}
}
/**
* 短链接后管 Redis 缓存常量类
* 类描述: RedisCacheConstant
**/
public class RedisCacheConstant {
public static final String LOCK_USER_REGISTER_KEY="short-link:lock_user-register:";
}