海量数据处理商用短链接生成器平台

第三章商用短链平台实战-账号微服务+流量包设计

第1集账号微服务和流量包数据库表+索引规范讲解

简介：账号微服务和流量包数据库表+索引规范讲解

索引规范
- 主键索引名为 pk_字段名; pk即 primary key;
- 唯一索引名为 uk_字段名；uk 即 unique key
- 普通索引名则为 idx_字段名；idx 即index 的简称
account表

CREATE TABLE `account` (
  `id` bigint unsigned NOT NULL AUTO_INCREMENT,
  `account_no` bigint DEFAULT NULL,
  `head_img` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '头像',
  `phone` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '手机号',
  `pwd` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '密码',
  `secret` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '盐，用于个人敏感信息处理',
  `mail` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '邮箱',
  `username` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '用户名',
  `auth` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '认证级别，DEFAULT，REALNAME，ENTERPRISE，访问次数不一样',
  `gmt_create` datetime DEFAULT CURRENT_TIMESTAMP,
  `gmt_modified` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_phone` (`phone`) USING BTREE,
  UNIQUE KEY `uk_account` (`account_no`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

第2集账号微服务和流量包数据库表+索引规范讲解

简介：账号微服务和流量包数据库表+索引规范讲解

账号和流量包的关系：一对多
traffic流量包表
- 思考点
  - 海量数据下每天免费次数怎么更新？
  - 海量数据付费流量套餐包每天次数限制怎么更新？
  - 高性能扣减流量包设计怎么做？
  - 流量包数据更新处理-高并发下分布式事务怎么解决

CREATE TABLE `traffic` (
  `id` bigint unsigned NOT NULL AUTO_INCREMENT,
  `day_limit` int DEFAULT NULL COMMENT '每天限制多少条，短链',
  `day_used` int DEFAULT NULL COMMENT '当天用了多少条，短链',
  `total_limit` int DEFAULT NULL COMMENT '总次数，活码才用',
  `account_no` bigint DEFAULT NULL COMMENT '账号',
  `out_trade_no` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '订单号',
  `level` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '产品层级：FIRST青铜、SECOND黄金、THIRD钻石',
  `expired_date` date DEFAULT NULL COMMENT '过期日期',
  `plugin_type` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '插件类型',
  `product_id` bigint DEFAULT NULL COMMENT '商品主键',
  `gmt_create` datetime DEFAULT CURRENT_TIMESTAMP,
  `gmt_modified` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_trade_no` (`out_trade_no`,`account_no`) USING BTREE,
  KEY `idx_account_no` (`account_no`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

traffic_task 流量包任务表（先建-后续会讲用途）

CREATE TABLE `traffic_task` (
  `id` bigint unsigned NOT NULL AUTO_INCREMENT,
  `account_no` bigint DEFAULT NULL,
  `traffic_id` bigint DEFAULT NULL,
  `use_times` int DEFAULT NULL,
  `lock_state` varchar(16) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '锁定状态锁定LOCK  完成FINISH-取消CANCEL',
  `message_id` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '唯一标识',
  `gmt_create` datetime DEFAULT CURRENT_TIMESTAMP,
  `gmt_modified` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_msg_id` (`message_id`) USING BTREE,
  KEY `idx_release` (`account_no`,`id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

在这里插入图片描述

第3集账号微服务-流量包业务模型概念补充

简介：账号微服务流量包业务模型概念补充

业务模型补充

在这里插入图片描述

第4集项目引入Mybatis-plus-generator代码自动生成工具

简介：介绍Mybatis-plus-generator代码自动化生成工具

介绍
- 底层是模板引擎技术，可以自定义生成的java类模板
基础版mybatis-genarator
进阶版mybatis-plus-genarator
注意
- 使用起来和普通版的mybatis generator一样，但是这个纯代码，不用复杂xml配置
- 任何框架，不要使用过多的侵入或者框架定制化深的内容，防止后续改动耦合性高，成本大
添加依赖
- 统一Common项目添加，各个项目测试类里面配置

    <!-- 代码自动生成依赖 begin -->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-generator</artifactId>
            <version>3.4.1</version>
        </dependency>
        <!-- velocity -->
        <dependency>
            <groupId>org.apache.velocity</groupId>
            <artifactId>velocity-engine-core</artifactId>
            <version>2.0</version>
        </dependency>
        <!-- 代码自动生成依赖 end-->

代码（标记TODO的记得修改）

public class MyBatisPlusGenerator {

    public static void main(String[] args) {
        //1. 全局配置
        GlobalConfig config = new GlobalConfig();
        // 是否支持AR模式
        config.setActiveRecord(true)
                // 作者
                .setAuthor("jj")
                // 生成路径，最好使用绝对路径，window路径是不一样的
                //TODO  TODO  TODO  TODO
                .setOutputDir("/Users/xdclass/Desktop/demo/src/main/java")
                // 文件覆盖
                .setFileOverride(true)
                // 主键策略
                .setIdType(IdType.AUTO)

                .setDateType(DateType.ONLY_DATE)
                // 设置生成的service接口的名字的首字母是否为I，默认Service是以I开头的
                .setServiceName("%sService")

                //实体类结尾名称
                .setEntityName("%sDO")

                //生成基本的resultMap
                .setBaseResultMap(true)

                //不使用AR模式
                .setActiveRecord(false)

                //生成基本的SQL片段
                .setBaseColumnList(true);

        //2. 数据源配置
        DataSourceConfig dsConfig = new DataSourceConfig();
        // 设置数据库类型
        dsConfig.setDbType(DbType.MYSQL)
                .setDriverName("com.mysql.cj.jdbc.Driver")
                //TODO  TODO  TODO  TODO
                .setUrl("jdbc:mysql://120.79.150.146:3306/dcloud_account?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai")
                .setUsername("root")
                .setPassword("xdclass.net168");

        //3. 策略配置globalConfiguration中
        StrategyConfig stConfig = new StrategyConfig();

        //全局大写命名
        stConfig.setCapitalMode(true)
                // 数据库表映射到实体的命名策略
                .setNaming(NamingStrategy.underline_to_camel)

                //使用lombok
                .setEntityLombokModel(true)

                //使用restcontroller注解
                .setRestControllerStyle(true)

                // 生成的表, 支持多表一起生成，以数组形式填写
                //TODO  TODO  TODO  TODO
                .setInclude("account","traffic","traffic_task");

        //4. 包名策略配置
        PackageConfig pkConfig = new PackageConfig();
        pkConfig.setParent("net.xdclass")
                .setMapper("mapper")
                .setService("service")
                .setController("controller")
                .setEntity("model")
                .setXml("mapper");

        //5. 整合配置
        AutoGenerator ag = new AutoGenerator();
        ag.setGlobalConfig(config)
                .setDataSource(dsConfig)
                .setStrategy(stConfig)
                .setPackageInfo(pkConfig);

        //6. 执行操作
        ag.execute();
        System.out.println("======= 小滴课堂 Done 相关代码生成完毕  ========");
    }
}

导入生成好的代码
- model (为啥不放common项目，如果是确定每个服务都用到的依赖或者类才放到common项目)
- mapper 类接口拷贝
- resource/mapper文件夹 xml脚本拷贝
- controller
- service 不拷贝
Mybatis plus配置控制台打印日志

#配置plus打印sql日志
mybatis-plus:
  configuration:
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl

第5集账号微服务注册Nacos+配置文件增加

简介：账号微服务注册Nacos+配置文件增加

启动账号微服务

排除sharding-jdbc依赖

						<exclusions>
                <exclusion>
                        <groupId>org.apache.shardingsphere</groupId>
                        <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
                </exclusion>
            </exclusions>

增加main函数主类

@MapperScan("net.class.mapper")
@EnableTransactionManagement
@EnableFeignClients
@EnableDiscoveryClient
@SpringBootApplication
public class AccountApplication {

    public static void main(String[] args) {
        SpringApplication.run(AccountApplication.class, args);
    }

}

配置文件

  cloud:
    nacos:
      discovery:
        server-addr: 120.79.150.146:8848
        username: nacos
        password: nacos

  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://120.79.150.146:3306/dcloud_account?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai
    username: root
    password: class.net168

多个微服务增加配置+代码生成配置映入

第四章账号微服务注册模块+短信验证码

第1集账号微服务注册功能和流程介绍

简介:介绍微服务注册功能和流程介绍

功能需求
- 使用手机号注册，已经注册的手机号不能􏰀重复注册，密码不能使用简单的MD5加密
- 用户上传头像需要用文件存储
安全需求
- 高并发下账号唯一性注册邮箱或者手机验证码不能被恶意调用
  - 验证码+唯一索引
- 头像文件存储访问方便扩容和管理
  - 阿里云OSS
- 针对每个功能，初级开发和高级开发的思路是不一样
- 产品经理提业务需求安全需求就是自己的经验，不然最终背锅的还是自己
- 高并发处理
  - 异步+池化思想
短链平台选择
- 使用短信验证码注册
- 头像存储使用阿里云OSS

第2集第三方短信验证码平台接入申请操作指引

简介:账号微服务短信验证码接入申请操作指引

短信验证码平台选择考虑点
- 各个类型短信价格
- 短信到达率、到达时间
- 短信内容变量灵活，方便支持多场景
- 支持多种推广内容的短信发放，例如业务推广、新产品宣讲、会员关怀等内容的短信
- 多维度数据统计-查看请求量、发送成功量、失败量、等
短信平台
- 阿里云：https://www.aliyun.com/product/sms
  - 推荐
- 腾讯云：https://cloud.tencent.com/product/sms
  - 推荐
- 第三方厂商：https://market.aliyun.com/products/57000002/cmapi00046920.html
  - 提供测试模板、免审核、测试成本更低

选择申请接入

阿里云市场：https://market.console.aliyun.com/imageconsole/index.htm

参数

AppKey：204000913     AppSecret：UaIdIkE9gEdjeZRGYLpgOq5FYAAYBfbD 复制

AppCode：6999d4df3e7d48028470bbe517169a8d  复制


免费测试的模板ID: M72CB42894

第3集账号微服务短信验证码发送工具类封装实战

简介:账号微服务短信验证码发送工具类封装实战

RestTemplate配置

	@Bean
    public RestTemplate restTemplate(ClientHttpRequestFactory factory) {
        return new RestTemplate(factory);
    }

    @Bean
    public ClientHttpRequestFactory simpleClientHttpRequestFactory() {
        SimpleClientHttpRequestFactory factory = new SimpleClientHttpRequestFactory();
        factory.setReadTimeout(10000);
        factory.setConnectTimeout(10000);
        return factory;
    }

SmsConfig配置

#----------sms短信配置--------------
sms:
  app-code: 6999d4df3e7d48028470bbe517169a8d
  template-id: M72CB42894
  
  

@ConfigurationProperties(prefix = "sms")
@Configuration
@Data
public class SmsConfig {

    private String templateId;

    private String appCode;

}

SmsComponent工具类封装

private void send(String to, String templateId, String value) {

        String url = String.format(urlTemplate, to, templateId, value);

        HttpHeaders headers = new HttpHeaders();
        //最后在header中的格式(中间是英文空格)为Authorization:APPCODE 83359fd73fe94948385f570e3c139105
        headers.set("Authorization", "APPCODE " + smsConfig.getAppCode());

        HttpEntity<String> entity = new HttpEntity<>(headers);
        ResponseEntity<String> response = restTemplate.exchange(url, HttpMethod.POST, entity, String.class);

        log.info("url={},body={}", url, response.getBody());
        if (response.getStatusCode() == HttpStatus.OK) {
            log.info("发送短信成功,响应信息:{}", response.getBody());
        } else {
            log.error("发送短信失败,响应信息:{}", response.getBody());
        }
    }

第4集账号微服务短信验证码发送工具类单元测试

简介:账号微服务短信验证码发送工具类单元测试

单元测试

@RunWith(SpringRunner.class)
@SpringBootTest(classes = AccountApplication.class)
@Slf4j
public class SmsTest {

    @Autowired
    private SmsComponent smsComponent;


    @Test
    public void testSendSms(){

        smsComponent.sendCode("13113777337","M72CB42894","223344");
    }

}

第五章架构核心技术-池化思想-异步结合性能优化最佳实践

第1集接口压测和常用压力测试工具对比

简介：目前用的常用测试工具对比

LoadRunner
- 性能稳定，压测结果及细粒度大，可以自定义脚本进行压测，但是太过于重大，功能比较繁多
Apache AB(单接口压测最方便)
- 模拟多线程并发请求,ab命令对发出负载的计算机要求很低，既不会占用很多CPU，也不会占用太多的内存，但却会给目标服务器造成巨大的负载, 简单DDOS攻击等
Webbench
- webbench首先fork出多个子进程，每个子进程都循环做web访问测试。子进程把访问的结果通过pipe告诉父进程，父进程做最终的统计结果。
Jmeter (GUI )
- 开源免费，功能强大，在互联网公司普遍使用
- 压测不同的协议和应用
  - 1. Web - HTTP, HTTPS (Java, NodeJS, PHP, ASP.NET, …)
  - 1. SOAP / REST Webservices
  - 1. FTP
  - 1. Database via JDBC
  - 1. LDAP 轻量目录访问协议
  - 1. Message-oriented middleware (MOM) via JMS
  - 1. Mail - SMTP(S), POP3(S) and IMAP(S)
  - 1. TCP等等
- 使用场景及优点
  - 1）功能测试
  - 2）压力测试
  - 3）分布式压力测试
  - 4）纯java开发
  - 5）上手容易，高性能
  - 4）提供测试数据分析
  - 5）各种报表数据图形展示

压测工具本地快速安装Jmeter5.x
- 需要安装JDK8 以上
- 建议安装JDK环境，虽然JRE也可以，但是压测https需要JDK里面的 keytool工具
- 快速下载 https://jmeter.apache.org/download_jmeter.cgi
- 文档地址：http://jmeter.apache.org/usermanual/get-started.html

bin:核心可执行文件，包含配置
        jmeter.bat: windows启动文件(window系统一定要配置显示文件拓展名)
        jmeter: mac或者linux启动文件
        jmeter-server：mac或者Liunx分布式压测使用的启动文件
        jmeter-server.bat：window分布式压测使用的启动文件
        jmeter.properties: 核心配置文件   
extras：插件拓展的包

lib:核心的依赖包

Jmeter语言版本中英文切换
- 控制台修改 menu -> options -> choose language
配置文件修改
- bin目录 -> jmeter.properties
- 默认 #language=en
- 改为 language=zh_CN

第2集 Jmeter5.X基础功能组件介绍+线程组和Sampler

简介：讲解Jmeter里面GUI菜单栏主要组件

添加->threads->线程组（控制总体并发）

线程数：虚拟用户数。一个虚拟用户占用一个进程或线程

准备时长（Ramp-Up Period(in seconds)）：全部线程启动的时长，比如100个线程，20秒，则表示20秒内 100个线程都要启动完成，每秒启动5个线程

循环次数：每个线程发送的次数，假如值为5，100个线程，则会发送500次请求，可以勾选永远循环

线程组->添加-> Sampler(采样器) -> Http （一个线程组下面可以增加几个Sampler）

名称：采样器名称
注释：对这个采样器的描述
web服务器：
  默认协议是http
  默认端口是80
  服务器名称或IP ：请求的目标服务器名称或IP地址

路径：服务器URL

查看测试结果

线程组->添加->监听器->察看结果树
线程组->添加->监听器->聚合报告

常规压测流程
- 内网环境
- 非GUI下压测
- 停止其他无关资源进程
- 压测机和被压测机器隔离

第3集调用第三方服务组件改造+Jmeter5.x性能压测实践

简介：调用第三方服务组件改造+Jmeter5.x性能压测实践

埋点http请求得出请求响应耗时【粗略统计，非线上大量数据测试得出】
增加代码NotifyController、NotifyService
- test方法测试
压测参数配置
- 200并发
- 2秒启动
- 循环500次
同步发送+resttemplate未池化
- 错误：Connection timed out
- 400到500 qps

第4集高并发下异步请求解决方案- @Async注解应用实战

简介：高并发下异步请求解决方案一- @Async组件应用实战

问题
- 由于发送短信涉及到网络通信, 因此sendMessage方法可能会有一些延迟. 为了改善用户体验, 我们可以使用异步发送短信的方法
什么是异步任务
- 异步调用是相对于同步调用而言的，同步调用是指程序按预定顺序一步步执行，每一步必须等到上一步执行完后才能执行，异步调用则无需等待上一步程序执行完即可执行
- 多线程就是一种实现异步调用的方式
- MQ也是一种宏观上的异步
使用场景
- 适用于处理log、发送邮件、短信……等
- 涉及到网络IO调用等操作
使用方式
- 启动类里面使用@EnableAsync注解开启功能，自动扫描
- 定义异步任务类并使用@Component标记组件被容器扫描,异步方法加上@Async
注意：@Async失效情况
- 注解@Async的方法不是public方法
- 注解@Async的返回值只能为void或者Future
- 注解@Async方法使用static修饰也会失效
- spring无法扫描到异步类，没加注解@Async 或 @EnableAsync注解
- 调用方与被调方不能在同一个类
  - Spring 在扫描bean的时候会扫描方法上是否包含@Async注解，动态地生成一个子类（即proxy代理类），当这个有注解的方法被调用的时候，实际上是由代理类来调用的，代理类在调用时增加异步作用
  - 如果这个有注解的方法是被同一个类中的其他方法调用的，那么该方法的调用并没有通过代理类，而是直接通过原来的那个 bean，所以就失效了
  - 所以调用方与被调方不能在同一个类，主要是使用了动态代理，同一个类的时候直接调用，不是通过生成的动态代理类调用
  - 一般将要异步执行的方法单独抽取成一个类
- 类中需要使用@Autowired或@Resource等注解自动注入，不能自己手动new对象
- 在Async 方法上标注@Transactional是没用的，但在Async 方法调用的方法上标注@Transactional 是有效的
编码实践

		//启动类增加 @EnableAsync
	
	  // @Override
    @Async
    public void testSend() {

//        try {
//            TimeUnit.MILLISECONDS.sleep(2000);
//        } catch (InterruptedException e) {
//            e.printStackTrace();
//        }

        long beginTime = CommonUtil.getCurrentTimestamp();
        ResponseEntity<String> forEntity = restTemplate.getForEntity("http://old.xdclass.net", String.class);
        String body = forEntity.getBody();
        long endTime = CommonUtil.getCurrentTimestamp();
        log.info("耗时={},body={}",endTime-beginTime,body);

    }

第5集异步调用-压测高QPS后的背后原因和问题拆解

简介：异步调用-压测高QPS后的背后原因和问题拆解

在这里插入图片描述

默认参数下压测结果

在这里插入图片描述

现象：压测后很快跑完全部内容，是因为都在线程池内部的阻塞队列里面
- 极容易出现OOM，或者消息丢失
- 默认8个核心线程数占用满了之后, 新的调用就会进入队列, 最大值是Integer.MAX_VALUE，表现为没有执行
  - task-XXX 日志里面会出现递增
- 设置下idea启动进程的jvm参数： -Xms50M -Xmx50M
代码位置
- TaskExecutionProperties
- TaskExecutionAutoConfiguration
说明：
- 直接使用 @Async 注解没指定线程池的话，即未设置TaskExecutor时
- 默认使用Spring创建ThreadPoolTaskExecutor
- 核心线程数：8
- 最大线程数：Integer.MAX_VALUE ( 21亿多)
- 队列使用LinkedBlockingQueue
- 容量是：Integer.MAX_VALUE
- 空闲线程保留时间：60s
- 线程池拒绝策略：AbortPolicy
如何解决上面说的问题？

第6集【底层原理】Async+ThreadPoolTaskExecutor自定义线程池进阶实战

简介：高并发下异步请求 @Async+ThreadPoolTaskExecutor自定义线程池实战

自定义线程池可以解决上述的问题

在这里插入图片描述

大家的疑惑使用线程池的时候搞混淆ThreadPoolTaskExecutor和ThreadPoolExecutor
- ThreadPoolExecutor，这个类是JDK中的线程池类，继承自Executor，里面有一个execute()方法，用来执行线程，线程池主要提供一个线程队列，队列中保存着所有等待状态的线程，避免了创建与销毁的额外开销
- ThreadPoolTaskExecutor，是spring包下的，是Spring为我们提供的线程池类
  - Spring异步线程池的接口类是TaskExecutor，本质还是java.util.concurrent.Executor
解决方式
- spring会先搜索TaskExecutor类型的bean或者名字为taskExecutor的Executor类型的bean,
- 所以我们最好来自定义一个线程池，加入Spring IOC容器里面，即可覆盖
自定义线程池

@Configuration
@EnableAsync
public class ThreadPoolTaskConfig {

    @Bean("threadPoolTaskExecutor")
    public ThreadPoolTaskExecutor threadPoolTaskExecutor(){

        ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor();
        //线程池创建的核心线程数，线程池维护线程的最少数量，即使没有任务需要执行，也会一直存活
        //如果设置allowCoreThreadTimeout=true（默认false）时，核心线程会超时关闭
        threadPoolTaskExecutor.setCorePoolSize(4);

			//最大线程池数量，当线程数>=corePoolSize，且任务队列已满时。线程池会创建新线程来处理任务
			//当线程数=maxPoolSize，且任务队列已满时，线程池会拒绝处理任务而抛出异常
				threadPoolTaskExecutor.setMaxPoolSize(8);

			//缓存队列（阻塞队列）当核心线程数达到最大时，新任务会放在队列中排队等待执行
				threadPoolTaskExecutor.setQueueCapacity(124);
			
      //当线程空闲时间达到keepAliveTime时，线程会退出，直到线程数量=corePoolSize
        //允许线程空闲时间60秒，当maxPoolSize的线程在空闲时间到达的时候销毁
        //如果allowCoreThreadTimeout=true，则会直到线程数量=0
        threadPoolTaskExecutor.setKeepAliveSeconds(30);
        
        //spring 提供的 ThreadPoolTaskExecutor 线程池，是有setThreadNamePrefix() 方法的。 
        //jdk 提供的ThreadPoolExecutor 线程池是没有 setThreadNamePrefix() 方法的
        threadPoolTaskExecutor.setThreadNamePrefix("Spring自带Async前缀：");
        threadPoolTaskExecutor.setWaitForTasksToCompleteOnShutdown(true);
        
        // rejection-policy：当pool已经达到max size的时候，如何处理新任务
        // CallerRunsPolicy()：交由调用方线程运行，比如 main 线程；如果添加到线程池失败，那么主线程会自己去执行该任务，不会等待线程池中的线程去执行
//AbortPolicy()：该策略是线程池的默认策略，如果线程池队列满了丢掉这个任务并且抛出RejectedExecutionException异常。
//DiscardPolicy()：如果线程池队列满了，会直接丢掉这个任务并且不会有任何异常
//DiscardOldestPolicy()：丢弃队列中最老的任务，队列满了，会将最早进入队列的任务删掉腾出空间，再尝试加入队列
        
        threadPoolTaskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        threadPoolTaskExecutor.initialize();
        return threadPoolTaskExecutor;
    }

}



//使用实战， 启动类可以不加@EnableAsync，改上面加
@Async("threadPoolTaskExecutor")

总结【方便记忆】
- 先是CorePoolSize是否满足，然后是Queue阻塞队列是否满，最后才是MaxPoolSize是否满足

第7集 ThreadPoolTaskExecutor线程池的面试题

简介：ThreadPoolTaskExecutor线程池的面试题你知道怎么回答不

请你说下 ThreadPoolTaskExecutor线程池有哪几个重要参数，什么时候会创建线程
- 查看核心线程池是否已满，不满就创建一条线程执行任务，否则执行第二步。
- 查看阻塞队列是否已满，不满就将任务存储在阻塞队列中，否则执行第三步。
- 查看线程池是否已满，即是否达到最大线程池数，不满就创建一条线程执行任务，否则就按照策略处理无法执行的任务。
高并发下核心线程怎么设置？
- 分IO密集还是CPU密集
  - CPU密集设置为跟核心数一样大小
  - IO密集型设置为2倍CPU核心数
- 非固定，根据实际情况压测进行调整，俗称【调参程序员】【调参算法工程师】

第8集线程池多参数调整-性能压测+现象对比分析

简介：实践出真知-线程池多参数调整-现象报告对比分析

异步发送 + resttemplate未池化

线程池参数

threadPoolTaskExecutor.setCorePoolSize(4);
threadPoolTaskExecutor.setMaxPoolSize(16);
threadPoolTaskExecutor.setQueueCapacity(32);

qps少，等待队列小

异步发送+resttemplate未池化

线程池参数

threadPoolTaskExecutor.setCorePoolSize(32);
threadPoolTaskExecutor.setMaxPoolSize(64);
threadPoolTaskExecutor.setQueueCapacity(10000);
//如果等待队列长度为10万，则qps瞬间很高8k+,可能oom

qps，等待队列大(瞬间高)

问题
- 采用异步发送用户体验变好了，但是存在丢失的可能，阻塞队列存储内存中，如果队列长度过多则重启容易出现丢失数据情况
- 采用了异步发送了+阻塞队列存缓冲，刚开始瞬间QPS高，但是后续也降低很多
- 问题是在哪里？消费方角度，提高消费能力

高并发下核心线程怎么设置？

分IO密集还是CPU密集
- CPU密集设置为跟核心数一样大小
- IO密集型设置为2倍CPU核心数
非固定，根据实际情况压测进行调整，俗称【调参程序员】【调参算法工程师】

第8集线程池多参数调整-性能压测+现象对比分析

简介：实践出真知-线程池多参数调整-现象报告对比分析

异步发送 + resttemplate未池化

线程池参数

threadPoolTaskExecutor.setCorePoolSize(4);
threadPoolTaskExecutor.setMaxPoolSize(16);
threadPoolTaskExecutor.setQueueCapacity(32);

qps少，等待队列小

异步发送+resttemplate未池化

线程池参数

threadPoolTaskExecutor.setCorePoolSize(32);
threadPoolTaskExecutor.setMaxPoolSize(64);
threadPoolTaskExecutor.setQueueCapacity(10000);
//如果等待队列长度为10万，则qps瞬间很高8k+,可能oom