• 2021 11 10 百思不得姐 后台 爬虫 重构技术

https://www.bilibili.com/video/BV1QE411V7rq?p=1

[项目实战]Spring Boot 2.x 实现《百思不得姐》

• App 爬虫
  

2-APP数据抓包

• 电脑 手机 在 同一 局域网 （wifi）
  
  
  
  

• 下拉刷新

• 上拉加载
  
  
  
  
  
  
  
  
  
  
  

3-基础环境搭建

utf8mb4 存储表情 4个字符 utf8 3个

4-抓取原始数据

构造者 模式
面上对象 内部类

5-json序列化与反序列化

springMVC 推荐 jackson
阿里巴巴 fastjson
谷歌 gson

默认引用


测试用例

可序列化 对象 或者 实体类 都可以 toJson

类型令牌 转换成 对象

JavaBean 是特殊的 Java 类，使用 Java 语言书写，并且遵守 JavaBean API 规范。

接下来给出的是 JavaBean 与其它 Java 类相比而言独一无二的特征：

提供一个默认的无参构造函数。
需要被序列化并且实现了 Serializable 接口。
可能有一系列可读写属性。
可能有一系列的 getter 或 setter 方法。

字符串 格式化 类

6-URL爬虫实现

MVC
应该是 service 业务逻辑里 的 爬虫
controller 接收 前端 的 输出信息 调用 应用逻辑 反馈结果





占位符



第一次 初始化 给个0

在程序内部 高内聚 低耦合 处理




运行时注入

容错机制








爬取 记录 上下文

7-MyBatis保存原始数据

实体类 属性名 对应字段名

且 set get

新建 mapper 映射包

8-数据建模

19-配置优化与项目上线

电商秒杀系统实战&&集成环境mybatis&springboot

---

---

• 添加依赖
• 打开POM
• 注意版本问题
  

在 application.properties 配置

• 下划线变驼峰

• 延时

• 接口xml配置文件
  

• 在 src/main/java 中创建 domain 包

• 为表 导入 对象

druid 配置

• 数据源url
• 池子类型
• 过滤器
• 最大活动链接
• 初始大小
• 等待时间

依赖配置jdbc

---

设计数据库

• 在 domain 中创建相应 表单 对象Class —>user.java
  
  
• ALT + shift + S ----->source
  

创建 userservice

controller 中引用 service

测试事务

• controller 创建
  
• userservice中
• 防止错误数据库操作 抛出异常

• userdao中
  
  
• 加入@ Transaction 防止错误操作
• 注释掉
  

视频管理系统&&使用mybatis逆向工具生成文件

使用mybatis逆向工具生成文件

• pojo mapper 类生成 配置

• 放在项目目录下
• 配置 连接 信息 数据源
  
• 对应各种接口 写入各种包

- 配对 各种表

• Run as
• 生成 对应 表 接口
  
• 相对应
• 对应 类方法
• 复制对应包 到自己的工程中
• 新 创建包

• 表类（方法） 对应 xml （查询语句）
• last ----> install 检查操作 是否有误

租房(生活服务)项目-04-服务的具体实现以及MybatisPlus

MybatisPlus入门

02.使用Docker安装MySQL

延伸mysql - Percona

只是在 底层做了改进

docker部署

innoDB 默认引擎

-v 目录映射
数据容器分离

-p 端口映射

-e 容器环境变量

03.MybatisPlus入门之介绍

半ORM框架

MybatisPlus

04.MybatisPlus入门之架构讲解

架构 模块

springboot 支持

拓展
生成
注解

工作步骤

扫描pojo实体
反射 提取 字段表名

分析
生成curd
注入到 mybatis中

05.MybatisPlus入门之快速入门

导入依赖