📍1. Gzip压缩技术详解
Gzip是一种流行的无损数据压缩格式，它使用DEFLATE算法来减少文件大小，广泛应用于网络传输和文件存储中以提高效率。
🚀 使用场景：
• 网站优化：通过压缩HTML、CSS、JavaScript文件来加速页面加载，提升用户体验。
• 数据备份与归档：压缩大型数据集，减少存储空间和传输带宽。
• API数据传输：压缩API响应，降低网络传输成本，尤其是在移动网络环境下。
• 大数据处理：在Hadoop、Spark等大数据框架中压缩中间结果，提高处理效率。
🔧 Golang使用示例：
import (
"bytes"
"compress/gzip"
)
func GzipEncode(data []byte) ([]byte, error) {
var buf bytes.Buffer
gw := gzip.NewWriter(&buf)
defer gw.Close()
_, err := gw.Write(data)
if err!= nil {
return nil, err
}
return buf.Bytes(), nil
}
📍2. MySQL慢查询处理四部曲
• 开启慢查询日志：配置my.cnf文件，设置slow_query_log=1和long_query_time阈值，记录执行时间超过阈值的SQL语句。
• 使用分析工具：利用mysqldumpslow、pt-query-digest等工具分析慢查询日志，识别频繁执行的慢SQL。
• 优化索引：根据慢查询分析结果，为频繁查询的列创建索引，优化复合索引顺序，遵循最左前缀原则。
• SQL优化：重构SQL语句，避免使用SELECT *，减少JOIN操作，使用LIMIT限制结果集大小，优化子查询和关联查询。
📍3. Binlog日志格式对比
| 格式 | 特点 | 适用场景 |
|---|---|---|
| STATEMENT | 记录SQL语句，日志量小，性能高 | 简单DML操作，不涉及复杂事务 |
| ROW | 记录行级变更，数据一致性高，可精确恢复 | 复杂事务，需要高数据安全性 |
| MIXED | 自动切换STATEMENT和ROW格式 | 混合业务场景，兼顾性能和安全性 |
📍4. MySQL索引优化指南
• B+树索引：理解B+树结构，合理设计索引，支持快速查找和范围查询。
• 最左前缀原则：复合索引按查询频率高的列在前，确保索引高效利用。
• 覆盖索引：优化查询列与索引列，避免回表操作，提高查询效率。
• 索引优化案例：分析查询性能瓶颈，为频繁查询的列添加索引，减少IO操作，提升查询速度。
📍5. 强一致性定义
强一致性（也称为线性一致性或原子一致性）要求分布式系统中所有节点在同一时刻看到的数据完全一致，确保数据的实时性和准确性。
典型实现：两阶段提交（2PC）、Paxos、Raft等分布式一致性算法。
应用场景：金融交易、库存管理、订单处理等对数据一致性要求极高的业务场景。
📍6. Kafka业务场景
• 日志收集与分析：实时采集用户行为日志、系统日志，支持大数据量处理和实时分析。
• 事件驱动架构：实现服务间解耦，通过发布/订阅模式实现异步消息传递，提高系统可扩展性和灵活性。
• 数据管道：作为数据流平台，连接数据源和目标系统，实现数据集成和ETL流程。
• 实时数据流处理：结合Flink、Spark Streaming等流处理框架，实现实时数据分析和决策支持。
📍7. RocketMQ事务消息流程
- 发送半消息（prepare消息）：生产者发送消息到RocketMQ，消息状态为半消息。
- 执行本地事务：生产者执行本地事务操作，如数据库更新、文件写入等。
- 根据本地事务结果，提交或回滚消息：生产者根据本地事务执行结果，向RocketMQ发送提交或回滚消息。
🛡️ 确保消息发送与本地事务执行结果一致，常用于分布式事务场景，如订单支付、库存扣减等。
📍8. 消息队列选型指南
• Kafka：适合大数据量、高吞吐量的场景，如日志收集、实时数据处理、数据流平台等。
• RocketMQ：提供事务消息、顺序消息、消息过滤等高级特性，适合金融、电商等对消息可靠性要求极高的场景。
• 选型考虑：根据业务需求、性能要求、可靠性、功能特性、生态系统支持等因素选择合适的消息队列。
📍9. 消息幂等保障方案
• 唯一消息ID：为每条消息生成唯一ID，消费者在处理消息前检查是否已处理过。
• 数据库去重表：使用数据库表记录已处理消息ID，消费前查询去重表判断消息是否已处理。
• 状态机控制：根据业务状态判断消息是否已处理，确保消息处理逻辑幂等。
• 分布式锁：在高并发场景下，使用分布式锁确保同一时刻只有一个消费者处理消息。
📍10. 死信队列实现
• 设置消息消费超时或重试次数：配置消息队列的消费超时时间和重试次数。
• 消费失败的消息被投递到死信队列（DLQ）：消息消费失败后，被自动投递到死信队列。
• 监控DLQ，定期处理失败消息：通过监控工具或定时任务检查DLQ，处理失败消息，如人工干预、自动重试或记录日志。
📍11. Redis分布式锁实现
func RedisDistributedLock(conn redis.Conn, lockKey string, lockValue string, expire int) bool {
script := redis.NewScript(1, `
if redis.call("setnx", KEYS[1], ARGV[1]) == 1 then
redis.call("expire", KEYS[1], ARGV[2])
return 1
else
return 0
end`)
result, err := script.Run(conn, []string{lockKey}, []string{lockValue, expire}).Result()
if err!= nil {
return false
}
return result.(int) == 1
}
⚠️ 注意锁的过期时间设置，避免死锁，同时考虑锁的续期问题，防止业务执行时间过长导致锁提前释放。
📍12. RedLock解决的问题
RedLock通过多节点分布式锁机制，解决单点Redis故障导致的锁失效问题，确保分布式环境下锁的高可用性和安全性。
主要解决以下问题：
• 单点故障：避免单点Redis宕机导致锁不可用。
• 锁过期释放：在锁过期时间内，如果业务未执行完，防止其他节点获取到锁。
• 脑裂问题：在Redis集群中，避免因网络分区导致多个节点同时持有锁。
📍13. Redis消息队列方案
• List结构：使用LPUSH和RPOP实现简单队列，适用于低并发、轻量级消息场景。
• Streams：Redis 5.0引入的新特性，支持消息持久化、消费者组、消息确认、消息ID生成等高级功能，提供更强大的消息队列能力。
应用场景：适用于轻量级、低延迟的消息场景，如实时通知、任务队列等，但需注意消息持久化和数据一致性，确保消息不丢失。
📍14. ES+MySQL架构实践
• MySQL存储事务性数据：作为主数据库，存储订单、用户、交易等事务性数据，保证数据完整性和一致性。
• ES存储非事务性数据：用于全文搜索、数据分析、实时查询等场景，提供快速查询和数据分析能力。
• 数据同步：使用Canal、Logstash等工具实现MySQL到ES的数据同步，保持数据一致性。
• 业务场景：商品信息存储在MySQL，ES提供商品搜索功能，提升用户体验；同时，利用ES进行数据分析，支持业务决策。
• 架构优化：考虑数据一致性、实时性、性能等因素，优化数据同步策略，如增量同步、异步同步等，确保系统稳定高效运行。
📍15. 分库分表策略
• 垂直分库：按业务模块划分数据库，如订单库、用户库等，降低单库压力，提高业务隔离性。
• 水平分表：按某个字段（如用户ID、时间）将大表拆分为多个小表，分散数据存储，提高查询性能。
• 分片键选择：选择均匀分布的字段作为分片键，避免数据倾斜，如使用哈希函数或范围分区。
• 中间件支持：使用ShardingSphere、MyCat等分库分表中间件，简化分库分表操作，提供透明化访问。
📍16. 算法题：二叉树重建及后序遍历
type TreeNode struct {
Val int
Left *TreeNode
Right *TreeNode
}
func buildTree(preorder []int, inorder []int) *TreeNode {
if len(preorder) == 0 || len(inorder) == 0 {
return nil
}
root := &TreeNode{Val: preorder[0]}
index := findIndex(inorder, preorder[0])
root.Left = buildTree(preorder[1:index+1], inorder[:index])
root.Right = buildTree(preorder[index+1:], inorder[index+1:])
return root
}
func findIndex(arr []int, target int) int {
for i, v := range arr {
if v == target {
return i
}
}
return -1
}
func postorderTraversal(root *TreeNode) []int {
if root == nil {
return []int{}
}
left := postorderTraversal(root.Left)
right := postorderTraversal(root.Right)
return append(append(left, right...), root.Val)
}
欢迎关注我的小红书一起来讨论。
