---

---

项目地址

• 教程作者：
• 教程地址：

• 代码仓库地址：

• 所用到的框架和插件：

dbt 
airflow

一、Basic InterviewQuestions

1. tell me about yourself?

First of all, thank you very much for give me this opportunity，I am a software engineer, I enjoy sloving complex problems I have experience as a Data enginner for one half year and 2 years building and mantaining Full stactk web app. I enjoy working with all layers of the stack. 在我之前工作中，I’v experienced with include .net for building mvc and web api and as well as experience with different various javascript framworks such as react and vue. So i believe my passion and my experience would make me a great asset for you company

2. tell me about a time when you had to solve a complex code problem?

Use S.T.A.R

3. tell me a situation that you persuade someone at work?

my previous company our team support different web applications and there was really uniformity in terms of what kind of technic or framework we should use. 之前有个项目是需要从一个网站获取接口数据，将数据结合bi系统数据，进行实时的展示，所以刚开始领导决定使用和后端一样的.net 完成功能。我提出了可以使用python完成，因为更加轻量化的定时系统和更快的开发周期。就写了一个小的demo在周会上演示利与弊，最后，小组的成员以及leader同意了我的想法

4. tell me a about a confict with a teammate and how you resolved it

star

5. tell me a about a time where you demonstarted leadership

star

1. 先说一个leadership应该有啥：可以将项目有条不紊的组织起来，并且善于发掘每个人的特长
2. 之前有个新来的同事，领导让我带着他熟悉公司的业务，之后一起合作开发

6. imagine that your teammate was not performing well how would you handle the situation ?

不要用star

1. 如何更好的像teammate传达坏消息，但是不要贬低他，先赞扬，在讲出问题，最后再 赞美和鼓励

7. what would you manager say about you

1. 有创造力，善于学习，学习的很快
2. 公开演讲，或者小组开会上，我说话并不是很多，不是一个能活跃气氛的人？

8 . why do you want to work here

1. 对产品兴奋，对公司的业务感兴趣
2. 你的技术和公司的技术很匹配

9. tell me about a time when you above call the of duty

star

1. 新年回去了，但是，我的服务器报警了，我的定时任务报警，原本应该有1000w的吞吐，但是，当日只有10w数据，

10. what project are you most proud of and why

多平台协作+微服务

二、全栈

2.1 微服务

1. 订单搜索功能

• 数据同步架构图

执行流程：
1.数据存储，数据到达订单数据库后，会到Canal服务器，Canal服务器通过
同步通讯，到ElasticSearch服务
2. Canal和Els默认使用的时http通讯，使用RabbitMQ进行通讯或kafka
3. 数据回源：解决异步通讯实时延迟问题，出现延迟的数据，直接再订单数据库里进行查询
4. 数据回源并发量大会导致订单数据库性能下降，所以需要添加一个redis缓存服务

技术：
5. 电商微服务系统
6. Elasticsearch
7. Nest
8. Cannal
9. RabbitMQ
10.Redis

具体实现：

1. 使用Nest提供的ElasticClient

2. RabbitMQ

2.1 RabbitMQ的架构或者组成部分

1. broker ：服务节点
2. queue：队列，用户存储消息，多个消费者订阅一个队列，这是队列的消息会被轮询 平摊给多个消费者。
3. exchange: 交换器，生产者发送消息给exchange，然后exchange将消息放入一个或者多个队列中
4. RoutingKey：当消息到达exchange的时候，会指定一个RoutingKey，用来指定路由规则，必须和bindingKey一起使用才可以生效
5. Binding:通过绑定，将exchange和queue里的消息绑定，

2.2 延迟队列和死信

2.3 如何保证消息发送或者接收

发送方：需要发送confirm，当消息到达生产者的时候，使用comfirmCallback回调接口，成功则回调，失败则调用ReturnCallback接口
接收方： 消费者接收的每一条消息后必须确认，只有确认了的消息，才会从队列里删除。但是如果消费者 返回ack之前断开了连接，消息会被从新发给下一个订阅的消费者，这样会产出重复消费，需要进行去重
broker: 同步刷盘，等待slave复制完成才会返沪确认

2.4 常用的队列

1. 镜像队列：队列会在集群上的多个节点创建副本，主节点处理请求， 子节点负责同步数据，当主节点宕机，子节点接管，保证高可用
2. 优先队列：处理系统预警
3. 延迟队列：订单超时（20分钟内，用户未支付，取消订单）

2.5 如何保消息不被重复消费

• MQ是无法保证消费端是否正常消费的
• 需要程序员从应用端保证消息不被重复消息，需要保证消息的幂等性：
  1. 如果使用redis，每次都是set, 天然幂等
  2. 生产者发送消息带上全局唯一uuid，消费者拿到消息后，根据id在redis里查询，没消费过就处理，并且写入id到redis里，如果消费过，就不处理

2.6 消息队列的优缺点以及场景

有点： ①异步 ②解耦 ③消弱峰值
缺点： ①复杂度②数据一致性，消费者会失败
场景： ①日志采集 ② 订阅发布 ③多系统调用

3. Kafka

3.1 简述kafka的架构设计

1. broker：服务器节点，可以有多个
2. topic: 一个Topic 以多个partition的方式分布在多个broker上，每个p
3. Customer group：消费者分组

3.1 简述kafka的rebalance机制

4. Redis

4.1 分布式ID的生成方案

1. 全局的uuid：优点：降低全局节点压力；缺点：占空间大，不是递增的
2. 数据库主键自增：优点：数字类型查询效率高于字符；缺点：并发性能不好，分库分表复杂
3. Redis自增： 优点：并发性能高；缺点：数据丢失，自增
4. 雪花算法：优点：分布式ID的经典算法； 缺点：时钟回拨

4.2 分布式锁的应用场景以及解决方法

应用场景：

1. 处理分布式系统集群中的锁，如果都是用独立的锁，锁就没有意义
2. 操作共享资源：如数据库里唯一用户资源，订单系统，优惠卷系统，财务系统
3. 同步访问：多个进程同时操作共享资源

解决方案：
4. 使用redis做分布式锁，使用setnx key nx ex 10s（需要给key设置过期时间5-10s）确保不会有死Key；其次，如果锁设置了10s释放 ，但是 执行了15s，另外一个程序已经获取到了锁，会出现数据不一致，需要使用watch dog进行，实际上直接使用框架lock 和unlock
5. 基于zookeeper，临时节点（客户端和zookeeper连接后一直生效，断开后连接失效），顺序节点：1号服务拿锁，执行结束后，再给2号
6. 基于基于数据库，主键或者唯一索引

4.3 死锁的情况有哪些

1. 加锁，但是没释放锁，需要添加Delete key
2. 加锁后，程序还没执行释放锁，程序挂了，需要添加key的过期机制

4.4 redis持久化RDB 和AOF

RDB：
1. 数据快照，指定间隔时间内，对数据进行快照存储；
2. 保存某个时间点的数据，如每小时保存过去24小时数据，同时每天保存过去30天的数据；
3. 方便传入到blob里
4. 缺点：①意外停止，会丢失数据；②fork子进程进行数据备份会导致性能降低；

AOF（优先）:
1. 每秒的fsync策略，AOF可以将数据丢失降低到1s
2. AOF只是一个日志追加文件，所以即使宕机，也可以恢复到未执行完整的写入命令
3. AOF保存数据库所有执行写入的操作
4. 缺点：体积大

4.5 redis如何淘汰过期的key

1. 自动：每10s 随机检测20个keys进行过期检测，删除所有的过期keys，如果多于25%就重复1
2. 手动：设置master执行DEL命令，如果Master不执行，slaver是不会执行的
3. 扩展：绝对时间点和相对时间点以及时钟轮算法

4.6 缓存回收