动态消息系统设计

动态消息流是一个在你个人主页不同更定的故事列表,推特、mega和Instagram 的post消息都是典型的动态消息列表,和普通消息流系统的最大区别是消息流动态变化、实时更新,设计一个动态消息系统核心功能消息流的构建和消息的发布,需要考虑的主要两个问题在于对于超大粉丝用户用户快速发布自己的消息和一个用户如何低延迟实时获取最新消息流,系统架构图如下。在这里插入图片描述
news feed service:存储和查询用户发送的post
post DB:记录post的原数据,比如post内容,对外开放权限,开发人群。
fanout Service:根据post和粉丝列表生成news feed服务,因为一个用户发送一个post就要将对应所有好友的new Feed进行更新,有一个放大的过程,可以使用消息队列进行缓冲。
new Feed Cache:为了提高new Feed的查询效率,将生成的news Feed保存的缓存中,为了能够缓存更多的内容,只缓存userId和 postId

需要注意的点
1、对于单个用户来说,为了能够缩短自己查看内容的RT,当自己正在follewing的人创建一个post,应该在自己的feed流中插入一条post,对于有千万粉丝的大V来说,当自己发送一条post的时候,为了能够快速对所有自己关注的用户生成一个post,需要做热key处理吗,还是多线程就可以处理。
生成new feed的流的方式有两种:第一种是在用户生成post的时候,在对应好友的News feed流中插入,也称为push模式,粉丝在获取消息流时速度更快;另外一种是,用户在查看自己的news feed流的时候,根据自己关注人和他们发送的post实时生成,也称为pull模式,不会对fanout服务造成流量压力,出现hotkey问题。实际场景中,可以融合两种方式的优点,根据用户粉丝数量采取不同new feed发布方式。针对极端场景,例如一个用户关注100w人,这100w人都是大v,实时生成自己的new feed流需要大量的过滤和计算,确实会比较耗时,可以考虑加入缓存、采取预生成策略和分页查询,会一定程度增加系统整体复杂度。

2、如果一个人新关注了一个朋友,需要将朋友历史已经发送的post都插入到自己的feed流吗?
为了控制数量,可以将关注朋友最新的N个post插入到自己的new feed中。

3、如果只是单纯的的查询自己的粉丝用户列表,需要使用Graph DB吗,查询速度就比mysql快吗?
只是查询粉丝列表,mysql就足够了,并且查询速度会很快

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/546319.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

蓝桥杯 — — 纯质数

纯质数 题目: 思路: 一个最简单的思路就是枚举出所有的质数,然后再判断这个质数是否是一个纯质数。 枚举出所有的质数: 可以使用常规的暴力求解法,其时间复杂度为( O ( N N ) O(N\sqrt{N}) O(NN ​)&…

破译验证码reCAPTCHA 之 打码平台

由于登录需要验证码,除了日常的字符串+数字,此时就需要用第三方插件进行破译。 reCaptcha是Google公司的验证码服务,方便快捷,改变了传统验证码需要输入n位失真字符的特点。 1. reCAPTCHA 初识 reCaptcha是Google公司…

Oracle+11g+笔记(3)-SQL/Plus

Oracle11g笔记(3)-SQL/Plus 3、SQL/Plus 3.1 启动退出SQL/Plus > sqlplus 账号/密码数据库 # 示例 > sqlplus scott/tigerorcl> sqlplus /nolog -- 无日志登录:避免别人从日志中查询到登录信息 > conn soctt/socttorcl # 示例 > sqlplus /nolog &…

Numpy数组和列表list的区别

参考:Numpy Array vs List 在Python编程中,列表(list)和Numpy数组(numpy array)是两种常见的数据结构,它们都可以用来存储多个元素。但是它们在实际使用中有很大的区别,本文将详细比…

爬虫 | 垃圾处理设施数据的获取与保存

Hi,大家好,我是半亩花海。本项目通过发送网络请求(requests),从指定的 URL 获取垃圾处理设施的相关数据,并将数据保存到 CSV 文件中,以供后续分析和利用。 目录 一、项目结构 二、详细说明 三…

【详解算法流程+程序】DBSCAN基于密度的聚类算法+源码-用K-means和DBSCAN算法对银行数据进行聚类并完成用户画像数据分析课设源码资料包

DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法。 与划分和层次聚类方法不同,它将簇定义为密度相连的点的最大集合,能够把具有足够高密度的区域划分为簇, 并可在噪声的空间数据…

数据结构与算法——22.哈希算法

这篇文章我们来讲一下哈希表中较为关键的部分——哈希算法 目录 1.哈希算法的介绍 2.hash算法的使用 2.1 Object.hashCode 2.2 String.hashCode 3.关于哈希表及哈希算法的一些思考 1.哈希算法的介绍 问题:什么是哈希算法?哈希算法有哪些&#xff…

【Linux 驱动基础】设备树中断

# 前置知识 interrupts 文档 Specifying interrupt information for devices 1) Interrupt client nodes -------------------------Nodes that describe devices which generate interrupts must contain an "interrupts" property, an "interrupts-extende…

腾讯EdgeOne产品测评体验——开启安全防护,保障数据无忧

当今时代数字化经济蓬勃发展人们的生活逐渐便利,类似线上购物、线上娱乐、线上会议等数字化的服务如雨后春笋般在全国遍地生长,在人们享受这些服务的同时也面临着各式各样的挑战,如网络数据会不稳定、个人隐私容易暴露、资产信息会被攻击等。…

【MySQL | 第六篇】数据库三大范式

文章目录 6.数据库设计三大范式6.1第一范式6.2第二范式6.3第三范式6.4反范式设计 6.数据库设计三大范式 6.1第一范式 第一范式(1NF):确保每列的原子性(强调的是列的原子性,即列不能够再分成其他几列)。实际上,第一范式…

C++_第五周做题总结_构造与析构

id:31 A.Point(类与构造) 题目描述 下面是一个平面上的点的类定义,请在类外实现它的所有方法,并生成点测试它。 class Point {double x, y; public:Point(); // 缺省构造函数,给x,y分别赋值为0Point(double x_value…

顶顶通呼叫中心中间件-SIP分机安全(mod_cti基于FreeSWITCH)

介绍 运行在公网的FreeSWITCH服务器,每天都会接收到很多恶意的呼叫请求和注册请求,尝试盗打电话。合理的配置可以防止电话给倒打,但是每天大量的攻击,会让FS产生很多日志,降低FreeSWITCH的处理能力,cti模块…

【Entity Framework】你要知道EF中功能序列与值转换

【Entity Framework】你要知道EF中功能序列与值转换 文章目录 【Entity Framework】你要知道EF中功能序列与值转换一、序列1.1 基本用法1.2 配置序列设置 二、值转换2.1 配置值转换器2.2 批量配置值转换器2.3 预定义的转换2.4 ValueConverter类2.5 内置转换器 三、应用3.1 简单…

C语言面试题之奇偶链表

奇偶链表 实例要求 1、给定单链表的头节点 head ,将所有索引为奇数的节点和索引为偶数的节点分别组合在一起,然后返回重新排序的列表;2、第一个节点的索引被认为是 奇数 , 第二个节点的索引为 偶数 ,以此类推&#x…

【Linux】Linux基础与常用指令大全

文章目录 操作系统是什么?1. Linux家族介绍2. Linux的安装方式3. 常用指令3.1 ls [选项] [目录/文件](显示目录或文件信息)3.2 pwd(显示当前所在目录)3.3 任意指令加上 --help(查看指令的用法)3…

半导体材料(一)

本篇为西安交通大学本科课程《电气材料基础》的笔记。 本篇为这一单元的第一篇笔记,下一篇传送门。 半导体是导电能力介于均属导体和绝缘体之间的固体材料。 半导体基本特征 室温下其电阻数量级约为 1 0 − 6 ∼ 1 0 8 Ω ⋅ m 10^{-6}\sim10^{8}\mathrm{\Omega…

玩steam游戏提示缺少dll文件怎么办,总结5种解决方法

在尝试运行您所期待已久的Steam平台上的某款精彩游戏时,您可能遭遇了一个令人颇为困扰的问题:系统提示“Steam游戏缺少dll文件,游戏无法启动”。为了解决这个问题,我总结了以下五种解决方法,希望能帮助到遇到类似问题的…

用three.js做一个3D汉诺塔游戏(下)

本文由孟智强同学原创。 接上期:《用three.js做一个3D汉诺塔游戏(上)》 在上一期,我们成功地搭建了基础的 3D 场景。在本期中,我们将对场景进行优化,使其在视觉上更加真实,并为场景中的物体添加…

【数据结构】【C++】AVL树的模拟实现(插入、判断、旋转)

文章目录 1 概念2 实现2.1 AVL树结点的定义2.2 AVL树的插入2.2.1 AVL树的插入规则2.2.2 旋转2.2.2.1 左单旋2.2.2.2 右单旋2.2.2.3 左右双旋2.2.2.4 右左双旋 2.2.3 总结 3 平衡判断4 删除5 源码 1 概念 二叉搜索树虽可以缩短查找的效率,但如果数据有序或接近有序二…

论文速读:Do Generated Data Always Help Contrastive Learning?

在对比学习领域,最近很多研究利用高质量生成模型来提升对比学习 给定一个未标记的数据集,在其上训练一个生成模型来生成大量的合成样本,然后在真实数据和生成数据的组合上执行对比学习这种使用生成数据的最简单方式被称为“数据膨胀”这与数据…