来看大厂如何设计运营后台系统的?

0 背景

重运营的应用。对于App里的顶导航、我的页面、弹窗等,需要根据模式、版本、平台、语言、渠道等不同的维度进行运营管理。随着业务快速发展,版本快速迭代,如何:

  • 保持运营资源能够被高效、稳定和灵活地配置
  • 高效稳定的为新的运营需求提供支持

通过打造一个稳定、灵活、高效的运营配置平台来解决前面遇到的问题。本文主要分享我们在建设高效的运营配置平台过程中积累的一些经验以及面临的挑战和思考

1 配置资源拆解

运营类配置分类:

  • 运营资源
  • 基础数据
运营资源范例:弹窗基础数据:底部导航

1.1 运营资源

运营资源可理解为App中经常变动的一些广告、运营活动等。比如上图中弹窗广告,就是一个典型的运营资源。

1.1.1 特征
① 时效性强

只在一定时间范围内显示在C端固定位置。

② 模式强相关

每个活动、广告都只会出现在固定的某些模式。

③ 数据变动频繁

特别是活动类数据,展示的图片文案等变动较为频繁

④ 支持多语言展示

基于公司海外站面向全球用户的情况,不同模式需展示不同语言文案。

1.2 基础数据配置

基础数据配置相对于运营资源来说其变更的频率相对较低,与时间、版本的关系也没那么强。譬如下面爱奇艺海外App-底部导航栏(样式如上图)。

1.2.1 特征
① 多维度

需要针对不同的模式、语言做不同的配置。

② 长期有效

这种类型的配置一般长期存在,过期场景较少。

2 实践痛点

面对接二连三运营配置需求,最初实现不同的配置界面来对接各类运营产品需求。但这必然很大问题

2.1 运营效率低

新运营配置需求,研发要开发对应配置页面,然后转给运营同学进行配置的管理,最后运营人员对资源进行配置上线,流程图:

每个运营配置需求都经需求评审、页面开发、配置管理、上线。配置页面开发,少则1到2天,问题就在:

  • 研发成本高,每个需求要开发新的配置管理页面
  • 研发周期长,运营效率低,从需求的提出到运营上线周期长
  • 灵活性差,对不同的运营维度(模式、版本、时间等)都需要事先确定好,无法动态调整

2.2 频繁重复开发

通用型的运营配置后台,某些特有功能特别对于前后端来说重复开发工作明显。如操作记录,审核机制,根据不同的模式版本语言过滤数据等功能,在每次出现的配置需求中都需重复开发。

3 实践中的思考

希望设计一个通用解决方案,去解决上文阐述的各种运营资源管理的问题。我们把这个项目称为运营位。

调研确认

3.0 项目设计原则

  • 一切数据皆可配
  • 运营数据高可用
  • 接口性能高效

不断实践和总结,抓手如下:

3.1 数据JSON化

随业务迭代,无论采用啥数据字段组成,都很难满足业务变化字段(标题、副标题、图片、跳转链接等)要求。对底层数据进行JSON化,对应数据字段即可实现可动态扩展,满足业务迭代需求。JSON化带来运营位字段管理问题,在运营后台提供字段管理功能即可解决。

3.2 运营数据多点存储

持久化存储,分布式缓存,以及接入业务方的本地缓存,运营数据的多方存储,保证极端情况都有降级数据获取,降低系统异常损失。

3.3 接口SDK化

运营数据,无论通过数据库的落地方案、还是分布式缓存,都无法彻底解决服务中心化和服务抖动。通过接入的SDK化,实现数据的本地缓存更新机制,解除对中心化服务的依赖,提升服务稳定性和性能。同时整个运营位服务变成可水平扩展,在扩展过程中也不会影响中心服务的稳定性。

调用方请求流程图

4 运营位架构

运营位配置系统整体框架图。从功能角度,大体上分为四层:数据层、服务层、接入层和监控层。

4.0 运营位架构图

4.1 数据层

主要存储接入运营位的各类运营数据。

难点
  • 数据量大
  • QPS高

可通过redis集群做中间缓存,通过SDK使各业务方接入本地缓存、通过消息监听异步更新,以解决中心服务的流量压力。

4.2 服务层

服务层向下对底层数据进行操作;向上为接入层获取数据提供接入能力。提供四个服务能力:

  • 运营后台,面向运营人员和产品,提供数据的配置后台
  • 开放平台,收归开发技术人员,提供一个增加运营位配置的后台
  • 数据服务,主要是为调用数据的开发提供一个统一的、高可用的、高性能的api接口
  • SDK,服务于数据服务,主要简化开发人员的接入成本,提供数据服务性能和可用性

4.3 接入层

4.3.1 C端接入咋方便?

为简化开发接入成本,调用逻辑在SDK内实现,用户只需引入maven包,注入OppkitClient,封装OppkitRequest,通过OppkitClient直接调用即可返回过滤并且翻译后的数据。

4.3.2 B端配置咋更便捷?

设计项目时,后台配置的唯一原则:一切皆可配置。通过开放后台来配置运营位,每个运营位相当于一个业务形态,如导航栏,而运营位包含多个数据,如title,link,title包含多种语言,需配置多语言key:

  • 开放平台就是创建运营位,为运营位配置字段
  • 运营后台,配置开放平台创建的运营位数据

4.4 监控层

除了数据存储层监控及烽火台对数据层与服务层的监控,还监控SDK内实现的本地缓存。

C端的接入即数据的获取在SDK内部实现,SDK内部实现功能:

  • 若请求包含某些特定离散字段如设备id,因数据量极大,存入本地缓存会给业务方机器内存压力,则避开缓存直接请求服务
  • 为满足数据实时性要求较高业务方,新增不接入本地缓存的逻辑
  • 若只包含某些聚合度高字段如平台、版本、模式和语言等,则把请求的数据存入本地缓存。本地缓存通过监听运营平台的方式进行异步更新,当异步更新获取数据失败,则保持之前的数据返回,避免极端情况运营数据全部为空,将业务损失降至最低
  • SDK内部通过异步线程,将本地缓存使用情况通过定时线程存入,通过后台界面展示各缓存使用情况,实时监控各类缓存使用

5 稳定性与性能

运营后台稳定性与性能保障方案。

5.0 整体请求流程图

5.1 稳定性保障

各类运营数据配置的运营后台,稳定性很重要。

除了操作机制即运营流程化数据配置机制、多级数据存储使用分布式缓存及分布式数据库,还提供SDK方案来对服务故障进行降级。来看该方案落地过程。

5.2 SDK本地缓存方案

实现本地缓存好处
  • 缓解中心服务的流量压力,更多流量请求到本地服务的内存

  • 基于海外站业务特点,国外网络环境不可预测,环境差,尽可能减少网络请求链路

  • 一旦中心服务故障,周知各业务方不要重新部署,以本地缓存实现数据降级

本地缓存方案缺点明显

一旦有运营后台数据更新,各业务方无法实时获取最新数据。对此,SDK开始迭代:

系统流程说明
架构简单,实现方便。但并发差,稳定性不够。
本地缓存,部分缓解中心服务的流量压力。但造成数据不一致。
实现OPPKIT-SDK,在SDK内部实现本地缓存,同时SDK内部通过消息监听机制。

架构三版,较好解决中心服务流量问题,使运营后台流量由用户请求量决定改为后台的数据更新频率决定,从而解决流量过载问题。但该版也要解决:

各业务方本地缓存的使用情况种类繁多,如何进行提供系统监控?

MQ方案设计

针对问题1,SDK内部通过scheduledexecutorservice定时任务,周期性将缓存使用情况拉取到库内,通过后台界面根据时间展示本地缓存使用情况。可掌握各业务方缓存使用情况,给业务方内存申请和分配提供数据支撑。

针对问题2,涉及难点:

  • 业务服务机器一般集群部署,一个消息的更新需要被多台部署相同代码的服务器同时消费,确保每台机器都获取到最新的数据

    消息Producer是运营后台服务,而一个消息要被所有业务方监听,即所有业务方的每台机器。所以,每台机器应属不同消费组。所以要找到一个每台机器都不一样的标识节点,以该节点做消费组。显然,最好的就是机器地址,可保证每台机器所在分组不同

  • 运营位有多个,但对于业务方,没必要在未接入的运营位更新数据时去异步请求运营后台中心服务更新数据(因为这些数据这个业务方根本没接入)

    提供一个配置文件,各业务方在配置文件内写入各自业务方使用的运营位名称,当一个消息来临,先判断消息中的运营位名称是否包含在配置文件:若不在,则这条消息被忽略(空消费);在,则请求响应的运营位更新本地数据

5.3 性能保障

SDK提供本地缓存可提高后端服务性能。运营位实践配置中发现,运营人员更改运营数据情形相比网络请求来说非常低频,如基础运营数据。因此,数据缓存在客户端可避免客户端与后端服务网络消耗,极大提高性能。

可为每个运营位数据提供一个版本。通过保存各运营位的操作最新时间,在客户端开屏时发起一次请求,将所有运营位最近数据更新时间返给客户端,客户端将该时间戳缓存本地,当下次开屏请求时,同样获取到服务端返回的运营位最近更新时间戳,将本地的与服务的进行匹配,确认是否去更新各运营位数据,如果客户端缓存的运营数据时间与运营后台返回一致,则直接展示缓存在客户端的数据。

这方案另一好处是极端时如对外暴露API4故障,通过禁止运营后台的数据更新,可使业务数据正常展示,避免运营数据消失的严重故障

5.4 请求流程图

6 总结

本文主要介绍了运营位设计开发,先根据痛点提出运营后台设计原则,针对原则去思考与实现具体技术方案:

  • 配置数据Json化实现业务字段可扩展性
  • 设计的数据模型来介绍满足多语言下各类运营配置数据方法
  • 提供SDK内部实现本地缓存,MQ监听,异步更新解决服务中心化的大流量问题和缓存导致数据不一致问题。针对海外具体情况,提出客户端缓存的相关方案

如错误码配置举例,错误码需要给客户端返回各类错误码以及对应的相关文案,文案是多语言场景的,通过运营位配置化实现,只需要在分析需求,拆分业务字段和数据露出的条件后,很快就可以给出相应的运营后台。

关注我,紧跟本系列专栏文章,咱们下篇再续!

作者简介:魔都技术专家兼架构,多家大厂后端一线研发经验,各大技术社区头部专家博主,编程严选网创始人。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。

负责:

  • 中央/分销预订系统性能优化

  • 活动&优惠券等营销中台建设

  • 交易平台及数据中台等架构和开发设计

    目前主攻降低软件复杂性设计、构建高可用系统方向。

参考:

  • 编程严选网

    本文由博客一文多发平台 OpenWrite 发布!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/409438.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

软件游戏显示d3dx9_42.dll丢失的5种解决方法,快速解决dll问题

当计算机系统中d3dx9_42.dll文件丢失时,可能会引发一系列运行问题和功能异常,具体表现形式多样且影响范围较广。首先,对于依赖于DirectX 9.0c版本的各类应用程序,尤其是部分经典的老款游戏,由于d3dx9_42.dll是其中不可…

深度解析:Integer.parseInt() 源码解读

深度解析:Integer.parseInt() 源码解读 关键要点 解析字符:用于将字符转换为对应的数字值 Character.digit(s.charAt(i),radix) 确定limit:根据正负号分别设定 int limit -Integer.MAX_VALUE;【正】 limit Integer.MIN_VALUE;【负】 负数…

【卷积神经网络中用1*1 卷积有什么作用或者好处呢?】

🚀 作者 :“码上有前” 🚀 文章简介 :深度学习 🚀 欢迎小伙伴们 点赞👍、收藏⭐、留言💬 1*1 卷积有什么作用或者好处呢 作用降维和增加非线性特征组合和交互网络的宽度和深度调整全连接替代增强…

matlab滤波器设计

1、内容简介 略 51-可以交流、咨询、答疑 2、内容说明 略 3、仿真分析 略 matlab滤波器设计-butter、ellip、cheby1、cheby2_哔哩哔哩_bilibili 4、参考论文 略

C语言中的宏定义与内联函数的使用

大家好,今天给大家介绍C语言中的宏定义与内联函数的使用,文章末尾附有分享大家一个资料包,差不多150多G。里面学习内容、面经、项目都比较新也比较全!可进群免费领取。 一、宏定义(Macro Definition) 宏定…

英伟达狂飙,上演大象坐火箭

英伟达市值破 2W 亿 这两天全球资本市场最大的事情就是英伟达(NVDA)公布了财报。 本来市场(分析师)的预期就高,结果财报公布比预期还要高出不少。 NVDA 直接上演「大象坐火箭」,在财报公布后的第一个交易日…

【数据结构与算法】(19)高级数据结构与算法设计之 图 拓扑排序 最短路径 最小生成树 不相交集合(并查集合)代码示例

目录 6) 拓扑排序KahnDFS 7) 最短路径DijkstraBellman-FordFloyd-Warshall 8) 最小生成树PrimKruskal 9) 不相交集合(并查集合)基础路径压缩Union By Size 图-相关题目 6) 拓扑排序 #mermaid-svg-MQhLsXiMwnlUL3q4 {font-family:"trebuchet ms"…

语音转字幕:Whisper模型的功能和使用

🍁 作者:知识浅谈,CSDN签约讲师,CSDN博客专家,华为云云享专家,阿里云专家博主 📌 擅长领域:全栈工程师、爬虫、ACM算法 💒 公众号:知识浅谈 🤞语音…

【k8s资源调度-HPA(自动扩缩容)】

1、HPA可以做什么? 通过观察pod的cpu、内存使用率或自定义metrics指标进行自动的扩容或缩容pod的数量。通常用于Deployment,不适用于无法扩/缩容的对象,如DaemonSet。控制管理器每隔30s(可以通过-horizontal-pod-autoscaler–sync-period修改…

信息系统项目管理师论文分享(质量管理)

水一篇文章。我发现身边考高项的朋友很多都是论文没过,我想着那就把我的论文分享出来,希望能有帮助。 质量管理 摘要 2020年5月,我作为项目经理参加了“某市某医联体的互联网诊疗(互联网医院和远程医疗)平台”的建设…

多表联合分页查询(二)---- springboot整合MybatisPlus分页代码

目录 一、分页配置代码解读(使用MP自带分页)二、Controller层代码解读三、service层代码解读四、Mapper层代码解读五、结果展示 一、分页配置代码解读(使用MP自带分页) package com.minster.yanapi.Config;import com.baomidou.m…

Python 读取txt中的汉字报错

Python读取txt中的汉字报错:UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xa7 in position 4: illegal multibyte sequence 举例: fileE:/0_MyWork/python_programm/children_name/strich7.txtwith open(file, "r") as file_7str…

LeetCode 1637.两点之间不包含任何点的最宽垂直区域

给你 n 个二维平面上的点 points ,其中 points[i] [xi, yi] ,请你返回两点之间内部不包含任何点的 最宽垂直区域 的宽度。 垂直区域 的定义是固定宽度,而 y 轴上无限延伸的一块区域(也就是高度为无穷大)。 最宽垂直区…

基于jmeter的性能全流程测试

01、做性能测试的步骤 1、服务器性能监控 首先要在对应服务器上面安装性能监控工具,比如linux系统下的服务器,可以选择nmon或者其他的监控工具,然后在jmeter模拟场景跑脚本的时候,同时启动监控工具,这样就可以获得jm…

抖音视频下载工具|视频内容提取软件

引言部分: 针对抖音视频下载需求,我们团队自豪推出一款功能强大的工具,旨在解决用户获取抖音视频繁琐问题的困扰。我们通过基于C#开发的工具,让用户能够轻松通过关键词搜索实现自动批量抓取视频,并根据需求进行选择性批…

Linux——缓冲区封装系统文件操作

📘北尘_:个人主页 🌎个人专栏:《Linux操作系统》《经典算法试题 》《C》 《数据结构与算法》 ☀️走在路上,不忘来时的初心 文章目录 一、FILE二、封装系统接口实现文件操作1、text.c2、mystdio.c3、mystdio.h 一、FILE 因为IO相…

谷歌收购域名花费了100万美元的确让大家眼红

谷歌斥资100万美元购买了该域名。 卖个好价钱确实让大家眼红,但能不能卖到高价就是另一回事了。 首先,据统计,截至2008年底,我国域名总数达到1680万多个,可用的域名资源几乎无法统计,因为英文的组合太多了…

2024.2.25 在centos8.0安装docker

2024.2.25 在centos8.0安装docker 安装过程比较简单,按顺序安装即可,简要步骤: 一、更新已安装的软件包: sudo yum update二、安装所需的软件包,允许 yum 通过 HTTPS 使用存储库: sudo yum install -y …

经典枚举算法

解析: 首先答案肯定是字符串的某个前缀,然后简单直观的想法就是枚举所有的前缀来判断,我们设这个前缀串长度为 lenx ,str1 的长度为 len1,str2 的长度为 len2,则我们知道前缀串的长度必然要是两个字符串长…

mac拼图软件有哪些?推荐5款拼图软件

mac拼图软件有哪些?在数字图像处理中,拼图软件扮演着至关重要的角色。对于Mac用户来说,选择一款功能强大、操作简便的拼图软件是提升工作效率和创作体验的关键。本文将为你介绍五款优秀的Mac拼图软件,帮助你轻松完成图片拼接、制作…