从数据中台到上层应用全景架构示例

一、前言

对于大型企业而言,数据已经成为基本的生产资料,但是有很多公司还是值关心上层应用,而忽略了数据的治理,从而并不能很好的发挥公司的数据资产效益。比如博主自己是做后端的,主要是做应用层,也就是各种web系统,公司本身积累了很多数据,但是公司并没有在上面投入太多的成本区治理,所以看上去还是比较像传统的企业,看不到智能化,也看不到智慧化,平时的web系统仅仅能解决日常经营管理和对外服务。

二、从数据中台到上层应用全景架构

1、数据中台架构示例

数据中台的实施内容包括基础数据治理、数据仓库建设、数据分析展现等内容,通过平台建设实现企业数据的整合汇聚,构建数据中心,基于数据进行分析展现、透视业务、价值挖掘,有效支撑企业的业务发展。

数据中台包括DAP、MDM、ESB、Portal等产品,整体架构图如下:

DAP数据分析平台作为数据分析的核心,完成数仓建设、数据分析两部分内容,数仓通过ODS、DW构建数仓模型,实现分层建设,并能进行数据集、立方体等分析模型的配置,从而支持基于业务主题和业务指标的可视化分析。ESB作为数据集成平台,实现源头系统到ODS以及ODS到DW数据抽取、加工、转换,完成数据汇聚的过程。MDM基础数据平台则实现基础数据治理,为数仓提供基础数据支撑,构建数仓维表。Portal门户集成平台作为统一入口和应用中台,将数据治理、数据分析过程中的关键内容汇总到统一入口进行展现和管理,提高平台的使用效率,提升数据管理能力。

数据中台项目实施内容包括基础数据治理、数仓体系规划、数据分析展现、综合门户集成等内容,在项目实施过程中,要全面了解相关业务和场景,对实施内容进行梳理规划。

1.基础数据治理:明确各类基础数据的来源以及管理维护方式,通过数据中台的主数据平台实现基础数据的统一管理,建立基础数据的管理、集成标准,保证基础数据的一致性;

2.数仓体系规划:基于核心业务场景和业务流程,梳理关键数据指标,建立数据指标体系,并基于数据指标规划企业数仓体系,实现企业数据的集成整合、加工汇总,而数据分析、数据挖掘、业务监控提供数据支持;

3.数据分析展现:以核心业务和数仓、指标为基础,根据业务管理需要,规划主题、指标、数据的展现效果,实现可视化分析和指标监控;

4.综合门户集成:根据业务和管理需要,将数据指标、数据分析、数据治理等内容的关键点整合到门户中统一展现,同时以综合门户最为统一访问入口,规划统一用户、统一认证等标准体系,提升数据中台的应用效果。

2、上层应用架构示例

 旅通借助各事业群以及自身产生的,包含基础信息、消费行为、社交媒体行为、消费偏好等数据。通过OneID打通整合,形成“大数据”的规模效应,进而加工可靠的会员标签/分级/分群信息,完成会员360°识别。

搭建会员平台的核心主线,历练 精细化运营成长线,助力事业群赋能的发展线,具体说明:
会员体系:会员分级/分层,针对性的会员精细化运营,将80%核心资源投入到20%的头部用户;
会员服务:平台在信息整合、消费购物、 客服服务方面,提供极致的会员服务;
数据化运营:培育并找到核心的忠诚度用户,挖掘会员终身价值。打造平台的基本盘;
引流:可分为事业群存量、集团员工、战略合作企业员工、工会会员、自然流量、公域渠道引流等;
事业群赋能:找到事业群赋能的可持续发展线。 

三、Java全栈开发

Java全栈开发是指具备从前端到后端、从数据库到应用服务器的全方位开发能力的Java开发者。全栈开发不仅仅是掌握多种技术,更是能够将这些技术融会贯通,以高效、高质量的方式构建完整的应用程序。

前端开发

  1. HTML/CSS:掌握HTML的基本结构和CSS的样式设计,实现页面布局和样式。
  2. JavaScript:熟悉JavaScript语言,能够编写基本的交互逻辑和动态效果。
  3. 前端框架:了解至少一种前端框架,如React、Vue或Angular,能够使用框架构建复杂的前端应用。

后端开发

  1. Java核心知识:深入理解Java语言特性,包括面向对象编程、集合框架、异常处理、多线程等。
  2. Java Web开发:掌握Servlet和JSP技术,了解MVC设计模式,能够使用Spring MVC或Spring Boot构建Web应用。
  3. 数据库:熟悉关系型数据库如MySQL、Oracle,了解SQL语言,能够设计数据库结构和编写查询语句。
  4. 持久层框架:掌握如MyBatis或Hibernate等持久层框架,实现数据访问层的封装和优化。

应用服务器与中间件

  1. Tomcat/Jetty:了解Tomcat或Jetty等Web服务器的配置和使用。
  2. 消息中间件:如Kafka、RabbitMQ等,了解消息队列的原理和使用场景。
  3. 缓存:如Redis、Memcached等,掌握缓存机制和使用方法,提高应用性能。

分布式与微服务

  1. Spring Cloud:了解Spring Cloud生态,包括服务发现、负载均衡、配置中心等微服务治理组件。
  2. Docker与Kubernetes:掌握容器化技术和容器编排工具,实现应用的快速部署和扩展。
  3. API网关:了解API网关的作用和实现原理,能够使用如Spring Cloud Gateway等工具构建API网关。

安全性

  1. Web安全:了解常见的Web安全漏洞和防范措施,如SQL注入、XSS等。
  2. 加密与认证:掌握基本的加密技术和认证机制,如SSL/TLS、OAuth等。

性能优化与监控

  1. 性能调优:了解Java应用的性能瓶颈和优化方法,如JVM调优、数据库优化等。
  2. 监控与日志:掌握应用监控和日志分析技术,能够定位和解决性能问题。

自动化与测试

  1. 自动化构建:使用Maven或Gradle等构建工具实现项目的自动化构建和依赖管理。
  2. 单元测试与集成测试:掌握JUnit等测试框架,编写高质量的测试用例,确保代码质量。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/539990.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【研发效能·创享大会-嗨享技术轰趴】-IDCF五周年专场

一、这是一场创新分享局! 来吧,朋友们! 参加一场包含AIGC、BizDevOps、ToB产品管理、B端产品运营、平台工程、研发效能、研发度量、职业画布、DevOps国标解读的研发效能创享大会,会有哪些收益呢? 知识更新与技能提升:…

2024妈妈杯mathorcup数学建模C题 物流网络分拣中心货量预测及人员排班

一、数据预处理 数据清洗是指对数据进行清洗和整理,包括删除无效数据、缺失值填充、异常值检测和处理等。数据转换是指对数据进行转换和变换,包括数据缩放、数据归一化、数据标准化等。数据整理是指对数据进行整理和归纳,包括数据分组、数据聚…

记一次http访问超时服务器端调试

问题:http访问服务器时没有返回,没有超时,一直在阻塞 处理过程:telnet端口能连上,服务端程序也不存在处理时间过长的情况。 说明tcp连接没问题。推测是客户端连接后再发起请求,服务端阻塞了。因为很多客户…

2024-4-12-实战:商城首页(下)

个人主页:学习前端的小z 个人专栏:HTML5和CSS3悦读 本专栏旨在分享记录每日学习的前端知识和学习笔记的归纳总结,欢迎大家在评论区交流讨论! 文章目录 作业小结 作业 .bg-backward {width: 60px; height: 60px;background: url(..…

Java集合(一)Map(1)

Map HashMap和HashTable区别 线程是否安全:HashMap线程不安全,HashTable线程安全。因为HashTable内部的方法都经过了synchronized关键字修饰。 HashMap线程不安全例子:如果两个线程都要往HashMap中插入数据,但是发生哈希冲突&…

【爬虫+数据清洗+可视化分析】python文本挖掘“狂飙“的哔哩哔哩评论

一、背景介绍 2023年《狂飙》这部热播剧引发全民追剧,不仅全员演技在线,更是符合反黑主旋律,因此创下多个收视率记录! 基于此热门事件,我用python抓取了B站上千条评论,并进行可视化舆情分析。 二、爬虫代…

Aconda教程

1.创建Aconda的虚拟环境 conda create -n 虚拟环境名字2.查看Conda有哪些虚拟环境 conda env list3.激活Conda的虚拟环境 conda activate 虚拟环境名4.查看conda的镜像源 conda config --show 5.conda安装cpu版本的pytorch pip3 install torch torchvision torchaudio 6.…

YOLOv8绝缘子边缘破损检测系统(可以从图片、视频和摄像头三种方式检测)

可检测图片和视频当中出现的绝缘子和绝缘子边缘是否出现破损,以及自动开启摄像头,进行绝缘子检测。基于最新的YOLO-v8训练的绝缘子检测模型和完整的python代码以及绝缘子的训练数据,下载后即可运行。(效果视频:YOLOv8绝…

【机器学习】Logistic与Softmax回归详解

在深入探讨机器学习的核心概念之前,我们首先需要理解机器学习在当今世界的作用。机器学习,作为人工智能的一个重要分支,已经渗透到我们生活的方方面面,从智能推荐系统到自动驾驶汽车,再到医学影像的分析。它能够从大量…

【linux深入剖析】动态库的使用(续) | 动静态库的链接

🍁你好,我是 RO-BERRY 📗 致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 🎄感谢你的陪伴与支持 ,故事既有了开头,就要画上一个完美的句号,让我们一起加油 目录 回顾1. 打包库的使用2. 动…

JavaWeb--JavaScript-事件绑定/BOM/DOM编程

目录 1. 事件绑定 1.1. 什么是事件 1.2. 常见事件 1.3. 事件的绑定 1.3.1. 属性绑定 1.3.2. DOM编程绑定 1.4. 事件的触发 1.4.1. 行为触发 1.4.2. DOM编程触发 2. BOM 编程 2.1. 什么是 BOM 2.2. window对象的常见属性(了解) 2.3. window对象的常见方法(了解) 2…

如何准备2024年汉字小达人:18道历年考题示例和解析、备考提醒

现在距离2024年第11届汉字小达人比赛还有六个多月的时间,如何利用这段时间有条不紊地备考呢?我的建议是两手准备:①把小学1-5年级的语文课本上的知识点熟悉,重点是字、词、成语、古诗。阅读理解不需要。②把历年真题刷刷熟&#x…

nacos服务器挂了之后springboot/springcloud服务会挂吗?不会挂(顺便深入源码分析nacos配置中心客户端核心功能实现)

文章目录 nacos挂了之后服务会挂吗?不会挂(深入源码分析)展开nacos客户端源码找本地缓存配置相关文件客户端内存缓存客户端健康状态获取配置的实现 nacos挂了之后服务会挂吗?不会挂(深入源码分析) 展开nac…

适用于数据找回恢复的 12 个免费数据恢复工具

技术使我们的生活一天比一天轻松,我们已经越来越习惯于使用电脑、智能手机、桌子等设备,我们喜欢使用手机、电脑和其他数字设备,并将我们宝贵的数据存储在它们上面。当然,我们不能忍受丢失数据,因为这些设备都不可靠。…

C语言如何生成随机数以及设置随机数的范围

一、随机数的生成 1.rand()函数 C语言提供了⼀个函数叫 rand,这函数是可以生成随机数的,函数原型如下所示: int rand (void); rand函数会返回⼀个伪随机数,这个随机数的范围是在0~RAND_MAX之间,这个RAND_MAX的大小是依…

【项目实战】记录一次PG数据库迁移至GaussDB测试(上)

目录 一、说明 1.1、参考文档 1.2、注意事项 1.3、环境基本情况 二、GaussDB新环境安装 2.1 配置操作环境变量 2.1.1 关闭防火墙 步骤1 执行以下命令,检查防火墙是否关闭。 步骤2 执行以下命令,关闭防火墙并禁止开机启动。 步骤3 修改/etc/sel…

【Java-TesseractOCR】通过Java实现OCR

通过Java实现OCR 一、TesseractOCR二、引入pom训练集下载地址三、引入训练集三、使用 一、TesseractOCR 本文使用的是TesseractOCR进行识别 二、引入pom <dependency><groupId>net.sourceforge.tess4j</groupId><artifactId>tess4j</artifactId&…

【网站项目】数学辅导微信小程序

&#x1f64a;作者简介&#xff1a;拥有多年开发工作经验&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。&#x1f339;赠送计算机毕业设计600个选题excel文件&#xff0c;帮助大学选题。赠送开题报告模板&#xff…

python数据可视化——笔记1

1、pyecharts模块 Pyecharts 是一个 Python 可视化库&#xff0c;绘制多种类型的图表&#xff0c;创建交互式和美观图表。 官方网站:https://pyecharts.org/#/zh-cn/ pyecharts画廊&#xff1a; https://gallery.pyecharts.org/#/README 安装pyechart包&#xff0c;在pych…

每日一题(leetcode209):长度最小的子数组--前缀和+二分法

得到前缀和数组之后&#xff0c;进行一次遍历&#xff0c;每遍历一个值&#xff0c;在它的后半部分利用二分法&#xff08;所有数据都为正&#xff0c;前缀和数组有序递增&#xff09;寻找第一个大于可以使区间和大于等于target的值&#xff08;也可能找不到&#xff09;&#…