银行数仓项目实战(一)--什么是数据仓库

文章目录

  • 数据仓库
    • 特点
    • 目的:
      • 监管报送
        • 监管报送的系统主要有?
        • 监管报送报送的数据
      • OLTP和OLAP
    • 架构

数据仓库

数据仓库是一个面向主题的,集成的,非易失的且随时间变化的数据集合,用来支持管理人员的决策。
数据仓库是一个环境,而不是一个产品,提供用户用于决策支持的当前和历史数据,这些数据在传统的操作型数据库中很难或者不能得到。数据仓库技术是为了有效的把操作型数据集成到统一的环境中以提供决策型数据访问的各种技术和模块的总称,所做的一切都是为了让用户更快更方便查询所需要的信息,提供决策支持。

特点

1.面向主题的:甲方所关心的业务条线,称之为主题。----面向需求
银行的主题:十大主题
在这里插入图片描述
重要的有产品主题,客户主题,协议主题,事件主题,财务主题…

2.集成的:将业务系统零散数据,根据甲方需求(主题)汇总加工,形成方便分析的业务明细表–业务宽表。
3.非易失的:即数据是稳定的。需要保证数据的完整性、准确性、及时性(离线T+1)(今天分析昨天的)
4.随时间变化的:动态的。

目的:

1.支持管理决策(可视化分析)
2.监管报送
3.数据集市(针对某一个主题进行深度分析OLAP,客户数据集市,营销数据集市,风险数据集市,财务数据集市…)


监管报送

监管报送的系统主要有?

1.数仓管理系统(Data Warehouse Management System,DWMS):用于管理银行数据仓库的建设,维护和运营,包括数据提取,清洗,转换,加载等功能。
2.数据质量管理系统(Data Quality Management System)
:用于确保报送数据的准确性,完整性和一致性,包括数据清洗,校验,修复等功能。
3.报送系统(Reporting System):用于生成并报送符合监管要求的数据报表,确保数据的及时交付和合规性。
4.监控系统(Monitoring System):用于监控数据仓库的运行状态、数据质量情况和报送进度,及时发现和解决问题。
5.安全管理系统(Security Management System):确保数据的安全性和机密性,在数据传输和存储过程中提供加密,权限控制等功能。

监管报送报送的数据

报送的数据通常有以下几类:
1.资产负债数据:如银行的资产情况、负债清空、净资产情况等。
2.交易数据:包括各类交易的明细数据,如存款,贷款,投资,交易结算等。
3.客户数据:涉及客户的身份信息,账户信息,交易行为等数据。
4.风险数据:包括市场风险,信用风险,操作风险等方面的数据。
5.合规数据:涉及银行在法律法规和监管要求下的合规情况数据。


OLTP和OLAP

当今的数据处理主要分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(on-line Analytical Processing)。
OLTP是传统的关系型数据库的主要应用,主要是基本的,日常的事务处理,例如银行交易。
OLAP是数据仓库系统的主要应用。支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。


架构

下面是两种主要的架构
在这里插入图片描述

在这里插入图片描述
1.源数据:包括银行的各种自建系统,核心系统,信贷系统,ECIF(客户系统),中间业务等等…
2.ODS(Operational Data Store)层,即贴源层:操作型数据存储。是最靠近源数据的一层,用来对数据临时存放,打标签(时间戳,数据来源 为了方便溯源)。保持数据的原始性,完整性。
3.SDS标准层:统一数据类型、统一数据字典、数据清洗–清洗脏数据(如空值,特殊符号,重复值,不符合要求的数据)。
4.FDS(Fundational Data Store)基础层/模型层:最重要的一层,根据主题将源数据进行集成,加工,形成明细表–宽表
形成细粒度明细表。是面向主题的体现。
5.ADS(Analytical Data Store)分析层/指标层:根据需求,加工指标数据。将基础层数据加工计算,形成包括机构,客户,产品等各种数据。
6.应用层:可视化分析,监管报送,下游系统提供数据支持–数据集市

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/716187.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

采集罗克韦尔AB、西门子等PLC数据发布成HTTP接口

智能网关IGT-DSER集成了多种PLC的原厂协议,方便实现各种PLC的原厂协议转换为HTTP协议的服务端,通过网关的参数配置软件绑定JSON文件的字段与PLC寄存器地址,即可接收来自客户端的GET、PUT和POST命令,解析和打包JSON文件(JSON文件格…

两个链表合并升序-链表题

21. 合并两个有序链表 - 力扣(LeetCode) 非递归 class Solution { public:ListNode* mergeTwoLists(ListNode* list1, ListNode* list2) {if(list1 nullptr && list2 ! nullptr)return list2;if(list2 nullptr && list1 ! nullptr)re…

电子传真怎么在国产系统上使用?一文看懂网络传真信创方案

国产化浪潮正在逐步深入,越来越多的企业开始关注如何在国产系统上高效、安全地使用办公软件,电子传真系统也不例外。 作为网络电子传真领域的重要品牌,EastFax也对原Windows电子传真系统进行了信创改造,全面支持国产化操作系统、…

取证工作: SysTools SQL Log Analyzer, 完整的 SQL Server 日志取证分析

天津鸿萌科贸发展有限公司是 Systools 系列软件的授权代理商。 SysTools SQL Log Analyzer 是 Systools 取证工具系列之一,用于调查 SQL Server 事务日志,以对数据库篡改进行取证分析。 什么是 SQL Server 事务日志? 在深入研究 SQL 事务日…

【工作】计算机行业相关的十六类工作简介

本文简单介绍了计算机行业相关的工作类别,共16种,包括常见招聘要求与平均工资。平均工资信息来源:米国企业点评职场社区glassdoor(https://www.glassdoor.com/index.htm) (一)软件工程师 软件…

【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术

🔥 个人主页:空白诗 文章目录 引言一、图数据及其应用场景1.1 图数据的定义和特征1.2 常见的图数据结构1.2.1 社交网络1.2.2 知识图谱1.2.3 分子结构1.2.4 交通网络 1.3 图数据在不同领域的应用实例1.3.1 社交网络中的推荐系统1.3.2 知识图谱中的信息检索…

流量卡怎么办理的攻略

一、确定需求 在办理流量卡之前,你需要明确自己的需求。根据不同的使用场景,你可能需要考虑以下几个方面: 月租费用:不同运营商提供的流量卡套餐价格各异,从低至19元到高达199元不等。 流量大小:从30GB到3…

ChromeDriver新手教程:一步步指导Chrome 114到127版本的驱动安装

114之前版本下载链接在这里 ​​​​​​125以后版本下载链接在此,只有后面status是绿色对勾的才可以下载,驱动大版本一致就可以使用,不需版本号一模一样;下载所需版本只需点击对应的版本名称即可跳转到对应版本的下载位置。 以…

同三维T80004JEH2-4K60 双路4K60 HDMI解码器

输出:2路HDMI2路3.5音频,最高支持1路4K60HDMI输出 可以同源/独立分屏输出两种模式可选:对应两个HDMI输出一样和不一样的信号 同源可以解码36路网络流(1/4/9/16/25/36),两个HDMI输出一样的信号&#xff…

《骑行健身:“柳叶刀”研究揭示的健康与经济双赢策略》

在这个物价飞涨、经济压力日益加重的时代,普通人如何在不增加额外负担的情况下提升生活质量?《柳叶刀》的最新研究为我们揭开了一个意想不到的秘密:坚持健身,尤其是骑行,竟等同于每年为自己赚取了一笔不小的财富。这一…

表格识别工具哪个好?简单操作,一键识别表格

随着2024年高考的圆满结束,考生们迎来了新的挑战——志愿填报。这不仅是一个技术活,更是一个信息战。 面对海量的高校信息和复杂的数据表格,考生们需要一种快速、准确的方法来整理和分析这些数据。幸运的是,现代科技提供了多种表…

【初阶数据结构】深入解析单链表:探索底层逻辑(无头单向非循环链表)

🔥引言 本篇将深入解析单链表:探索底层逻辑,理解底层是如何实现并了解该接口实现的优缺点,以便于我们在编写程序灵活地使用该数据结构。 🌈个人主页:是店小二呀 🌈C语言笔记专栏:C语言笔记 &…

【软件测试入门】软件测试那些事

在日常生活中,我们早已习惯于各类软件带来的便捷与效率,从手机里的应用程序到电脑上的办公软件,它们无声地编织着现代社会的运作网络。然而,每一款流畅运行、体验优良的软件背后,都离不开一个关键环节——软件测试。《…

同三维T80004EH-N HDMI高清NDI编码器

1路HDMI 1路3.5音频输入,支持NDI 产品简介: 同三维T80004EH-N 高清HDMI编码器是专业的NDI高清音视频编码产品,该产品支持1路高清HDMI音视频采集功能,1路3.5MM独立音频接口采集功能。编码输出双码流H.265/H.264格式,音频MP3/AAC格…

SRM供应商管理系统建设方案及源码实现(方案+源码)

1. 供应商管理 2. 采购需求管理 3. 采购寻源管理 4. 采购合同管理 5. 采购订单管理 6. 采购协同管理 7. 外部商城采购管理 8. 报表查询管理 9. 系统管理 10. 集成管理 资料获取:本文末个人名片。

免费分享一套SpringBoot+Vue房地产销售管理系统【论文+源码+SQL脚本+PPT+开题报告】,帅呆了~~

大家好,我是java1234_小锋老师,看到一个不错的SpringBootVue房地产销售管理系统,分享下哈。 项目视频演示 【免费】SpringBootVue房地产销售管理系统 Java毕业设计_哔哩哔哩_bilibili【免费】SpringBootVue房地产销售管理系统 Java毕业设计…

【解决方案】数据采集工作站数据传不上去?

数据采集工作站扮演着至关重要的角色,它们负责收集、处理和传输各种传感器和设备的数据。然而,有时会遇到数据传输失败的问题。本文将详细探讨数据采集工作站数据传不上去的可能原因及其解决方案。(更多了解采集器设备可前往苏州稳联&#xf…

【Android】安卓开发的前景

人不走空 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌赋:斯是陋室,惟吾德馨 目录 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌…

【elementui源码解析】如何实现自动渲染md文档-第二篇

目录 1.概要 2.引用文件 1)components.json 2)json-template/string 3)os.EOL 3.变量定义 4.模版填充 5.MAIN_TEMPLATE填充 6.src下的index.js文件 1)install 2)export 7.总结 所有章节: 【el…

【Spring】1. Maven项目管理

📚博客主页:爱敲代码的小杨. ✨专栏:《Java SE语法》 | 《数据结构与算法》 | 《C生万物》 |《MySQL探索之旅》 |《Web世界探险家》 ❤️感谢大家点赞👍🏻收藏⭐评论✍🏻,您的三连就是我持续更…