北方银行 - HDFS 现代化快速案例研究

故事很重要,客户故事是最好的。他们提供令人瞠目结舌的统计数据或克服巨大障碍的那些是获得最佳头条新闻的那些。它们也是最难发表的。我们知道,因为我们将与您分享一些我们正在孜孜不倦地努力出版的内容 - 但现在它们将保持匿名。话虽如此,如果您想联系我们,我们可以让您看看幕后。

让我们开始吧。

北方银行

我们与加拿大所有主要银行都有业务往来。真正的全球性机构并不多,所以你猜对的机会很大。与其他主要金融机构一样,它们有监管义务从每次客户互动中生成和存储电子记录。大数据分析使这些机构不仅能够存储用于监管目的的数据,还可以积极利用这些信息来生成业务见解并增加价值。机器学习和人工智能 (ML/AI) 技术正在推动现代数据密集型工作负载不仅可以进行历史数据分析,还可以执行实时分析以推动即时决策。实时分析用例包括欺诈检测、交易监控、客户细分、个性化营销和风险管理。

当这家银行开始遇到性能和稳定性问题时,他们将其过时的企业数据仓库(Cloudera/Hadoop)迁移到了MinIO - 随着数据在Hadoop环境中的增长,应用程序开始遇到性能问题和停机时间。他们希望云运营模式没有与公有云相关的成本和失控。与数据增长相关的挑战以及对基础设施进行现代化改造的需求为基于 Kubernetes 的现代云原生架构提供了路线图。该银行希望实现干净的实施和最短的上市时间。这意味着MinIO。

存储基础架构支持多个业务部门,包括:

  • 加拿大银行业分析

  • 国际银行分析

  • 数据支持与架构

它们在不同的数据中心运行两个 MinIO 部署。两者之间的数据使用主动-主动复制进行复制,从而使 MinIO 具有高可用性。鉴于银行财务数据的关键性,MinIO 对象存储实现必须支持无限扩展和站点级容灾能力。为了实现这一目标,MinIO 团队帮助部署了双站点双站点双主动复制策略。该银行能够根据需要增加每个站点的集群规模,只需向部署中添加新的服务器池即可。通过主动-主动站点级复制,银行的 MinIO 实施不仅可以在单个站点内承受多个磁盘、服务器甚至机架故障,而且给定地理位置内的整个站点都可能遇到故障,而不会出现任何应用程序停机或数据丢失例如:

集群一:

集群二:

本地对象存储的主要用例之一是企业文件处理,目前已经迁移了一百多个项目以利用 MinIO 对象存储。该银行利用 MinIO 进行机器学习模型训练和服务:

MinIO 集群的可扩展性和可用性:

在多个数据中心之间同步数据是任何提供站点级容灾能力的对象存储的关键功能。主动-主动复制提供快速热-热故障转移和多地理恢复能力。多站点复制建立在双向主动-主动框架之上,并保留了关键功能,例如复制删除操作、删除标记、现有对象和副本元数据更改。

结果

升级到基于 Kubernetes 的现代基础架构的好处立竿见影。自实施 MinIO 以来,该银行已将存储占用空间减少了 50% 以上,同时将存储容量翻了一番。在此过程中,该银行将成本降低了近 60%,并将关键机器学习任务的性能提高了 30%。

MinIO 还为银行未来的云原生成功奠定了基础。这位平台工程师表示:“不断发展的数据需求(例如我们的数据需求)需要可扩展性和强大的存储位置,而 MinIO 满足了这些需求。此外,数据中心之间的延迟也减少了;可以根据需要进行扩展,同时提供元数据以改进对此类数据的理解。这也为我们提供了与我们希望在不久的将来迁移到的云平台非常相似的存储环境。

其中一位云工程师也指出:“MinIO 帮助我们的数据分析工作负载实现了现代化,使其具有高度可扩展性,并增加了我们组织内对云原生技术的采用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/734210.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

软件工程学系统设计

一、概述 软件设计阶段用比较抽象概括的方式确定目标系统如何完成预定的任务,即确定系统的物理模型。 回答系统 “做什么”。 软件设计是将需求转化为最终产品的唯一途径,是后续开发和维护工作的基础。 1、软件设计过程 从工程管理角度,…

【Research】Model Stealing

What is Model Stealing? Extract an approximation that of the target model that “closely matches” the original Accuracy? Fidelity? Funtional equivalence? Threat Models API Access Model extraction using: Prediction Vectors Labels Only Model Access …

基于SpringBoot+Vue大学生网络教学平台设计和实现(源码+LW+调试文档+讲解等)

💗博主介绍:✌全网粉丝10W,CSDN作者、博客专家、全栈领域优质创作者,博客之星、平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌💗 🌟文末获取源码数据库🌟 感兴趣的可以先收藏起来,…

Bootloader -- U-Boot 介绍

Bootloader -- U-Boot 介绍 1 介绍1.1 概述1.2 知名 BootloaderLILO (Linux Loader)GRUB (GNU GRand Unified Bootloader)LoadlinROLO (Rockbox Loader)EtherbootLinuxBIOS (现在叫 coreboot)BLOBU-BootRedBoot 1.3 BootLoader 和 Monitor 区别1.4 U-Boot 的源码结构1.5 U-Boot…

SSRF(2)

Gopher协议的利用 gopher协议是ssrf利用中最强大的协议 gopher协议支持发出GET、POST请求: 可以先截获get请求包和post请求包,再构成符合gopher协议的请求。 默认端口为70,一般需发送到80端口 如果发起post请求,回车换行需要使用%0D%0A&…

Docker:centos79-docker-compose安装记录

1.安装环境:centos7.9 x86 2.安装最新版: [rootlocalhost ~]# curl -fsSL get.docker.com -o get-docker.sh [rootlocalhost ~]# sh get-docker.sh # Executing docker install script, commit: e5543d473431b782227f8908005543bb4389b8desh -c yum in…

PHPMailer发送的中文内容乱码如何解决

一: PHPMailer sdk 文件中有个设置默认编码的位置: vendor/phpmailer/phpmailer/src/PHPMailer.php 二: 实际业务代码中: require /sdk/PHPMailer/vendor/autoload.php;$mail new PHPMailer(true);try {//Server settings$mai…

基于Spring Boot+VUE职称评审管理系统

1管理员功能模块 管理员登录,通过填写注册时输入的用户名、密码、角色进行登录,如图1所示。 图1管理员登录界面图 管理员登录进入职称评审管理系统可以查看首页、个人中心、用户管理、评审员管理、省份管理、评审条件管理、职称申请管理、结果公布管理、…

containerd手动配置容器网络

containerd手动配置容器网络 机器详情nerdctl启动一个不带网络的容器获取容器ID、PID与network namespace路径准备bridge插件的执行配置文件通过下面的命令调用bridge插件准备tuning插件文件执行下面的命令调用tuning插件准备portmap插件文件执行下面的命令调用portmap插件删除…

Android记录9--实现转盘效果

自定义View /2013.10.16_TurnPlate_Demo/src/com/wwj/turnplate/TurnPlateView.java package com.wwj.turnplate; import android.content.Context; import android.content.res.Resources; import android.graphics.Bitmap; import android.graphics.BitmapFactory; im…

日本新入管法通过:2027年起实施[育成就劳]制度,新制度更适合外国劳工在日本工作和生活!

最近,日本新入管法:新的育成就业制度预计将在2027年开始实施,而1993年开始的旧的技能实习制度将被废除。 新制度的主要内容 新制度的目的是解决日本国内的劳动力不足问题,确保有足够的劳动者。表示:“为了让日本成为…

上手微服务框架go-zero

文章目录 微服务框架与web框架的区别点在哪儿?为什么还要有微服务框架微服务框架与web框架的对比小结 为什么选go-zero?框架对比 下载并认识go-zero认识go-zero环境要求组成下载 实践go-zero基础功能案例apirpc服务功能说明准备构建rpc服务构建api服务服…

头歌资源库(14)残缺棋盘

一、 问题描述 二、算法思想 首先,将2^k 2^k的棋盘划分为四个相等大小的子棋盘,定义为左上、左下、右上和右下四个子棋盘。 然后,根据残缺格的坐标,确定其中一个子棋盘是不完整的,即残缺子棋盘。假设残缺子棋盘是左…

导入别人的net文件报红问题

1. 使用cmd命令 dotnet --info 查看自己使用的SDK版本 2.直接找到项目中的 global.json 文件,右键打开,直接修改版本为本机的SDK版本,就可以用了

区块链媒体发布推广秘籍大揭秘-华媒舍

区块链技术迅猛发展,成为全球瞩目的热门领域。随之而来的是区块链媒体的兴起,成为传播和推广区块链知识、项目和应用的重要平台。本文将揭示区块链媒体发布推广的秘籍,为读者深入了解该领域提供详尽科普介绍。 一、什么是区块链媒体&#xff…

Python爬虫学习 | Scrapy框架详解

一.Scrapy框架简介 何为框架,就相当于一个封装了很多功能的结构体,它帮我们把主要的结构给搭建好了,我们只需往骨架里添加内容就行。scrapy框架是一个为了爬取网站数据,提取数据的框架,我们熟知爬虫总共有四大部分&am…

C语言| 数组的折半查找

数组的折半查找 折半查找:在已经排好序的一组数据中快速查找数据。 先排序,再使用折半查找。 【折半查找的运行过程】 1 存储数组下标 low最小的下标,mid中间的下标, high最大的下标 2 key存放查找的值,每一次对比后…

【AI工作流-AI-Agent】FastGPT新建应用并用openai接口调用

FastGPT 简介 FastGPT是一个AI工作流搭建平台,它是一个开源框架,支持聊天,RAG(知识库),工作流编排。 缺点是不支持AI搜索,模型支持需要依赖于第三方部署框架例如oneapi,ollama等。…

关于飞浆文字识别技术的运用

飞桨PaddlePaddle-源于产业实践的开源深度学习平台,有关文章可以在此进行查询 飞桨(PaddlePaddle)是一个由百度开源的深度学习平台,它提供了丰富的机器学习算法库,支持多种深度学习模型的构建、训练和部署。飞桨平台具…

【pytorch02】手写数字问题引入

1.数据集 现实生活中遇到的问题 车牌识别身份证号码识别快递单的识别 都会涉及到数字识别 MNIST(收集了很多人手写的0到9数字的图片) 每个数字拥有7000个图像train/test splitting:60k vs 10k 图片大小28 28 数据集划分成训练集和测试集合的意义…