企业如何使用SNP Glue将SAP与Snowflake集成?

SNP Glue是SNP的集成技术,适用于任何云平台。它最初是围绕SAP和Hadoop构建的,现在已经发展为一个集成平台,虽然它仍然非常专注SAP,但可以将几乎任何数据源与任何数据目标集成。

我们客户非常感兴趣的数据目标之一是Snowflake。Snowflake是一个基于云的数据仓库平台,旨在处理和分析大量数据。它是一种软件即服务(SaaS)解决方案,允许组织使用云基础设施存储、管理和分析数据,而无需管理底层硬件或软件。

SNP Glue,Snowflake,Snowflake集成

企业如何使用SNP Glue和Snowflake?

下面是一个使用SNP Glue将SAP与Snowflake集成的实际客户示例:

想象一下,一家总部位于德国,但在全球范围内运营的大公司。他们有30多个SAP生产系统,他们从中获取数据(主要使用SAP自己的SLT)。它的范围是巨大的,我们谈论的是每个系统数以万计的表。现在,通过SNP Glue,我们可以获取所有这些数据,并使用Glue自己的CDC(更改数据捕获)——有时与SLT的增量捕获一起使用,将所有SAP数据包括不断更改的数据复制到云端的基于Snowflake的数据仓库中。

为什么公司会使用Snowflake?

Snowflake基于SQL的关键特性“弹性”(即可伸缩性),并附带了强大的数据处理特性来覆盖ETL(提取-转换-加载)中的“T”,这对于现代集成体系结构(主要是关于ELT而不是ETL)来说很有意义,只是为了解耦数据集成和数据转换的复杂性。简而言之,Snowflake是数据平台(以前称为数据仓库)的某种程度上与云无关的SaaS产品。

Snowflake支持通过连接器和api与各种数据科学和人工智能工具集成。你可以使用流行的人工智能库和框架与Snowflake一起构建和训练模型。

用简单的话来总结:Snowflake是一个在集群系统上的非常强大的数据库,它是按规模构建的,并提供了大量的优势。

保留你的选择余地

话虽如此,每个超大规模企业都有一个相互竞争的技术,例如redshift (AWS)、Synapse(微软)、Big Query (GC),甚至DataBricks。在众多技术优势中,Snowflake有一些优势,其中之一是它是真正与云无关的,因此不会将客户推向供应商锁定。

客户使用SNP Glue与基于云的数据仓库集成,选择Snowflake是因为它是一个真正的SaaS解决方案,像数据库一样理解SQL(但像Hadoop一样扩展),并且像数据库一样快速返回数据。

使您的SAP数据集成更容易

有了SNP Glue,就有可能实现SAP与Snowflake之间的本地集成。显而易见的起点是与安全性和身份验证的技术集成。然后是“真正的”数据集成,从模式创建开始:SNP Glue可以分析SAP数据源并在Snowflake上创建相应的数据模型。

数据复制可以是表驱动的(即基于表的数据复制,有或没有增量捕获),也可以是事件驱动的(在这种情况下,您将使用Snowpipe进行数据流)。

是什么让Snowpipe这么酷?

表驱动的数据集成是经典的集成方法,它是全表加载,然后是增量捕获(又名CDC)和近实时数据复制。在初始满负载之后,传输相当小的数据包。这一切通常都是基于经典数据库表,而不是业务对象。根据数据传输的频率(可能会产生非常小的包),可以实现近乎实时的提取和数据集成,但这将以Snowflake上频繁的所谓增量合并为代价。

Snowpipe允许在新数据到达时将数据连续加载到Snowflake表中。这对于需要为分析、报告或其他应用程序提供新信息的场景特别有用。Snowpipe可以与各种工具和工作流集成,使其可用于实时分析、报告和其他数据驱动型应用程序。

为了恰当地结束这篇文章,我想用一句古老的“最后一句话”作为结束语:正在构建SNP Glue以本地集成SAP数据和Snowflake的同一个团队正在使用Snowflake的应用程序框架在Snowflake上开发一个本地应用程序。我们的目标是在Snowflake上实现(并极大地改进)包括delta合并在内的数据流,即将更新的记录集成到数据仓库中。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/537082.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot集成Skywalking链路追踪

安装skywaling 参考:Centos7搭建 SkyWalking 单机版-CSDN博客 下载Agents https://archive.apache.org/dist/skywalking/java-agent/9.0.0/apache-skywalking-java-agent-9.0.0.tgz 1. 在IDEA中使用skywalking agent 在VM options中填入如下信息 -javaagent后是…

LeetCode-2529题:正整数和负整数的最大计数(原创)

【题目描述】 给你一个按 非递减顺序 排列的数组 nums ,返回正整数数目和负整数数目中的最大值。换句话讲,如果 nums 中正整数的数目是 pos ,而负整数的数目是 neg ,返回 pos 和 neg二者中的最大值。注意:0 既不是正整…

windows ffmpeg7 通过rtsp拉取h265裸流

点击下边那个链接会转到github 下载完成后,添加include、lib到工程。 添加头文件: extern "C" { #include "libavcodec/avcodec.h" #include "libavformat/avformat.h" #include "libavformat/avio.h" #inclu…

【实战JVM】打破双亲委派机制之自定义类加载器

个人名片: 🐼作者简介:一名大三在校生,喜欢AI编程🎋 🐻‍❄️个人主页🥇:落798. 🐼个人WeChat:hmmwx53 🕊️系列专栏:🖼️…

JVS智能BI:嵌套数据集在多层次数据关联中的实战应用

在数据分析平台中,数据集的嵌套调用主要用于处理复杂数据结构或多层次数据关联,或者有多场景使用的重复使用中间数据,那么就需要把某些数据生成中间结果的数据集合。 例如:用户的分类需要根据用户的各方面的数据特征进行分类打标…

算法设计与分析实验报告c++实现(矩阵链相乘问题、投资问题、背包问题、TSP问题、数字三角形)

一、实验目的 1.加深学生对动态规划算法设计方法的基本思想、基本步骤、基本方法的理解与掌握; 2.提高学生利用课堂所学知识解决实际问题的能力; 3.提高学生综合应用所学知识解决实际问题的能力。 二、实验任务 1、…

自动化测试提速必备 - 并发编程

在自动化测试领域,多线程和多进程技术被广泛应用于提高测试的执行效率和性能。通过并发运行测试用例,可以显著缩短测试周期,特别是在面对大量测试用例或者需要在多个环境中进行测试时尤为重要。 在实际的自动化测试中,我们经常碰…

2024年【T电梯修理】考试总结及T电梯修理考试技巧

题库来源:安全生产模拟考试一点通公众号小程序 T电梯修理考试总结考前必练!安全生产模拟考试一点通每个月更新T电梯修理考试技巧题目及答案!多做几遍,其实通过T电梯修理试题及解析很简单。 1、【多选题】修理工陶、陈&#xff0c…

废石颗粒运动理论模型及Python模拟

学者赵国彦等[26]对于废石颗粒运动的理论模型进行做了较为充分的研究,本文在以往研究的基础上对相关推导进行补充修正,并以某金矿充填废石的基本物理性能测试数据为基础,对废石运动理论模型的进行模拟。 4.2.1废石运动理论模型 4.2.1.1废石…

AI大模型探索之路-应用篇10:Langchain框架-架构核心洞察

目录 前言 一、LangChain设计目标 二、LangChain设计之道 三、LangChain典型应用 1、简单的问答Q&A over SQL CSV: 2、聊天机器人Chatbots: 3、总结摘要Summarization: 4、网页爬虫Web scraping: 5、本地知识库(Q&A with RAG): 三、LangChain架构…

数字阅览室-数字图书馆体系的重要补充

数字阅览室(Digital Reading Room)是一种依托现代信息技术,特别是互联网、数字媒体技术和数据库管理技术,为用户提供在线访问、阅读、学习和研究各类数字化文献资源的虚拟空间。它是数字图书馆服务体系中的一个重要组成部分&#…

文库配置异步转换(宝塔)| 魔众文库系统

执行以下操作前提前进入网站根目录,如 cd /www/wwwroot/example.com执行 artisan 命令前请参照 开发教程 → 开发使用常见问题 → 如何运行 /www/server/php/xxx/bin/php artisan xxx 命令 步骤1,生成数据库队列表迁移文件 在执行该步骤前,请…

数据可视化高级技术Echarts(折线图)

目录 一、什么是折线图 二、如何实现 1.基本折线图 2.如何变得平滑只需要定义: smooth 3.如何定义线条的样式 color:设置线的颜色 width:设置线宽 type:设置线的类型 4.如何定义节点样式 symbol symbolSize&#xff1a…

开发着开发着,盘满了

办公电脑突然报家目录不足1G空间了, 使用 Disk Usage Analyzer 工具打开看了下, 微软还真没把我当穷人, 一个vs code给我占了30几个G的空间. 大家可能也遇到这种情况的, 看到真的让人窒息, 以前windows上被VS studio 支配C盘的感觉又回来了. 不过这个ubuntu好处理点, 我该删…

算法打卡day32

今日任务: 1)738.单调递增的数字 2)968.监控二叉树 738.单调递增的数字 题目链接:738. 单调递增的数字 - 力扣(LeetCode) 文章讲解:代码随想录 (programmercarl.com) 视频讲解:贪…

CPU核心数、线程数都是什么意思?

最早,每个物理 cpu 上只有一个核心,对操作系统而言,也就是同一时刻只能运行一个进程/线程。 为了提高性能,cpu 厂商开始在单个物理 cpu 上增加核心(实实在在的硬件存在),也就出现了多核 cpu&…

个人博客项目笔记_07

写文章 写文章需要 三个接口: 获取所有文章类别 获取所有标签 发布文章 1. 所有文章分类 1.1 接口说明 接口url:/categorys 请求方式:GET 请求参数: 参数名称参数类型说明 返回数据: {"success":…

Linux启动流程,常见故障英文总结/Linux学习环境发行版本选择及运行故障(补充)

小编这里对前面文章内容进行补充 1.运维架构人员理解Linux启动流程(对故障进行排查),企业面试面试官让面试者描述Linux启动细节,小编在这篇文章补充以下,制作了图表,有利于大家看懂整个流程 2.对于初学者/老…

14亿美元!德国默克与AI生物科技公司合作;马斯克Neuralink首位脑机接口植入者用意念打游戏;黄仁勋在俄勒冈州立大学开讲

AI for Science 的新成果、新动态、新视角—— 日本第一 IT 公司富士通:生成式 AI 加速药物研发 马斯克:Neuralink 首位脑机接口植入者用「意念」打游戏 默克与 AI 生物科技公司 Caris 达成合作 AI 蛋白质设计服务提供商「天鹜科技」完成数千万元 Pre…

IDEA中使用正则表达式替换时间日期

很多时候需要把系统中的时间替换成当前时间,这是后我们就可以把数据库SQL文件在IDEA中打开,然后使用正则进行替换,下面我们来看下: 1.日期格式:校验yyyy-MM-dd ((([0-9]{3}[1-9]|[0-9]{2}[1-9…