云消息队列 Kafka 版生态谈第一期：无代码转储能力介绍

作者：娜米

云消息队列 Kafka 版为什么需要做无代码转储

云消息队列 Kafka 版本身是一个分布式流处理平台，具有高吞吐量、低延迟和可扩展性等特性。它被广泛应用于实时数据处理和流式数据传输的场景。然而，为了将云消息队列 Kafka 版与其他数据源和数据目的地集成，需要额外的开发/组件来实现数据的传输和同步，客户需要大量的研发、运维等投入。

为了提升研发效率，云消息队列 Kafka 版联合阿里云产品支持到无代码、全托管、Serverless 化的功能特性，支持从云消息队列 Kafka 版到 OSS 的转储。该功能特性的优势有：

  • 简单
    • 敏捷开发，简单配置就可以支持该能力
    • 轻松转储不同应用程序的 OSS 数据
    • 无需复杂的软件和基础设施
  • 全托管
    • 提供 Serverless 计算能力
    • 免运维
    • 成熟功能
  • 低成本
    • 云消息队列 Kafka 版本身不额外收费，底层依赖函数计算按量收费
    • 函数计算为该场景做深度优化，结合架构实现低成本：引入 CDN 缓存机制，动态计算配合衍生副本存储成本
    • 产品集成链路一定的减免费用

云消息队列 Kafka 版+OSS 主要应用场景

  • 数据备份和归档

    OSS 提供了数据备份和归档的功能。客户可以选择将重要数据备份到 OSS 中，以提供数据灾难恢复的能力。OSS 提供了数据持久性和可靠性的保证，可以确保数据的安全性和可用性。同时，OSS 还提供了归档存储的功能，用于长期存储不经常访问的数据。客户可以将数据归档到 OSS 的归档存储类别中，以节省存储成本，并根据需要进行数据恢复。

  • 大数据分析

    阿里云的对象存储 OSS 可以作为大数据的存储平台。客户可以将各种类型的大数据文件（如日志文件、传感器数据、用户行为数据等）存储在 OSS 中，以便后续进行数据分析、数据挖掘和机器学习等任务。客户可以在阿里云上完成大数据的存储、处理和分析任务，实现弹性扩展和高性能的大数据处理。

  • FC 计算结果的缓存

    阿里云函数计算（Function Compute，简称 FC）是一种事件驱动的无服务器计算服务，用于帮助用户以更低的成本和更高的弹性运行代码。而阿里云对象存储 OSS 是一种云端数据存储服务，提供安全、稳定、高扩展性的云端存储能力。FC 是无状态的计算服务，不提供持久化的本地存储。因此，如果需要在函数执行期间存储和访问数据，可以通过与 OSS 结合使用，将数据存储在 OSS 中。这样可以实现数据的持久化存储，确保数据不会因为函数计算的瞬时性而丢失。

代码转储产品能力介绍

图片

1. 0 代码开发： 转储/Connector 提供了与各种数据源和数据目的地的集成功能。通过使用云消息队列 Kafka 版转储/Connector 能力，研发人员无需编写复杂的数据集成代码，只需配置相应的 Connector 即可实现数据的传输和同步，大大简化了数据集成的过程。

2. 配置化支持： 用户可以根据自己的需求和业务场景，灵活配置转发规则和存储策略。无论是按照时间、关键字、主题等维度进行转发，支持按照文件夹、文件名等维度进行存储，都可以通过简单的配置实现，满足的个性化需求。

3. 高可靠性和容错性： 转储/Connector 保证了数据的高可靠性和容错性。数据在传输过程中，Connector 会自动处理数据的冗余和故障恢复，确保数据不会丢失或损坏。这样，用户不需要关注数据传输的细节和异常处理，可以更加专注于业务逻辑的开发。

4. Serverless 化： 可以根据请求的负载自动扩展和缩减计算资源。与传统的预分配服务器相比，Serverless 化可以更灵活地适应实际需求，降低资源浪费和成本。组件负责管理和维护底层基础架构，客户无需关心服务器的配置和管理。

使用步骤说明

前提条件

1. 云消息队列 Kafka 版实例准备 [ 1]

  1. 依赖开放，请参见创建前提 [ 2]

步骤一：创建目标服务资源

在对象存储 OSS 控制台创建一个存储空间（Bucket）。详细步骤，请参见控制台创建存储空间 [ 3] 。

本文以 oss-sink-connector-bucket Bucket 为例。

步骤二：创建 OSS Sink Connector 并启动

登录云消息队列 Kafka 版控制台 [ 4] ，在概览页面的资源分布区域，选择地域。

在左侧导航栏，选择 Connector 生态集成 > 消息流出（Sink）。

在消息流出（Sink）页面，单击创建任务。

在消息流出创建面板，配置以下参数，单击确定。

在基础信息区域，设置任务名称，将流出类型选择为对象存储 OSS。

在资源配置区域，设置以下参数。

图片

图片

完成上述配置后，在消息流出（Sink）页面，找到刚创建的 OSS Sink Connector 任务，单击其右侧操作列的启动。当状态栏由启动中变为运行中时，Connector 创建成功。

步骤三：测试 OSS Sink Connector

在消息流出（Sink）页面，在 OSS Sink Connector 任务的事件源列单击源 Topic。

在 Topic 详情页面，单击体验发送消息。

在快速体验消息收发面板，按照下图配置消息内容，然后单击确定。

图片

在消息流出（Sink）页面，在 OSS Sink Connector 任务的事件目标列单击目标 Bucket。

在 Bucket 页面，选择左侧导航栏的文件管理 > 文件列表，然后进入 Bucket 的最深层路径。

图片

可以看到此路径中有如下两类 Object：

  • 系统 meta 文件： 格式为 .oss_meta_file_partition_{partitionID}，文件数量和上游 Topic 的 Partition 数量相同，用于记录攒批信息，您无需关注。
  • 数据文件： 格式为 partition_{partitionID}offset{offset}_{8位Random 字符串}，如果一个 Object 中聚合了一个 Partition 的多条消息，Object 名称中的 Offset 为这批消息中的最小 Offset 值。

在对应 Object 右侧操作列，选择图片 > 下载。

打开下载的文件，查看消息内容。

图片如图所示，多条消息之间通过换行分隔。

相关链接：

[1] 云消息队列 Kafka 版实例准备

https://help.aliyun.com/zh/apsaramq-for-kafka/getting-started/getting-started-overview

[2] 创建前提

https://help.aliyun.com/zh/apsaramq-for-kafka/user-guide/prerequisites#concept-2323967

[3] 控制台创建存储空间

https://help.aliyun.com/zh/oss/getting-started/console-quick-start#task-u3p-3n4-tdb

[4] 云消息队列 Kafka 版控制台

https://account.aliyun.com/login/login.htm?oauth_callback=https%3A%2F%2Fkafka.console.aliyun.com%2F%3Fspm%3Da2c4g.11186623.2.22.6bf72638IfKzDm&lang=zh

点击此处，云消息队列 Kafka 版 V3 公测正式开启！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/291388.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

UG/NX许可证使用效率提升新技术

UG/NX许可证使用效率提升新技术

UG/NX许可证使用效率提升新技术 UG（Unigraphics NX）是Siemens PLM Software公司出品的一个产品工程解决方案，它为用户的产品设计及加工过程提供了数字化造型和验证手段。近年来随着国家对知识产品保护的不断加强，以前使用盗版软件…
阅读更多...
protobuf使用

protobuf使用

Protocol Buffer是google于2008推出的一种数据交换的格式，它独立于语言，独立于平台。 google 提供了多种语言的实现，每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式，比使用 xml 和 json 进行数据交换快…
阅读更多...
Excel技巧之【如何修改密码】

Excel技巧之【如何修改密码】

我们知道，Excel可以设置多种密码来保护文件，那想要修改密码，要如何操作呢？下面小编来分享一下Excel常用的3种密码的修改方法，一起来看看吧！ 1. “打开密码” 想要修改Excel表格的“打开密码”&#xff0c…
阅读更多...
网络安全|2024年需要重点关注的10种DNS攻击类型

网络安全|2024年需要重点关注的10种DNS攻击类型

目前，针对域名系统（DNS）的攻击已经成为企业组织数字化发展中的一个严重问题，每年都有数千个网站成为此类攻击的受害者。据最近的研究数据显示，2023年企业组织与DNS攻击相关的损失同比增加了49%，这些损失不仅…
阅读更多...
行业模型与场景落地新样本，网易有道发布多款“子曰”教育大模型落地应用与产品

行业模型与场景落地新样本，网易有道发布多款“子曰”教育大模型落地应用与产品

距离2023年7月正式发布教育大模型“子曰”不到半年时间，教育科技公司网易有道近日再次分享了“子曰”教育大模型创新和落地成果，宣布推出国内首个教育大模型“子曰”2.0版本，同时还发布了基于大模型研发的三大创新应用——AI家庭教师“小P老师…
阅读更多...
苗情生态自动监测系统-科普知识

苗情生态自动监测系统-科普知识

随着科技的飞速发展，智能化技术在各个领域的应用越来越广泛。在农业领域，苗情生态自动监测系统的出现，为农业生产带来了革命性的变革。它不仅能够实时监测植物的生长状况，还能对环境因素进行全面监控，为农业生产提供科…
阅读更多...
SSL证书多少钱一年

SSL证书多少钱一年

SSL证书的价格跟证书的种类，品牌都有很大关系。有些厂商是可以提供免费的SSL证书的，但是大部分证书仍然是收费项目。 永久免费SSL证书_永久免费https证书_永久免费ssl证书申请-JoySSL 1. 单域名SSL证书： - 功能： 适用于保护单…
阅读更多...
Apollo开放平台概览 ：自动驾驶的未来趋势

Apollo开放平台概览 ：自动驾驶的未来趋势

🎬 鸽芷咕：个人主页 🔥 个人专栏:《linux深造日志》《粉丝福利》 ⛺️生活的理想，就是为了理想的生活! ⛳️ 粉丝福利活动 ✅参与方式：通过连接报名观看课程，即可免费获取精美周边 ⛳️活动链接&#xf…
阅读更多...
APP上线前需要通过哪些测试?如何获取专业的APP测试报告

APP上线前需要通过哪些测试?如何获取专业的APP测试报告

互联网信息时代，人们最离不开的就是手机，而手机里面吸引我们的也就是APP软件里各式各样好玩的。但一款APP要想在竞争激烈的市场上留存下来，上线前的软件测试就必不可少，那么APP上线前需要通过哪些测试呢?又该如何获取专业的APP测…
阅读更多...
RFID数据中心智能资产管理系统

RFID数据中心智能资产管理系统

数据中心机房承担着保障企业关键数据处理的重要责任，机房的日常管理直接关系到整体机房的日常维护和运行安全，数据资产管理中心在监管机房各部分设备的运行情况、维护数据中心的资产方面发挥着重要的作用。 成功的数据中心机房管理不仅需要选择高可靠性…
阅读更多...
【zk源码分析】

【zk源码分析】

zk作为java分布式系统注册中心和配置中心的典范，一直在思考分析这么一个系统到底从哪里入手呢？ zk在使用上是非常的简单，监听节点的变化即可。 一般是从哪里使用，就从哪里开始研究api。 客户端和zk断开时，我看到了一…
阅读更多...
Spark内核解析-数据存储5（六）

Spark内核解析-数据存储5（六）

1、Spark的数据存储 Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。 1.1存储子系统概览 …
阅读更多...
windows11上安装docker并处理相关问题

windows11上安装docker并处理相关问题

1、安装docker的最新版本： 最新版本我安装的是docker官方的最新版4.26.1.0，结果出现如下异常： Starting the Docker Engine.. Docker Engine is the underlying technology that runs containers 2、查看docker官方文档及结合网上其他资料…
阅读更多...
豆豆人智能AI游戏设计与Java实现

豆豆人智能AI游戏设计与Java实现

豆豆人智能AI游戏设计与Java实现 引言项目结构概述Plans 类Result 类AI 类 总结 引言 豆豆人是一款经典的游戏，而实现一个智能的豆豆人AI则是一项富有挑战性的任务。在这篇博客中，我们将介绍一个基于Java实现的豆豆人智能AI游戏。本游戏中的AI算法主要基…
阅读更多...
Spring实现IoC:依赖注入/构造注入

Spring实现IoC:依赖注入/构造注入

● 控制反转，反转的是什么？ ○ 将对象的创建权利交出去，交给第三方容器负责。 ○ 将对象和对象之间关系的维护权交出去，交给第三方容器负责。 ● 控制反转这种思想如何实现呢？ ○ DI（Dependency Injection&…
阅读更多...
AI模型必选

AI模型必选

国内AI人工智能站点 下面来分享一下国内的AI网站 最底下有直接的入口 1、国内使用chatGPT接口二次开发的网站，有很多我随便发一个 https://chat18.aichatos.xyz/#/chat/2、“通义千问”：阿里云推出的一个超大规模的语言模型 https://tongyi.aliyun.…
阅读更多...
SpringBoot实现登录拦截器

SpringBoot实现登录拦截器

SpringBoot实现登录拦截器 对于管理系统或其他需要用户登录的系统，登录验证都是必不可少的环节，在SpringBoot开发的项目中，通过实现拦截器来实现用户登录拦截并验证。 1、SpringBoot实现登录拦截的原理 SpringBoot通过实现HandlerIntercep…
阅读更多...
three.js Raycaster(鼠标点击选中模型)

three.js Raycaster(鼠标点击选中模型)

效果&#xff1a; 代码&#xff1a; <template><div><el-container><el-main><div class"box-card-left"><div id"threejs" style"border: 1px solid red"></div><div class"box-right"…
阅读更多...
集合学习笔记(二)

集合学习笔记(二)

文章目录 1.请介绍TreeMap的底层原理2. Map和Set有什么区别&#xff1f;3. List和Set有什么区别&#xff1f;4 .ArrayList和LinkedList有什么区别&#xff1f;5. 有哪些线程安全的List&#xff1f;6 .介绍一下ArrayList的数据结构&#xff1f;7. 谈谈CopyOnWriteArrayList的原理…
阅读更多...
低代码：实现数据可视化的强大助手

低代码：实现数据可视化的强大助手

随着数据在企业中的价值越来越受到重视&#xff0c;数据可视化成为了决策者和业务专家们必备的工具。然而&#xff0c;传统的数据可视化开发过程常常繁琐且耗时&#xff0c;限制了其在应用中的广泛应用。低代码平台的出现&#xff0c;为实现高效的数据可视化提供了新的解决方案…
阅读更多...
最新文章

Copyright @ 2022~2023