AutoMQ 生态集成 Tigris

Tigris[1]是一个全球分布式的兼容 S3 的对象存储服务，它允许你存储和访问任意数量的数据，具有广泛的使用场景。Tigris 会自动且智能地将数据分布到靠近用户的位置，让用户无需担心数据复制和缓存复杂性。

你可以将 Tigris 用于多种场景，例如：

  • 实时应用程序的存储
  • 网页内容与媒体（图片、视频等）
  • 物联网（IoT）应用程序的存储
  • 数据分析、大数据及批处理
  • 机器学习模型和数据集的存储
  • 备份与归档 Tigris 兼容 S3 API。这意味着你可以在 Tigris 中使用标准的 S3 SDK、工具和库。本文将指导你如何将 AutoMQ[3] 集群部署在你私有数据中心的 Tigris 之上。

01

前置条件

  • 一个可以正常使用的 Tigris 环境。如果你还没有可用的 Tigris 环境，可以参考其官方文档[8]获取。
  • 准备 5 台主机用于部署 AutoMQ 集群。建议选择 2 核 16GB 内存的 Linux amd64 主机，并准备两个虚拟存储卷。
  • 从 AutoMQ Github Releases 下载最新的正式二进制安装包，用于安装 AutoMQ。
  • 为 Tigris 创建桶

          a.设置环境变量来配置 AWS CLI 需要的 Access Key 和 Secret Key。

export AWS_ACCESS_KEY_ID=tid_avqGWWSohRwMErSDZoYAUOqcNiOYnyrzVEyatwqUlAskBBDCNA
export AWS_SECRET_ACCESS_KEY=tsec_4J9qtNpHC4E+c9mZeHTQv91uId7+8FbL7Ob6NvtiPJoo0301DU99uNTuOqFzX9b-UxAgkl

                 b.使用 AWS CLI 创建 S3 存储桶。

aws s3api create-bucket --bucket automq-data --endpoint=http://127.0.0.1:80
aws s3api create-bucket --bucket automq-ops --endpoint=http://127.0.0.1:80

Tips:

  • Tigris 是一种基于 Fly.io 基础架构的全球缓存、兼容 S3 的对象存储服务，创建和管理桶完全通过 Fly CLI 进行，详细请前往 Fly 官网查看关于 Tigris 的文档。
  • Tigris 提供了创建桶和 Access Key 的控制面板，你可以通过登陆 Fly 账号进行登陆查看。

02

安装并启动 AutoMQ 集群

配置S3 URL

第一步：生成 S3 URL

AutoMQ 提供了 automq-kafka-admin.sh 工具，用于快速启动 AutoMQ。只需提供包含所需 S3 接入点和身份认证信息的 S3 URL，即可一键启动 AutoMQ，无需手动生成集群 ID 或进行存储格式化等操作。

### 命令行使用示例
bin/automq-kafka-admin.sh generate-s3-url \ 
--s3-access-key=xxx  \ 
--s3-secret-key=yyy \ 
--s3-region=cn-northwest-1  \ 
--s3-endpoint=s3.cn-northwest-1.amazonaws.com.cn \ 
--s3-data-bucket=automq-data \ 
--s3-ops-bucket=automq-ops

关于 Fly[4]： fly.io 是一个容器化的部署平台，只需要一个 Dockerfile 文件就能部署代码到 fly.io 的服务器上，同时还自动生成域名。 Tigris 是一种基于 Fly 基础架构全球缓存的对象存储服务，在 Tigris 中，桶是固有的全局实体。这意味着桶中的对象存储在发起请求的区域。为了优化性能并减少延迟，这些对象会根据随时间观察到的访问模式智能地分布到其他区域。

输出结果
执行该命令后，将自动按以下阶段进行：

  1. 根据提供的 accessKey 和 secretKey 对 S3 基本功能进行探测，以验证 AutoMQ 和 S3 的兼容性。
  2. 根据身份信息，接入点信息生成 s3url。
  3. 根据 s3url 获取启动 AutoMQ 的命令示例。在命令中，将 --controller-list 和 --broker-list 替换为实际需要部署的 CONTROLLER 和 BROKER。执行结果示例如下：
############  Ping s3 ########################

[ OK ] Write s3 object
[ OK ] Read s3 object
[ OK ] Delete s3 object
[ OK ] Write s3 object
[ OK ] Upload s3 multipart object
[ OK ] Read s3 multipart object
[ OK ] Delete s3 object
############  String of s3url ################

Your s3url is:

s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=xxx&s3-secret-key=yyy&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA


############  Usage of s3url  ################
To start AutoMQ, generate the start commandline using s3url.
bin/automq-kafka-admin.sh generate-start-command 
--s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" 
--controller-list="192.168.0.1:9093;192.168.0.2:9093;192.168.0.3:9093"  
--broker-list="192.168.0.4:9092;192.168.0.5:9092"

TIPS: Please replace the controller-list and broker-list with your actual IP addresses.

第 2 步：生成启动命令列表

将上一步生成的命令中的 --controller-list 和 --broker-list 替换为你的主机信息，具体来说，将它们替换为环境准备中提到的 3 台 CONTROLLER 和 2 台 BROKER 的 IP 地址，并且使用默认的 9092 和 9093 端口。

 bin/automq-kafka-admin.sh generate-start-command 
--s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" 
--controller-list="192.168.0.1:9093;192.168.0.2:9093;192.168.0.3:9093"  
--broker-list="192.168.0.4:9092;192.168.0.5:9092"

输出结果
执行命令后，会生成用于启动 AutoMQ 的命令。 

 ############  Start Commandline ##############
To start an AutoMQ Kafka server, please navigate to the directory where your AutoMQ tgz file is located and run the following command.

Before running the command, make sure that Java 17 is installed on your host. You can verify the Java version by executing 'java -version'.

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker,controller --override node.id=0 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.1:9092,CONTROLLER://192.168.0.1:9093 --override advertised.listeners=PLAINTEXT://192.168.0.1:9092

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker,controller --override node.id=1 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.2:9092,CONTROLLER://192.168.0.2:9093 --override advertised.listeners=PLAINTEXT://192.168.0.2:9092

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker,controller --override node.id=2 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.3:9092,CONTROLLER://192.168.0.3:9093 --override advertised.listeners=PLAINTEXT://192.168.0.3:9092

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker --override node.id=3 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.4:9092 --override advertised.listeners=PLAINTEXT://192.168.0.4:9092

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker --override node.id=4 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.5:9092 --override advertised.listeners=PLAINTEXT://192.168.0.5:9092


TIPS: Start controllers first and then the brokers.

注意：node.id 默认从 0 开始自动生成。

第 3 步：启动 AutoMQ

要启动集群，请在预先指定的 CONTROLLER 或 BROKER 主机上依次执行上一步命令中的命令列表。例如，在 192.168.0.1 上启动第一个 CONTROLLER 进程，执行生成的启动命令列表中的第一条命令。

 bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker,controller --override node.id=0 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.1:9092,CONTROLLER://192.168.0.1:9093 --override advertised.listeners=PLAINTEXT://192.168.0.1:9092

后台运行如果需要以后台模式运行，请在命令末尾添加以下代码：

 command > /dev/null 2>&1 &

至此，你已经完成了基于 Tigris 的 AutoMQ 集群部署，拥有了一个低成本、低延迟、秒级弹性的 Kafka 集群了。如果你需要进一步体验 AutoMQ 的秒级分区迁移、持续自平衡等特性，可以参考官方示例[7]。

参考资料 [1] Tigris: https://www.tigrisdata.com/ [2] Features of Tigris: https://www.tigrisdata.com/docs/overview/ [3] AutoMQ 1.0.6-rc1: https://github.com/AutoMQ/automq/releases [4] Fly: https://fly.io/ [5] WHAT IS AUTOMQ?: https://docs.automq.com/docs/automq-opensource/HSiEwHVfdiO7rWk34vKcVvcvn2Z [6] Example: Self-Balancing when Cluster Nodes Change: https://docs.automq.com/docs/automq-opensource/H6APwuugniOx7XktCiNcKnW8nYb [7] AutoMQ: GETTING STARTED: https://docs.automq.com/zh/docs/automq-opensource/EvqhwAkpriAomHklOUzcUtybn7g [8] Tigris: Getting Started: https://www.tigrisdata.com/docs/get-started/#getting-started

🌟 GitHub 地址：https://github.com/AutoMQ/automq
💻 官网：https://www.automq.com

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/683875.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

(文章复现)基于共享储能服务的智能楼宇双层优化配置

(文章复现)基于共享储能服务的智能楼宇双层优化配置

参考文献： [1]张浩鹏,李泽宁,薛屹洵,等.基于共享储能服务的智能楼宇双层优化配置[J/OL].中国电机工程学报,1-12[2024-05-22]. 1.摘要 为降低城市化进程中楼宇储能投资成本，提出一种基于共享储能服务的智能楼宇（Intelligent Buildings&#…
阅读更多...
【机器学习基础】Python编程04：五个实用练习题的解析与总结

【机器学习基础】Python编程04：五个实用练习题的解析与总结

Python是一种广泛使用的高级编程语言，它在机器学习领域中的重要性主要体现在以下几个方面： 简洁易学：Python语法简洁清晰，易于学习，使得初学者能够快速上手机器学习项目。 丰富的库支持：Python拥有大量的机器学习库，如scikit-learn、TensorFlow、Keras和PyTorch等，这些…
阅读更多...
AIGC会带来失业潮吗？紧紧跟时代第一步，如何学习AIGC

AIGC会带来失业潮吗？紧紧跟时代第一步，如何学习AIGC

会，但AI淘汰的始终是跟不上时代的人。 现在很多公司都有AI培训，不仅GPT，还有Midjourney、Stable DIffusion等一系列AI工具。 像我们公司虽然今年招的少，但也会对新招的应届生统一进行AI培训。 用任正非先生的话来说就是&#x…
阅读更多...
Jupyter Notebook远程连接服务器

Jupyter Notebook远程连接服务器

参考连接： 使用Jupyter Notebook远程连接服务器_jupyter notebook 连接 ray-CSDN博客 Jupyter Notebook 7.0 更新远程访问配置_no module named notebook.auth-CSDN博客 激活conda环境 conda activate abc #激活虚拟环境 安装jupyter pip install jupyter #安装…
阅读更多...
Java17 --- Mabbitmq之安装测试

Java17 --- Mabbitmq之安装测试

目录 一、拉取运行镜像 1.1、拉取镜像环境 1.2、运行镜像 二、工作模式 2.1、消息的发送者 2.2、消息的接收者 2.3、生产队列模式 2.3.1、消息的发送者 2.3.2、消息的接收者 2.4、发布订阅模式 2.4.1、消息的发送者 2.4.2、消息的接收者 2.5、路由模式 2.5.…
阅读更多...
python --对象属性、类属性、类方法和静态方法

python --对象属性、类属性、类方法和静态方法

对象属性和类属性 --掌握--对象属性 目标掌握对象属性的使用 对象属性，有时也称实例属性、普通属性、公有属性 、或者直接叫属性 在类内部，访问对象属性语法： self.对象属性名 在类外部，访问对象属性语法： 对象名.对…
阅读更多...
【全开源】安心护送非急救救护车转运平台小程序（FastAdmin+ThinkPHP+Uniap

【全开源】安心护送非急救救护车转运平台小程序（FastAdmin+ThinkPHP+Uniap

🚑安心护送非急救救护车转运平台小程序——您的健康守护者💖 安心护送转运平台小程序是一款基于FastAdminThinkPHPUniapp开发的非急救救护车租用转运平台小程序系统，可以根据运营者的业务提供类似短途接送救护服务，重症病人转运服…
阅读更多...
几种近距离无线传输的方案

几种近距离无线传输的方案

常见的近距离无线通信技术主要有以下几种： 1. 蓝牙（Bluetooth）：这是一种近距离、低功耗的无线通讯标准，支持设备短距离通信（10m左右）。常用于无线鼠标、无线键盘或手持移动终端等设备。 2. ZigB…
阅读更多...
【权威发布丨投稿优惠】2024年企业管理、投融资与经济学国际会议（EMIFE 2024）

【权威发布丨投稿优惠】2024年企业管理、投融资与经济学国际会议（EMIFE 2024）

2024年企业管理、投融资与经济学国际会议 2024 International Conference on Enterprise Management, Investment and Financing, and Economics 【1】会议简介 2024年企业管理、投融资与经济学国际会议是一场汇集全球顶尖学者、企业家和经济学家的盛会。本次会议旨在探讨企业管…
阅读更多...
【全开源】废品回收垃圾回收小程序APP公众号源码PHP版本

【全开源】废品回收垃圾回收小程序APP公众号源码PHP版本

🌟废品回收小程序：绿色生活的新助手🌱 一、引言 随着环保意识的逐渐提高，废品回收成为了我们日常生活中的重要一环。但是，如何更方便、高效地进行废品回收呢？今天，我要向大家推荐一款超级实用的…
阅读更多...
线性dp+数论分块，1561D1 - Up the Strip

线性dp+数论分块，1561D1 - Up the Strip

一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 1561D1 - Up the Strip (simplified version) 二、解题报告 1、思路分析 一眼dp 写出dp方程： 前者维护前缀和即可O(1)转移 后者呢？——整除分块数论分块问题-CSDN博客 简单叙述下…
阅读更多...
成都跃享未来教育：安全可靠，值得信赖的教育新选择

成都跃享未来教育：安全可靠，值得信赖的教育新选择

在当今社会，教育行业的竞争日益激烈，家长们对于选择一所安全可靠的教育机构显得尤为谨慎。成都跃享未来教育作为一家新兴的教育机构，以其独特的教育理念和优质的服务赢得了广大家长的信赖和好评。那么，成都跃享未来教育到底安全可…
阅读更多...
va_start和va_end使用介绍

va_start和va_end使用介绍

一 概述 采用C语言编程的时候，函数中形式参数的数目通常是确定的，在调用时要依次给出与形式参数对应的所有实际参数。但在某些情况下希望函数的参数个数可以根据需要确定。典型的例子有大家熟悉的函数printf()、scanf()和系统调用execl()等。那么它们是怎…
阅读更多...
32C3-2模组与乐鑫ESP32­-C3­-WROOM­-02模组原理图、升级口说明

32C3-2模组与乐鑫ESP32­-C3­-WROOM­-02模组原理图、升级口说明

模组原理图： 底板原理图： u1 是AT通信口，wiif-tx wifi-rx 是升级口，chip-pu是reset复位口，GPIO9拉低复位进入下载模式 ESP32-WROOM-32 系列硬件连接管脚分配 功能 ESP32 开发板/模组管脚 其它设备管脚 下载固件…
阅读更多...
买卖股票的各种最佳时机问题

买卖股票的各种最佳时机问题

买卖股票的最佳时机 分析 根据题意可知，我们只需要找出来一个最小价格的股票和一个最大价格的股票，并且最小价格的股票出现在最大价格的股票之前。 如果尝试使用暴力解法，时间复杂度为O(N^2)，对于题目中给的长度，显然…
阅读更多...
【Go】编码结构体转换为json字符串

【Go】编码结构体转换为json字符串

结构体内字段命名大小写问题导致无法解析到 package mainimport ("encoding/json""fmt" ) // 定义一个结构体 type Music struct {name string json:"名称" // 字段大小写命名问题！！！singer string json:&q…
阅读更多...
你会用Nginx的第三方模块吗？

你会用Nginx的第三方模块吗？

你好，我是赵兴晨，97年文科程序员。 你使用过Nginx的第三方模块吗？今天咱们来聊聊Nginx的第三方模块。 在深入了解Nginx的高性能与灵活性的过程中，我们不可避免地会接触到第三方模块。 这些模块是对Nginx原生功能的有力扩展&…
阅读更多...
学习笔记——IP地址网络协议——网络掩码(Netmask)

学习笔记——IP地址网络协议——网络掩码(Netmask)

三、网络掩码(Netmask) 1、网络掩码概述 网络掩码(Netmask)又称子网掩码(Subnet Mask)网络掩码为32 bit，与IP地址的位数一样，通常也以点分十进制数来表示。 子网掩码不能单独存在，它必须结合IP地址一起使用。子网掩码只有一个作用&#xf…
阅读更多...
北斗RTK+UWB定位的优势

北斗RTK+UWB定位的优势

在当今科技飞速发展的时代，定位技术的应用已渗透到我们生活的方方面面。从导航、物流到无人驾驶、智能制造，精准定位技术无处不在。而北斗RTK（Real-Time Kinematic，实时动态）和UWB（Ultra-Wideband&#xff…
阅读更多...
JS 二进制文件处理与转换：Blob,FileReader,Base64,ArrayBuffer

JS 二进制文件处理与转换：Blob,FileReader,Base64,ArrayBuffer

转载：https://www.cnblogs.com/yinpengfei/p/17280585.html
阅读更多...
最新文章

Copyright @ 2022~2023