Maxwell安装使用和简单案例

一、解压

cd /opt/software/
​
tar -zxvf maxwell-1.29.2.tar.gz -C /opt/module/
​
cd /opt/module/

二、MySQL 环境准备

1、修改 mysql 的配置文件

修改 mysql 的配置文件,开启 MySQL Binlog 设置

vi /etc/my.cnf

添加以下内容

server_id=1
log-bin=mysql-bin
binlog_format=row
#binlog-do-db=test_maxwell
​
#(可添加可不添加)
#添加binlog的多个库(用于区分是不是自己的库)
#binlog-do-db=库名

解释

        server_id=1:指定了MySQL服务器实例的唯一标识符,用于复制和识别不同的服务器。 ​

        log-bin=mysql-bin:启用二进制日志(binary log),并指定了二进制日志文件的名称为mysql-bin。二进制日志包含了对数据库所做更改的详细记录,可用于数据复制和恢复等操作。 ​

        binlog_format=row:指定了二进制日志的格式为行级别(row-based)格式。在行级别格式中,二进制日志记录了实际被修改的行的内容。这种格式相对于其他格式(如语句级别或混合级别)更为详细和安全,因为它记录了实际数据的变化,而不仅仅是执行的SQL语句。 ​

        binlog-do-db=test:这个选项定义了需要记录到二进制日志的数据库名称。在这个例子中,只有名为test的数据库的更改会被记录到二进制日志中。这有助于减少二进制日志文件的大小和提高性能,因为不需要记录所有数据库的更改。

2、重启MySQL

#重启MySQL
systemctl restart mysqld
​
#关闭
systemctl stop mysqld
​
#查看
systemctl status mysqld

登录查看是否修改完成

mysql -uroot -pPassword123$

查看下列属性

show variables like '%binlog%';

3、查看 MySQL 生成的 binlog 文件

进入/var/lib/mysql 目录,查看 MySQL 生成的 binlog 文件、

cd /var/lib/mysql

 

cat mysql-bin.index

再次重启

systemctl restart mysqld

查看

4、测试

cd /var/lib/mysql
​
cat mysql-bin.000002

三、初始化 Maxwell 元数据库

1、在 MySQL 中建立一个 maxwell 库

在 MySQL 中建立一个 maxwell 库用于存储 Maxwell 的元数据

mysql -uroot -pPassword123$
​
create database maxwell;

2、设置 mysql 用户密码安全级别(可设置可不设置)

set global validate_password_length=4;
​
set global validate_password_policy=0;

3、分配一个账号可以操作该数据库

grant all on maxwell.* to 'maxwell'@'%' identified by 'Password123$';

4、分配这个账号可以监控其他数据库的权限

grant select ,replication slave ,replication client on *.* to maxwell@'%';

 

5、刷新 mysql 表权限

flush privileges;

四、进程启动

Maxwell 进程启动方式有如下两种

1、使用命令行参数启动 Maxwell 进程

cd /opt/module/maxwell-1.29.2/
​
bin/maxwell --user='maxwell' --password='Password123$' --host='master' --producer=stdout

解释

--user 连接 mysql 的用户
--password 连接 mysql 的用户的密码
--host mysql 安装的主机名
--producer 生产者模式(stdout:控制台 kafka:kafka 集群)

测试

修改数据表在控制台即可看到

2、修改配置文件,定制化启动 Maxwell 进程

cd /opt/module/maxwell-1.29.2/
​
cp config.properties.example config.properties
​
vi config.properties
​
#启动命令
bin/maxwell --config ./config.properties

修改以下内容

修改后

启动 

bin/maxwell --config ./config.properties

启动成功

测试

添加或修改

查看

3、查看进程

五、案例

1、监控 Mysql 数据并在控制台打印

先建表

或者

mysql -uroot -pPassword123$
​
#新建数据库
create database test_maxwell;
​
#使用数据库
use test_maxwell;
​
#新建表
create table test (id int,name varchar(50));

(1)运行 maxwell 来监控 mysql 数据更新

启动

cd /opt/module/maxwell-1.29.2/
​
bin/maxwell --user='maxwell' --password='Password123$' --host='master' --producer=stdout

(2)向 test 表插入一条数据

向 mysql 的 test_maxwell库的 test 表插入一条数据,查看 maxwell 的控制台输出

insert into test values(1,'aaa');

{
    "database":"test_maxwell",  --库名
    "table":"test",   --表名
    "type":"insert",  --数据更新类型
    "ts":1708240480,  --操作时间
    "xid":397,        --操作 id
    "commit":true,    --提交成功
    "data":{          --数据
        "id":1,
        "name":"aaa"
    }
}

(3)向 test 表同时插入 3 条数据

向 mysql 的 test_maxwell 库的 test 表同时插入 3 条数据,控制台出现了 3 条 json日志,说明 maxwell 是以数据行为单位进行日志的采集的。

insert into test values(2,'bbb'),(3,'ccc'),(4,'ddd');

(4)修改 test 表的一条数据

修改 test_maxwell 库的 test 表的一条数据,查看 maxwell 的控制台输出

update test set name='abc' where id =1;

 

{
    "database":"test_maxwell",
    "table":"test",
    "type":"update",
    "ts":1708241222,
    "xid":2262,
    "commit":true,
    "data":{  --修改后的数据
        "id":1,
        "name":"abc"
    },
    "old":{   --修改前的数据
        "name":"aaa"
    }
}

(5)删除 test 表的一条数据

删除 test_maxwell 库的 test 表的一条数据,查看 maxwell 的控制台输出

delete from test where id=1;

 

2、监控 Mysql 数据输出到 kafka

在mysql进行增删改查的binlog,保存到了kafka里

(1)启动kafka和zooKeeper

启动zooKeeper

# 启动
zkServer.sh start
​
# 查看状态
zkServer.sh status
​
# 停止
zkServer.sh stop

启动kafka

各节点上启动

/opt/module/kafka_2.11-2.4.1/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.11-2.4.1/config/server.properties

关闭kafka

/opt/module/kafka_2.11-2.4.1/bin/kafka-server-stop.sh -daemon /opt/module/kafka_2.11-2.4.1/config/server.properties

(2)启动 Maxwell 监控 binlog

cd /opt/module/maxwell-1.29.2/
​
bin/maxwell --user='maxwell' --password='Password123$' --host='master' --producer=kafka --kafka.bootstrap.servers=master:9092 --kafka_topic=maxwell

(3)打开 kafka 的控制台的消费者消费 maxwell 主题

cd /opt/module/kafka_2.11-2.4.1/bin
​
./kafka-console-consumer.sh --bootstrap-server master:9092 --topic maxwell --from-beginning

(4)向 test_maxwell 库的 test 表再次插入一条数据

insert into test values(5,'aaa');

(5)通过 kafka 消费者来查看到了数据,说明数据成功传入 kafka

{
    "database": "test_maxwell",
    "table": "test",
    "type": "insert",
    "ts": 1708243199,
    "xid": 6293,
    "commit": true,
    "data": {
        "id": 5,
        "name": "aaa"
    }
}

复制一个窗口,查看

cd /opt/module/kafka_2.11-2.4.1/bin
​
./kafka-topics.sh --bootstrap-server master:9092 --list

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/567409.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

冈萨雷斯数字图像处理资源(课后习题答案+代码+图片)

冈萨雷斯数字图像处理相关资源整理,资源全部来源互联网,方便大家下载 冈萨雷斯数字图像处理相关资源整理 课后习题 冈萨雷斯数字图像处理源代码

etcd campaign

1. 引言 本文主要讲解使用etcd进行选举的流程,以及对应的缺陷和使用场景 2. etcd选举流程 流程如以代码所示,流程为: clientv3.New 创建client与etcd server建立连接 concurrency.NewSession 创建选举的session,一般会配置ses…

微信小程序一到六章总结

第一章总结 认识微信小程序 小程序简介 微信(WeChat) 是腾讯公司于2011年1月21 日推出的一款为智能终端提供即时通信服务的应用程序。 小程序、订阅号、服务号、企业微信(企业号)属于微信公众平台的四大生态体系,它们面向不同的用户群体&…

Harmony OS应用开发性能优化全面指南

优化应用性能对于应用开发至关重要。通过高性能编程、减少丢帧卡顿、提升应用启动和响应速度,可以有效提升用户体验。本文将介绍一些优化应用性能的方法,以及常用的性能调优工具。 ArkTS高性能编程 为了提升代码执行速度,进而提升应用整体性…

若依如何去掉“正在加载系统资源,请耐心等待”

最近有网友反馈这个加载动画很丑,问我如何去掉: 首先找到前端页面的index.html文件,去掉或注释掉如下代码:

使用Gitee进行社交登录的流程

使用Gitee进行社交登录 创建Gitee第三方应用流程: 鼠标移动到个人头像上,点击账号设置 点击账号设置,选择左边目录下数据管理的第三方应用 然后选择创建应用 根据要求填写 填写好了上面的要求之后,点击创建应用,这样&…

【Java】如何获取客户端IP地址

在项目中往往涉及到“获取客户端IP地址”,常见到下面这样子的代码: package com.utils;import cn.hutool.core.util.StrUtil; import lombok.extern.slf4j.Slf4j; import org.springframework.http.server.reactive.ServerHttpRequest; import java.net…

前端JS必用工具【js-tool-big-box】,获取浏览器参数、cookie、localStorage的存取

这一小节,我们针对js-tool-big-box工具做一些使用讲解,主要获取浏览器参数、cookie、localStorage的存取方面的。 这些方法差不多每次项目中要么用不到,要么就自己写一份,轮子造的很重复啊,而且localStorage有时候要求…

牛客网:环形链表的约瑟夫问题

🎁个人主页:我们的五年 🔍系列专栏:每日一练 🌷追光的人,终会万丈光芒 目录 🏝1.问题描述: 🏝2.实现代码: 🏝1.问题描述: 前言&am…

windows系统CUDA的详细安装教程

CUDA系列 文章目录 CUDA系列前言一、CUDA简介二、安装配置视频教程三、CUDA的下载及安装3.1 环境检查3.2 CUDA 安装包下载3.3 安装CUDA(略)3.4 验证CUDA是否安装成功 四、cuDNN的下载及安装4.1 cuDNN下载4.2 cuDNN配置 五、配置环境变量六、下载并配置zl…

springboot 集成 i18n实现国际化信息返回 实现中英文切换 实现网站支持多语言切换

还是直接上代码 目前实现了 中英文 返回 别的语言 都差不多 主要用spring boot 自带的 类实现的 不用引入任何 依赖 使用的就是下面的类 org.springframework.context.MessageSource 是 Spring Framework 中用于支持国际化(Internationalization,简称 i…

把 WordPress 变成 BaaS 服务:API 调用指南

有了前面两篇内容的铺垫,我们来聊聊 WordPress 作为 CMS / BaaS 服务使用时绕不开的问题,API 调用。 这篇内容同样的,会尽量少贴代码,简单的讲清楚一件事,降低阅读负担。 写在前面 首先,我们需要进行清晰…

使用autocannon和0x对网站进行性能分析(node)

npm i autocannon -g autocannon -c 100 -d 5 -p 10 http://localhost:3000/ 0x -o app.js 火焰图是根据程序的栈的状态对出现函数的采样数据统计而得,宽度代表函数运行一次所需的时长、高度代表栈的层数、颜色深度代表函数在采样中出现的频率,因此宽度…

手摸手教你把Ingress Nginx集成进Skywalking

背景 在微服务大行其道的今天,如何观测众多微服务、快速理清服务间的依赖、如何对服务之间的调用性能进行衡量,成了摆在大家面前的难题。对此,Skywalking应运而生,它是托管在 Apache 基金会下的开源项目,旨在帮助开发…

vue element-ui 表格横向滚动条在合计项下方

目前效果 需求效果 1.隐藏bodyWrapper滚动条,显示footerWrapper滚动条 css代码如下: div ::v-deep .el-table--scrollable-x .el-table__body-wrapper{overflow-x: hidden!important;z-index: 2!important;} div ::v-deep .el-table__footer-wrapper …

git的安装与配置教程--超详细版

一、git的安装 1. 官网下载git git官网地址:https://git-scm.com/download/win/ 选择需要的版本进行下载 2、下载完成之后,双击下载好的exe文件进行安装。 3、默认是C盘,推荐修改一下路径,然后点击下一步 4、Git配置&#xff…

电子邮箱是什么?电子邮箱怎么申请注册?

虽然通过电子邮箱收发邮件办公已经成为常态,但是很多人不清楚电子邮箱是什么?电子邮箱是指通过网络传递的“邮局”,可以用来收发电子邮件。每个人的电子邮箱地址都是唯一的,确保他人的邮件能准确送到我们的电子邮箱之中。电子邮箱…

CRMEB pro版/多门店商城系统客服配置教程

客服功能配置介绍 功能提示: Pro v2.0系统采用swoole框架,客服不需要单独配置,按照正常安装流程配置好程序即可使用! 如出现客服无法使用,请检查: 1.消息队列是否正常 2.重启swoole 一、功能介绍 CRMEB商城…

刷课必备!用Python实现网上自动做题

前言 开学少不了老师会布置一些 软件上面的作业,今天教大家用python制作自动答题脚本,100%准确率哦喜欢的同学记得关注、收藏哦 环境使用 Python3.8Pycharm 模块使用 import requests —> 数据请求模块 pip install requestsimport parsel —>…

GPU 之争:训练大模型的显卡规格大比拼

训练大模型有多烧钱?(含常用GPU规格比较) 训练大模型有多烧钱? 解锁大型语言模型的运行秘诀大型语言模型 (LLM) 对硬件要求很高,其中显卡内存至关重要。Meta 的 LLaMA 2 模型提供了规模不等的选项:* 70B 模…