具体的文档可参考官网文档:https://github.com/alibaba/canal/wiki
canal [kə'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费
工作原理
- canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送 dump 协议
- MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )
- canal 解析 binary log 对象(原始为 byte 流)
环境准备:
1. 操作系统
a. 纯java开发,windows/linux均可支持
b. jdk建议使用1.6.25以上的版本,稳定可靠
2. mysql要求
a. 当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48),ps. mysql4.x版本没有经过严格测试,理论上是可以兼容
b. canal的原理是基于mysql binlog技术,所以这里一定需要开启mysql的binlog写入功能,并且配置binlog模式为row.
我们可以找到数据库配置文件my.cnf或者 my.ini文件,开启binlog写入功能,在Linux电脑下没有找到配置文件,可在/etc/my.cnf 在新增一个配置,mysql服务器会去扫描此文件。
在my.cnf文件下配置如下信息:
[mysqld]
#开启binlog日志
log-bin=mysql-bin
#选择row模式
binlog-format=ROW
#配置mysql replaction需要定义,不能和canal的slaveId重复
server_id=1
配置好后进行服务重启进行生效,可以通过如下命令进行验证是否开启成功
show VARIABLES like 'log_bin';
显示‘ON’,表示开启成功
c. canal的原理是模拟自己为mysql slave,所以这里一定需要做为mysql slave的相关权限
#创建canal用户 密码canal
CREATE USER canal IDENTIFIED BY 'canal';
# 对canal用户赋予权限
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
#进行验证,显示canal用户相关的权限
show GRANTS for canal;
开始搭建
从GitHub上下载源码到本地,可在tags中选择1.1.7版本
modules中deployer就是canal的服务端,结构如下:
修改example实例配置信息,配置成上述设置的canal用户:
#自己本地实例库信息
canal.instance.master.address=127.0.0.1:3308
#对应的自己的用户名和密码
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
进行启动:
window对应:bin/startup.bat. linux对应:bin/startup.sh
在本地dubug启动的时候,可以直接运行CanalLauncher(启动类)
查看server日志:
logs/canal/canal.log
查看instance实例:
logs/example/example.log
如上服务端已启动成功,开始监听binlog日志
客户端验证:
我们刚开始通过最简单的tcp模式进行订阅变更,
可通过启动类运行也可运行命令,进行订阅数据变更,启动后,可以自行修改配置的instance中的数据,监听日志会进行打印
至此单机模式的canal服务端以及客户端验证已本地搭建完成,后续进行集群模式,和订阅推送的其他几种模式