一、Zookeeper安装与使用
1.安装包下载
直接在官网下载即可Apache ZooKeeper。
下载后直接解压到本地即可。
2.环境配置
1> 在目录中下增加data和log文件夹
2> 解压目录下的 conf 目录,将目录中的 zoo_sample.cfg 文件,复制一份,重命名为 zoo.cfg(因为bin目录中的zkEnv配置文件中识别的配置文件名称即为zoo.cfg)
3> 在复制的zoo.cfg文件中将dataDir默认配置修改为zookeeper安装目录所在的data文件夹。然后再增加一个dataLogDir配置项(注意使用双斜线)
3.启动运行
然后双击启动服务端zkServer以及客户端zkCli即可。
4.闪退问题
当出现闪退问题,在zkServer文件后增加pause仍闪退时。在bin文件夹下使用命令启动(这样便可以获取报错原因了)
Linux:./zkServer.sh start
windows: /zkServer.cmd start
zookeeper停止命令:
在bin文件夹下,执行命令:
Linux:./zkServer.sh stop
windows: ./zkServer.cmd st
op
查看zookeeper状态:
Linux:./zkServer.sh status
windows: ./zkServer.cmd status
二、kafka安装与使用
kafka需要jdk环境以及zookeeper支持,zookeeper上方已叙述,这里就不放jdk的安装流程了。
1.安装包下载
在kafka的官方地址下载并本地解压Apache Kafka 即可(别下载-src源码包)
2.环境配置
1> 进入config下找到server.properties。修改其"log.dirs"的默认配置。
2> 因为kafka需要zookeeper环境支持,所以需要根据个人zookeeper来修改部分配置。同样是config文件夹下,zookeeper.properties中的"dataDir"默认配置修改为:可使用的zookeeper对应的服务安装地址。
3> 在server.properties文件中,zookeeper.connect=localhost:2181代表kafka所连接的zookeeper所在的服务器IP以及端口,可根据需要更改。本文在同一台机器上使用,故不用修改。
4> kafka会按照默认配置,在9092端口上运行,并连接zookeeper的默认端口2181。
3.启动运行
3.1 先启动zookeeper。
在D:\Tools\kafka_2.12-3.6.1地址栏中输入cmd,在命令行中输入:
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
3.2 再启动kafka
在D:\Tools\kafka_2.12-3.6.1地址栏中输入cmd,在命令行中输入:
.\bin\windows\kafka-server-start.bat .\config\server.properties
4.kafka基本使用
4.1 创建主题Topic
(1)创建主题,命名为"hyq",replicationfactor=1(因为只有一个kafka服务器在运行)。可根据集群中kafka服务器个数来修改replicationfactor的数量,以便提高系统容错性等。
(2)在D:\Tools\kafka_2.12-3.6.1 地址栏中打开命令行,输入以下命令:
.\bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --topic hyq --partitions 1 --replication-factor 1
4.2 查看Topic
.\bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092
4.3 创建生产者
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic hyq
4.4 创建消费者
这里同样操作创建两个消费者
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic hyq