目录
- 一、生产者提高吞吐量参数设置
- 二、产者提高吞吐量代码示例
一、生产者提高吞吐量参数设置
- batch.size:设置批次大小,默认16k
- linger.ms:设置等待时间,修改为5-100ms
- buffer.memory:设置缓冲区大小, 默认 32M
- compression.type:设置压缩,默认 none,可配置值 gzip、snappy、lz4 和 zstd
二、产者提高吞吐量代码示例
-
代码示例
package com.xz.kafka.producer; import org.apache.kafka.clients.producer.*; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; /** * 生产者提高吞吐量 * 1、设置批次大小,batch.size 默认 16K * 2、设置等待时间,linger.ms 默认 0 * 3、设置缓冲区大小,buffer.memory 默认 32M * 4、设置压缩, compression.type 默认 none,可配置值 gzip、snappy、lz4 和 zstd * */ public class CustomProducerParameters { public static void main(String[] args) throws InterruptedException { //1、创建 kafka 生产者的配置对象 Properties properties = new Properties(); //2、给 kafka 配置对象添加配置信息:bootstrap.servers properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.136.27:9092,192.168.136.28:9092,192.168.136.29:9092"); //3、指定对应的key和value的序列化类型 key.serializer value.serializer properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName()); /** * 4、提高吞吐量 * */ //设置缓冲区大小 properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG,33554432); //设置批次大小 properties.put(ProducerConfig.BATCH_SIZE_CONFIG,16384); //设置等待时间 linger.ms properties.put(ProducerConfig.LINGER_MS_CONFIG, 1); //设置压缩 properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"snappy"); //5、创建生产者 KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties); //6、调用 send 方法,发送消息 for (int i = 0; i < 5; i++) { kafkaProducer.send(new ProducerRecord<>("news", "hello kafka" + i), new Callback() { @Override public void onCompletion(RecordMetadata metadata, Exception exception) { if (exception == null){ System.out.println("主题: "+metadata.topic() + " 分区: "+ metadata.partition()); } } }); Thread.sleep(2); } //7、关闭资源 kafkaProducer.close(); } }
-
在三台服务器上开启 Kafka 消费者
[root@localhost kafka-3.0.0]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.136.29:9092 --topic news
-
在 IDEA 中执行代码,观察 三台服务器控制台中是否接收到消息,如下图: