使用 Kafka 保证消息不丢失的策略及原理解析


✨✨祝屏幕前的小伙伴们每天都有好运相伴左右，一定要天天开心！✨✨ 
🎈🎈作者主页： 喔的嘛呀🎈🎈

目录

一、引言

二. 持久化存储

2.1持久化存储原理：

2.2使用示例：

1. 安装 Kafka：

2. 生产者代码：

3. 消费者代码：

三. 消息确认机制

3.1消息确认机制原理：

3.2使用示例：

1. 生产者代码：

2. 消费者代码：

四. 事务机制

4.1事务机制原理：

4.2使用示例：

1. 生产者代码：

2. 消费者代码：

五. 数据备份与复制

5.1数据备份与复制原理

5.2使用示例：

1. Kafka Broker配置：

2. 生产者代码

3. 消费者代码

六. 消息过期机制

总结

一、引言

消息队列（Message Queue）是一种用于在不同组件、服务或系统之间传递消息的通信方式。在分布式系统中，消息队列起到了缓冲和解耦的作用，但在使用过程中，如何保证消息不丢失是一个重要的问题。下面详细探讨一下消息队列如何保证消息不丢失的方法。Apache Kafka是一个分布式消息系统，设计和实现了一套机制来保证消息队列中的消息不丢失。以下是一些关键的配置和实践方法。

二. 持久化存储

为了防止消息在队列中丢失，消息队列系统通常会提供持久化存储的机制。这意味着一旦消息被接收，它会被存储在持久化存储中，即使系统崩溃或重启，消息仍然可以被恢复。这种机制通常使用文件系统或数据库来实现。

在Java中使用消息队列的持久化存储，我们以Apache Kafka为例进行演示。Kafka是一个分布式的、可持久化的消息队列系统，适用于大规模的数据流处理。

2.1持久化存储原理：

Kafka通过将消息写入磁盘上的日志文件（日志段）来实现持久化存储。每个消息都会被追加到日志文件的末尾，确保消息在写入后不会被修改，从而保证了消息的持久性。

2.2使用示例：

1. 安装 Kafka：

首先，确保你已经安装并启动了 Kafka。你可以从 Kafka官方网站 下载并按照官方文档进行安装和启动。

2. 生产者代码：

import org.apache.kafka.clients.producer.*;

import java.util.Properties;

public class KafkaProducerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        // 创建生产者
        KafkaProducer<String, String> producer = new KafkaProducer<>(props);

        // 发送消息，将消息设置为持久化
        ProducerRecord<String, String> record = new ProducerRecord<>("example_topic", "Hello, Kafka!");
        producer.send(record, new Callback() {
            @Override
            public void onCompletion(RecordMetadata metadata, Exception exception) {
                if (exception == null) {
                    System.out.println("Message sent successfully. Offset: " + metadata.offset());
                } else {
                    exception.printStackTrace();
                }
            }
        });

        producer.close();
    }
}

3. 消费者代码：

import org.apache.kafka.clients.consumer.*;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "example_group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        // 创建消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        // 订阅主题
        consumer.subscribe(Collections.singletonList("example_topic"));

        // 拉取消息，将消息设置为持久化
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("Received message: offset = %d, key = %s, value = %s%n",
                        record.offset(), record.key(), record.value());
            }
        }
    }
}

在上述代码中，通过将生产者和消费者配置中的acks属性设置为all（默认值），Kafka会等待消息被所有同步副本接收确认后再继续发送。这确保了消息在发送和接收时都会被持久化存储。

请注意，Kafka的配置和使用可能因版本而异，确保查阅相应版本的文档以获取准确的配置信息。

三. 消息确认机制

消息队列系统通常支持消息确认机制，确保消息在被消费者成功处理后才被标记为已处理。消费者在成功处理消息后发送确认给消息队列，然后消息队列才会将该消息从队列中移除。如果消费者处理失败，消息队列可以将消息重新投递给队列或者按照配置进行其他处理。

消息确认机制是确保消息在被消费者成功处理后才被标记为已处理的关键机制。在这里，我们将使用Apache Kafka作为示例进行演示，展示消息确认机制的实现。

3.1消息确认机制原理：

在Kafka中，消息确认机制主要通过Producer的acks参数和Consumer的手动确认来实现。acks参数表示生产者要求服务器确认消息的级别，而手动确认则是消费者在成功处理消息后通过调用特定的API来通知服务器。

3.2使用示例：

1. 生产者代码：

import org.apache.kafka.clients.producer.*;

import java.util.Properties;

public class KafkaProducerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("acks", "all");  // 设置为all表示等待所有副本确认

        // 创建生产者
        KafkaProducer<String, String> producer = new KafkaProducer<>(props);

        // 发送消息，等待确认
        ProducerRecord<String, String> record = new ProducerRecord<>("example_topic", "Hello, Kafka!");
        producer.send(record, new Callback() {
            @Override
            public void onCompletion(RecordMetadata metadata, Exception exception) {
                if (exception == null) {
                    System.out.println("Message sent successfully. Offset: " + metadata.offset());
                } else {
                    exception.printStackTrace();
                }
            }
        });

        producer.close();
    }
}

2. 消费者代码：

import org.apache.kafka.clients.consumer.*;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "example_group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        // 创建消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        // 订阅主题
        consumer.subscribe(Collections.singletonList("example_topic"));

        // 拉取消息
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("Received message: offset = %d, key = %s, value = %s%n",
                        record.offset(), record.key(), record.value());

                // 手动确认消息
                consumer.commitSync();
            }
        }
    }
}

在上述代码中，生产者的acks属性设置为all，表示等待所有副本确认。而消费者在处理完消息后，通过调用consumer.commitSync()手动确认消息。这确保了消息在被成功处理后才被标记为已处理。

请注意，Kafka的确认机制可能因版本而异，确保查阅相应版本的文档以获取准确的配置信息。

四. 事务机制

一些消息队列系统支持事务机制，允许生产者发送一组消息，并且只有在这组消息都成功写入队列后才被提交。如果有任何一个消息写入失败，整个事务会被回滚，从而确保消息的一致性。

事务机制是确保消息队列中一组消息要么全部成功处理，要么全部回滚的重要机制。在这里，我们以Apache Kafka为例进行演示，展示事务机制的实现。

4.1事务机制原理：

Kafka的事务机制主要涉及Producer API的事务支持。生产者可以在一组消息的发送过程中开启事务，然后要么全部提交（所有消息发送成功），要么全部回滚（任何一个消息发送失败）。

4.2使用示例：

1. 生产者代码：

import org.apache.kafka.clients.producer.*;

import java.util.Properties;

public class KafkaTransactionalProducerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("acks", "all");  // 设置为all表示等待所有副本确认
        props.put("enable.idempotence", "true");  // 开启幂等性
        props.put("transactional.id", "my-transactional-id");  // 设置事务ID

        // 创建生产者
        KafkaProducer<String, String> producer = new KafkaProducer<>(props);

        // 开启事务
        producer.initTransactions();

        try {
            producer.beginTransaction();

            // 发送消息
            ProducerRecord<String, String> record1 = new ProducerRecord<>("example_topic", "Message 1");
            ProducerRecord<String, String> record2 = new ProducerRecord<>("example_topic", "Message 2");

            producer.send(record1);
            producer.send(record2);

            // 提交事务
            producer.commitTransaction();
        } catch (ProducerFencedException | OutOfOrderSequenceException | AuthorizationException e) {
            // 处理异常，中止事务
            producer.close();
        } catch (KafkaException e) {
            // 处理其他Kafka异常，回滚事务
            producer.abortTransaction();
        }

        producer.close();
    }
}

在上述代码中，通过设置enable.idempotence为true和配置transactional.id为唯一的事务ID，生产者开启了事务。然后，通过beginTransaction、commitTransaction和abortTransaction来控制事务的提交和回滚。

请注意，生产者中使用了enable.idempotence开启幂等性，这对于确保消息不会被重复发送也是非常重要的。同时，确保事务ID是唯一的，以避免与其他事务冲突。

2. 消费者代码：

消费者的代码相对简单，与普通的消费者代码基本相同。消费者不直接参与生产者的事务，而是通过消费消息来处理相关业务逻辑。

import org.apache.kafka.clients.consumer.*;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "example_group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        // 创建消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        // 订阅主题
        consumer.subscribe(Collections.singletonList("example_topic"));

        // 拉取消息
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("Received message: offset = %d, key = %s, value = %s%n",
                        record.offset(), record.key(), record.value());
            }
        }
    }
}

在实际应用中，消费者的业务逻辑可能会与生产者的事务有关，例如在接收到特定消息时触发某些操作。在这种情况下，需要谨慎处理事务间的协调。

五. 数据备份与复制

数据备份与复制是确保消息队列系统可靠性和容错性的关键机制之一。在这里，我们以Apache Kafka为例进行演示，展示数据备份与复制的实现。

5.1数据备份与复制原理

Kafka通过数据备份与复制来防止因节点故障或灾难性事件导致的数据丢失。每个分区的数据会被复制到多个副本，这些副本分布在不同的节点上。这样即使一个节点发生故障，仍然可以从其他节点的副本中恢复数据。

5.2使用示例：

1. Kafka Broker配置：

在Kafka的server.properties配置文件中，可以配置副本的数量和复制策略。

# server.properties

# 设置每个分区的副本数量
default.replication.factor=3

# 设置副本的分布策略，可以选择不同的策略
# 可选值为: "rack-aware", "broker-aware", "0-1" (default)
# 具体策略的选择根据实际需求和环境
replica.selector.class=org.apache.kafka.common.replica.RackAwareReplicaSelector

2. 生产者代码

import org.apache.kafka.clients.producer.*;

import java.util.Properties;

public class KafkaProducerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        // 创建生产者
        KafkaProducer<String, String> producer = new KafkaProducer<>(props);

        // 发送消息
        ProducerRecord<String, String> record = new ProducerRecord<>("example_topic", "Hello, Kafka!");
        producer.send(record, new Callback() {
            @Override
            public void onCompletion(RecordMetadata metadata, Exception exception) {
                if (exception == null) {
                    System.out.println("Message sent successfully. Offset: " + metadata.offset());
                } else {
                    exception.printStackTrace();
                }
            }
        });

        producer.close();
    }
}

3. 消费者代码

import org.apache.kafka.clients.consumer.*;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "example_group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        // 创建消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        // 订阅主题
        consumer.subscribe(Collections.singletonList("example_topic"));

        // 拉取消息
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("Received message: offset = %d, key = %s, value = %s%n",
                        record.offset(), record.key(), record.value());
            }
        }
    }
}

在上述代码中，通过设置default.replication.factor来指定每个分区的副本数量，这里设置为3。副本的分布策略由replica.selector.class指定，这里选择了RackAwareReplicaSelector，可根据实际需求选择其他策略。

请注意，这里的代码示例主要是演示Kafka的配置和使用，实际上，Kafka会自动处理数据的备份和复制，你无需手动编写代码来执行这些操作。

六. 消息过期机制

消息过期机制是一种保证消息不会永远存在于消息队列中的重要机制。在消息队列系统中，可以设置消息的过期时间，一旦消息过期，系统会自动将其删除或标记为无效。消息过期机制有助于确保系统中的消息不会占用过多的资源并且能够及时清理不再需要的消息。

在Apache Kafka中，消息的过期机制并不是直接支持的特性，而是通过消费者在处理消息时判断消息的时间戳或其他属性来实现的。以下是一个简单的示例，展示了如何在消费者端处理消息的过期逻辑。

import org.apache.kafka.clients.consumer.*;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerWithExpirationExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "example_group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        // 创建消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        // 订阅主题
        consumer.subscribe(Collections.singletonList("example_topic"));

        // 拉取消息
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                // 判断消息是否过期（假设消息中包含时间戳字段）
                long timestamp = Long.parseLong(record.value());
                long currentTimestamp = System.currentTimeMillis();

                // 设置消息过期时间为10分钟
                long expirationTime = 10 * 60 * 1000;

                if (currentTimestamp - timestamp < expirationTime) {
                    // 处理消息
                    System.out.printf("Received message: offset = %d, key = %s, value = %s%n",
                            record.offset(), record.key(), record.value());
                } else {
                    // 消息过期，可以进行相应的处理，例如记录日志或丢弃消息
                    System.out.printf("Expired message: offset = %d, key = %s, value = %s%n",
                            record.offset(), record.key(), record.value());
                }
            }
        }
    }
}

在上述代码中，假设消息中包含一个时间戳字段，消费者在处理消息时通过比较时间戳判断消息是否过期。如果消息过期，可以根据实际需求进行相应的处理，例如记录日志或丢弃消息。

请注意，这只是一个简单的示例，实际上，消息的过期机制可能需要根据具体的业务逻辑和消息队列系统的特性进行更复杂的处理。

总结

综上所述，消息队列通过持久化存储、消息确认机制、事务机制、数据备份与复制以及消息过期机制等手段，保证了消息在传递过程中不丢失。在设计分布式系统时，合理选择并配置这些机制可以有效地提高消息队列的可靠性和稳定性。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/518557.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

7.java openCV4.x 入门-Mat之转换、重塑与计算

7.java openCV4.x 入门-Mat之转换、重塑与计算

专栏简介 &#x1f492;个人主页 &#x1f4f0;专栏目录 点击上方查看更多内容 &#x1f4d6;心灵鸡汤&#x1f4d6;我们唯一拥有的就是今天&#xff0c;唯一能把握的也是今天建议把本文当作笔记来看&#xff0c;据说专栏目录里面有相应视频&#x1f92b; &#x1f9ed;文…
阅读更多...
2024HW ---＞反序列化漏洞！

2024HW ---＞反序列化漏洞！

对于反序列化&#xff0c;这个漏洞也是常用的&#xff0c;不过涉及到的方面非常非常广&#xff0c;比其他漏洞也难很多 于是本篇文章就分成PHP和JAVA的反序列化来讲讲 1.反序列化 想要理解反序列化&#xff0c;首先就要理解序列化 序列化&#xff1a;把对象转换为字节序列的过…
阅读更多...
Redis -- 缓存雪崩问题

Redis -- 缓存雪崩问题

缓存雪崩是指在同一时段大量的缓存key同时失效或者Redis服务宕机&#xff0c;导致大量请求到达数据库&#xff0c;带来巨大压力。 可能原因 : 同一时间大量的key到期 ; 解决方案&#xff1a; 给不同的Key的TTL添加随机值 利用Redis集群提高服务的可用性 给缓存业务添加降…
阅读更多...
【C++】哈希思想的应用(位图、布隆过滤器)及海量数据处理方法

【C++】哈希思想的应用(位图、布隆过滤器)及海量数据处理方法

文章目录 前言位图什么是位图简单实现一个自己的位图位图的应用场景 布隆过滤器位图的缺陷及布隆过滤器的提出布隆过滤器的概念简单实现一个自己的布隆过滤器布隆过滤器的优缺点布隆过滤器的应用场景 海量数据处理 前言 哈希思想的在实际中的应用除了哈希表这个数据结构之外还…
阅读更多...
分享一个知识 -- bean的静态属性不会被封装返回

分享一个知识 -- bean的静态属性不会被封装返回

public class TeacherChartDataVo {private String name;// bateacherNameprivate List<Integer> data;private static String type "line";private static String stack "Total"; }比如&#xff1a;type 和stack 不会被返回。
阅读更多...
LangChain Demo | 如何调用stackoverflow并结合ReAct回答代码相关问题

LangChain Demo | 如何调用stackoverflow并结合ReAct回答代码相关问题

背景 楼主决定提升与LLM交互的质量&#xff0c;之前是直接prompt->answer的范式&#xff0c;现在我希望能用上ReAct策略和能够检索StackOverflow&#xff0c;让同一款LLM发挥出更大的作用。 难点 1. 怎样调用StackOverflow step1 pip install stackspi step 2 from la…
阅读更多...
RuoYi-Cloud下载与运行

RuoYi-Cloud下载与运行

一、源码下载 若依官网：RuoYi 若依官方网站 鼠标放到"源码地址"上，点击"RuoYi-Cloud 微服务版"。 跳转至Gitee页面，点击"克隆/下载"，复制HTTPS链接即可。 源码地址为：https://gitee.com/y_project/RuoYi-Cloud.git 点击复制 打开IDEA，选…
阅读更多...
计算机视觉之三维重建（7）---多视图几何(下)

计算机视觉之三维重建（7）---多视图几何(下)

文章目录 一、透视结构恢复问题1.1 概述1.2 透视结构恢复歧义1.3 代数方法1.4 捆绑调整 二、P3P问题三、随机采样一致性 一、透视结构恢复问题 1.1 概述 1. 透视结构恢复问题&#xff1a;摄像机为透视相机&#xff0c;内外参数均未知。 2. 问题&#xff1a;已知 n n n 个三维…
阅读更多...
java 线程池实现方式

java 线程池实现方式

线程和数据库连接这些资源都是非常宝贵的资源。那么每次需要的时候创建&#xff0c;不需要的时候销 毁&#xff0c;是非常浪费资源的。那么我们就可以使用缓存的策略&#xff0c;也就是使用线程池。 newCachedThreadPool 创建一个可根据需要创建新线程的线程池&#xff0c;但…
阅读更多...
基于单片机的有害气体检查系统设计

基于单片机的有害气体检查系统设计

**单片机设计介绍&#xff0c;基于单片机的有害气体检查系统设计 文章目录 一 概要二、功能设计设计思路 三、 软件设计原理图 五、 程序六、 文章目录 一 概要 基于单片机的有害气体检查系统设计旨在实现对环境中各种有害气体的实时监测与报警&#xff0c;保障人员健康和环境…
阅读更多...
什么是原生IP？原生IP的作用是什么？

什么是原生IP？原生IP的作用是什么？

原生IP&#xff08;Native IP&#xff09;是指直接从互联网服务提供商&#xff08;ISP&#xff09;获得的IP地址&#xff0c;而非通过代理服务器、VPN或其他中间层方式获取。这种IP地址直接与用户的设备或网络关联&#xff0c;无需经过任何中间服务器或代理的转发或隐藏&#x…
阅读更多...
物联网实战--驱动篇之(一)EEPROM存储器(AT24C64)

物联网实战--驱动篇之(一)EEPROM存储器(AT24C64)

目录 一、驱动概述 二、AT24C64简介 三、驱动编写 四、驱动应用 一、驱动概述 这是驱动篇的第一篇&#xff0c;所以先说明下驱动篇的作用和书写计划。之前的净化器项目已有提及&#xff0c;向ESP8266、SHT30这些都属于驱动设备&#xff0c;主芯片STM32是核心&#xff0c;相…
阅读更多...
C++入门4.引用

C++入门4.引用

目录 1.引用概念&#xff1a; 2.引用特性&#xff1a; 3.常引用&#xff1a; 4.使用场景&#xff1a; 引用和指针的区别&#xff1a; 1.引用概念&#xff1a; 引用不是新定义一个变量&#xff0c;而是给已存在变量取了一个别名&#xff0c;编译器不会为引用变量开辟内存空…
阅读更多...
BLE协议—HID

BLE协议—HID

BLE协议—HID HID设备HOGP&#xff08;HID Over GATT Profile&#xff09;HID服务HID infoHID ModeHID ReportHID MAP HID设备 HID&#xff08;Human Interface Device&#xff0c;人机接口设备&#xff09;是USB设备中常用的设备类型&#xff0c;是直接与人交互的USB设备&…
阅读更多...
谷歌AI搜寻背后的资本战：收费传言引爆行业震荡｜TodayAI

谷歌AI搜寻背后的资本战：收费传言引爆行业震荡｜TodayAI

考虑对其AI驱动的搜索工具收费&#xff0c;这一消息在某种程度上让人感到惊讶。毕竟&#xff0c;谷歌超过一半的总收入来自搜索业务&#xff0c;几乎是其次大收入来源的五倍。YouTube订阅、Pixel手机、Play商店佣金以及Gmail存储空间的收入加起来&#xff0c;与搜索业务的价值相…
阅读更多...
机台数据传输共享存在哪些问题？机台数据管控怎么做？

机台数据传输共享存在哪些问题？机台数据管控怎么做？

一些金融机构、大型制造业以及晶圆制造厂里面&#xff0c;都会存在大量的机台设备&#xff0c;这些机台会产⽣庞⼤⽽属性不同的数据&#xff0c;这些数据需要定期的进行采集和利用。机台数据在传输分享过程中&#xff0c;会面临各种问题和调整&#xff0c;所以需要做好机台数据…
阅读更多...
Java 线程池的基本用法

Java 线程池的基本用法

线程池 池化思想&#xff1a;线程池、数据连接池等&#xff0c;比如我们 Spark 的 Executor 就是典型的线程池&#xff0c;用户在启动 Spark 作业的同时启动线程池&#xff0c;这样 Spark 的 Task 就可以直接获取资源&#xff0c;而不用像 MR 程序那样等待容器上的进程开启了。…
阅读更多...
一、持续集成介绍

一、持续集成介绍

持续集成介绍 一、什么是持续集成二、持续集成的流程三、持续集成的组成要素四、持续集成的好处 一、什么是持续集成 持续集成&#xff08;CI&#xff09;指的是&#xff0c;频繁地&#xff08;一天多次&#xff09;将代码集成到主干。持续集成的目的&#xff0c;就是让产品可…
阅读更多...
JavaScript前端学习大全

JavaScript前端学习大全

一、概念 JavaScript简称为JS&#xff0c;这门语言诞生主要用于完成页面的数据验证&#xff0c;因此运行在客户端&#xff0c;需要浏览器来解析JavaScript的代码。是世界上最流行的脚本语言。JavaScript 是一种让网页变得有趣和动态的编程语言。比如&#xff0c;当你在网页上点…
阅读更多...
学习【RabbitMQ入门】这一篇就够了

学习【RabbitMQ入门】这一篇就够了

目录 1. RabbitMQ入门1-1. 同步调用1-2. 异步调用1-3. MQ技术选型1-4. RabbitMQ介绍消息模式 1-5. SpringAMQPBasic QueueWork QueueFanout ExchangeDirect ExchangeTopic Exchange消息转换器 1. RabbitMQ入门 1-1. 同步调用 优势&#xff1a; 时效性强&#xff0c;等待到结…
阅读更多...
最新文章

Copyright @ 2022~2023