flink重温笔记（十四）： flink 高级特性和新特性（3）——数据类型及 Avro 序列化

Flink学习笔记

前言：今天是学习 flink 的第 14 天啦！学习了 flink 高级特性和新特性之数据类型及 avro 序列化，主要是解决大数据领域数据规范化写入和规范化读取的问题，avro 数据结构可以节约存储空间，本文中结合企业真实应用场景，即 kafka 的读取和写入采用自定义序列化，结合自己实验猜想和代码实践，总结了很多自己的理解和想法，希望和大家多多交流！

Tips："分享是快乐的源泉💧，在我的博客里，不仅有知识的海洋🌊，还有满满的正能量加持💪，快来和我一起分享这份快乐吧😊！

喜欢我的博客的话，记得点个红心❤️和小关小注哦！您的支持是我创作的动力！"

文章目录

  • Flink学习笔记
    • 四、Flink 高级特性和新特性
      • 4. 数据类型及序列化
        • 4.1 数据类型
        • 4.2 POJO 类型细节
        • 4.3 Avro优点介绍
        • 4.4 定义Avro Json格式
        • 4.5 使用 Java 自定义序列化到 Kfaka
          • 4.5.1 准备数据
          • 4.5.2 自定义Avro 序列化和反序列化
          • 4.5.3 创建生产者工具类
          • 4.5.4 创建消费者工具类
          • 4.5.5 运行程序
        • 4.6 使用 Flink 自定义序列化到 Kafka
          • 4.6.1 准备数据
          • 4.6.2 自定义Avro 序列化和反序列化
          • 4.6.3 创建 Flink-source 类
          • 4.6.4 创建 Flink-sink 类
          • 4.6.5 运行程序

四、Flink 高级特性和新特性

4. 数据类型及序列化

4.1 数据类型

flink 支持的数据类型：七种

4.2 POJO 类型细节

注意事项：

  • 该类需要有 public 修饰
  • 该类需要有 public 修饰的无参构造函数
  • 该类的所有（no-static）、（no-transient）字段必须是 public，如果不是 public 则必须是有标准的 getter 和 setter
  • 该类的所有字段都必须是 flink 支持的数据类型
4.3 Avro优点介绍

  • Avro 是数据序列化系统，支持大批量数据交换的应用。

  • 支持二进制序列化方式，性能好 / 效率高，使用 JSON 描述。

  • 动态语言友好，RPC 远程调用，支持同步和异步通信。

4.4 定义Avro Json格式
  • namespace：要生成的目录
  • type：类型 avro 需要指定 record
  • name：会自动生成的对象
  • fields：要指定的字段

注意: 创建的文件后缀名一定要叫 avsc，而不是 avro 后缀，使用 idea 生成 Order 对象

{
    "namespace": "cn.itcast.beans",
    "type": "record",
    "name": "OrderModel",
    "fields": [
        {"name": "userId", "type": "string"},
        {"name": "timestamp",  "type": "long"},
        {"name": "money",  "type": "double"},
        {"name": "category", "type": "string"}
    ]
}

注意：由于在导入 pom 依赖的时候，需要注意插件冲突，注释掉以下依赖，不然会一直爆错！

<!--        这个会和 avro 冲突，所以先注释一下-->
<!--        <dependency>-->
<!--            <groupId>org.apache.hive</groupId>-->
<!--            <artifactId>hive-exec</artifactId>-->
<!--            <version>2.1.0</version>-->
<!--        </dependency>-->
  • 快看一！导入需要的依赖到 pom 文件中：
<dependency>
    <groupId>org.apache.avro</groupId>
    <artifactId>avro</artifactId>
    <version>1.8.2</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-avro -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-avro</artifactId>
    <version>${flink.version}</version>
</dependency>

<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients -->
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.5.1</version>
</dependency>
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-streams</artifactId>
    <version>2.5.1</version>
</dependency>
  • 快看二！导入需要的插件到 pom 文件中：
<!-- avro编译插件 -->
<plugin>
    <groupId>org.apache.avro</groupId>
    <artifactId>avro-maven-plugin</artifactId>
    <version>1.8.2</version>
    <executions>
        <execution>
            <phase>generate-sources</phase>
            <goals>
                <goal>schema</goal>
            </goals>
            <configuration>
                <sourceDirectory>${project.basedir}/src/main/avro/</sourceDirectory>
                <outputDirectory>${project.basedir}/src/main/java/</outputDirectory>
            </configuration>
        </execution>
    </executions>
</plugin>

4.5 使用 Java 自定义序列化到 Kfaka
4.5.1 准备数据

order.csv

user_001,1621718199,10.1,电脑
user_001,1621718201,14.1,手机
user_002,1621718202,82.5,手机
user_001,1621718205,15.6,电脑
user_004,1621718207,10.2,家电
user_001,1621718208,15.8,电脑
user_005,1621718212,56.1,电脑
user_002,1621718260,40.3,家电
user_001,1621718580,11.5,家居
user_001,1621718860,61.6,家居
4.5.2 自定义Avro 序列化和反序列化

首先需要实现2个接口分别为 Serializer 和 Deserializer 分别是序列化和反序列化

package cn.itcast.day14.serialization_java;

/**
 * @author lql
 * @time 2024-03-10 16:29:49
 * @description TODO
 */

import cn.itcast.day14.beans.OrderModel;
import org.apache.avro.io.BinaryDecoder;
import org.apache.avro.io.BinaryEncoder;
import org.apache.avro.io.DecoderFactory;
import org.apache.avro.io.EncoderFactory;
import org.apache.avro.specific.SpecificDatumReader;
import org.apache.avro.specific.SpecificDatumWriter;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.util.Map;
import org.apache.kafka.common.serialization.*;

/**
 *  自定义序列化和反序列化
 */
public class SimpleAvroSchemaJava implements Serializer<OrderModel>, Deserializer<OrderModel> {
    @Override
    public void configure(Map<String, ?> configs, boolean isKey) {

    }

    @Override
    public void close() {

    }

    @Override
    public byte[] serialize(String s, OrderModel order) {
        // 创建序列化执行器
        SpecificDatumWriter<OrderModel> writer = new SpecificDatumWriter<OrderModel>(order.getSchema());
        // 创建一个流 用存储序列化后的二进制文件
        ByteArrayOutputStream out = new ByteArrayOutputStream();
        // 创建二进制编码器
        BinaryEncoder encoder = EncoderFactory.get().directBinaryEncoder(out, null);
        try {
            // 数据入都流中
            writer.write(order, encoder);
        } catch (IOException e) {
            e.printStackTrace();
        }

        return out.toByteArray();
    }

    @Override
    public OrderModel deserialize(String s, byte[] bytes) {
        // 用来保存结果数据
        OrderModel order = new OrderModel();
        // 创建输入流用来读取二进制文件
        ByteArrayInputStream arrayInputStream = new ByteArrayInputStream(bytes);
        // 创建输入序列化执行器
        SpecificDatumReader<OrderModel> stockSpecificDatumReader = new SpecificDatumReader<OrderModel>(order.getSchema());
        //创建二进制解码器
        BinaryDecoder binaryDecoder = DecoderFactory.get().directBinaryDecoder(arrayInputStream, null);
        try {
            // 数据读取
            order= stockSpecificDatumReader.read(null, binaryDecoder);
        } catch (IOException e) {
            e.printStackTrace();
        }
        // 结果返回
        return order;
    }
}
4.5.3 创建生产者工具类
package cn.itcast.day14.serialization_java;

import cn.itcast.day14.beans.OrderModel;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;
/**
 * @author lql
 * @time 2024-03-10 16:33:31
 * @description TODO
 */
public class OrderProducerJava {
    public static void main(String[] args) {
        // 获取数据
        List<OrderModel> data = getData();
        System.out.println(data);
        try {
            // 创建配置文件
            Properties props = new Properties();
            props.setProperty("bootstrap.servers", "node1:9092");
            // 这里的健：还是 string 序列化
            props.setProperty("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
            // 这里的值：需要指向自定义的序列化
            props.setProperty("value.serializer", "cn.itcast.day14.serialization_java.SimpleAvroSchemaJava");
            // 创建kafka的生产者
            KafkaProducer<String, OrderModel> userBehaviorProducer = new KafkaProducer<String, OrderModel>(props);
            // 循环遍历数据
            for (OrderModel orderModel : data) {
                ProducerRecord<String, OrderModel> producerRecord 
                        = new ProducerRecord<String, OrderModel>("order", orderModel);
                userBehaviorProducer.send(producerRecord);
                System.out.println("数据写入成功"+data);
                Thread.sleep(1000);
            }
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

    public static List<OrderModel> getData() {
        ArrayList<OrderModel> orderModels = new ArrayList<OrderModel>();
        try {
            BufferedReader br = new BufferedReader(
                    new FileReader(
                            new File("D:\\IDEA_Project\\BigData_Java\\flinkbase_pro\\data\\input\\order.csv")
                    )
            );
            String line = "";
            while ((line = br.readLine()) != null) {
                String[] fields = line.split(",");
                orderModels.add(new OrderModel(fields[0], 
                        Long.parseLong(fields[1]), 
                        Double.parseDouble(fields[2]), 
                        fields[3]));
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        return orderModels;
    }
}
4.5.4 创建消费者工具类
package cn.itcast.day14.serialization_java;

import cn.itcast.day14.beans.OrderModel;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Arrays;
import java.util.Properties;
/**
 * @author lql
 * @time 2024-03-10 16:38:29
 * @description TODO
 */
public class OrderConsumerJava {
    public static void main(String[] args) {
        Properties prop = new Properties();
        prop.put("bootstrap.servers", "node1:9092");
        prop.put("group.id", "order");
        prop.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        
        // 设置反序列化类为自定义的avro反序列化类
        prop.put("value.deserializer", "cn.itcast.day14.serialization_java.SimpleAvroSchemaJava");
        
        KafkaConsumer<String, OrderModel> consumer = new KafkaConsumer<String, OrderModel>(prop);
        
        consumer.subscribe(Arrays.asList("order"));
        while (true) {
            // poll 方法用于从 kafka 中拉取数据
            ConsumerRecords<String, OrderModel> poll = consumer.poll(1000);
            for (ConsumerRecord<String, OrderModel> stringStockConsumerRecord : poll) {
                System.out.println(stringStockConsumerRecord.value());
            }
        }
    }
}
4.5.5 运行程序
# 首先启动zookeeper

# 启动 kafka，记得后台启动
后台:
	cd /export/servers/kafka_2.11-0.10.0.0
	nohup bin/kafka-server-start.sh config/server.properties 2>&1 &
	停止:
	cd /export/servers/kafka_2.11-0.10.0.0
	bin/kafka-server-stop.sh
	
# 创建topic
bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 1 --topic order
# 模拟消费者
bin/kafka-console-consumer.sh --zookeeper node1:2181 --from-beginning --topic order

结果：

  • 生产者打印：
[{"userId": "user_001", "timestamp": 1621718199, "money": 10.1, "category": "电脑"}, {"userId": "user_001", "timestamp": 1621718201, "money": 14.1, "category": "手机"}, {"userId": "user_002", "timestamp": 1621718202, "money": 82.5, "category": "手机"}, {"userId": "user_001", "timestamp": 1621718205, "money": 15.6, "category": "电脑"}, {"userId": "user_004", "timestamp": 1621718207, "money": 10.2, "category": "家电"}, {"userId": "user_001", "timestamp": 1621718208, "money": 15.8, "category": "电脑"}, {"userId": "user_005", "timestamp": 1621718212, "money": 56.1, "category": "电脑"}, {"userId": "user_002", "timestamp": 1621718260, "money": 40.3, "category": "家电"}, {"userId": "user_001", "timestamp": 1621718580, "money": 11.5, "category": "家居"}, {"userId": "user_001", "timestamp": 1621718860, "money": 61.6, "category": "家居"}]
数据写入成功
  • 消费者打印：
{"userId": "user_001", "timestamp": 1621718199, "money": 10.1, "category": "电脑"}
{"userId": "user_001", "timestamp": 1621718201, "money": 14.1, "category": "手机"}
{"userId": "user_002", "timestamp": 1621718202, "money": 82.5, "category": "手机"}
{"userId": "user_001", "timestamp": 1621718205, "money": 15.6, "category": "电脑"}
{"userId": "user_004", "timestamp": 1621718207, "money": 10.2, "category": "家电"}
{"userId": "user_001", "timestamp": 1621718208, "money": 15.8, "category": "电脑"}
{"userId": "user_005", "timestamp": 1621718212, "money": 56.1, "category": "电脑"}
{"userId": "user_002", "timestamp": 1621718260, "money": 40.3, "category": "家电"}
{"userId": "user_001", "timestamp": 1621718580, "money": 11.5, "category": "家居"}
{"userId": "user_001", "timestamp": 1621718860, "money": 61.6, "category": "家居"}

总结：值的序列化需要指定自己定义的序列化。

4.6 使用 Flink 自定义序列化到 Kafka
4.6.1 准备数据

order.csv

user_001,1621718199,10.1,电脑
user_001,1621718201,14.1,手机
user_002,1621718202,82.5,手机
user_001,1621718205,15.6,电脑
user_004,1621718207,10.2,家电
user_001,1621718208,15.8,电脑
user_005,1621718212,56.1,电脑
user_002,1621718260,40.3,家电
user_001,1621718580,11.5,家居
user_001,1621718860,61.6,家居
4.6.2 自定义Avro 序列化和反序列化

首先需要实现2个接口分别为 SerializationSchema 和 DeserializationSchema 分别是序列化和反序列化

package cn.itcast.day14.serialization_flink;

/**
 * @author lql
 * @time 2024-03-10 17:35:09
 * @description TODO
 */
import cn.itcast.day14.beans.OrderModel;
import org.apache.avro.io.BinaryDecoder;
import org.apache.avro.io.BinaryEncoder;
import org.apache.avro.io.DecoderFactory;
import org.apache.avro.io.EncoderFactory;
import org.apache.avro.specific.SpecificDatumReader;
import org.apache.avro.specific.SpecificDatumWriter;
import org.apache.flink.api.common.serialization.DeserializationSchema;
import org.apache.flink.api.common.serialization.SerializationSchema;
import org.apache.flink.api.common.typeinfo.TypeInformation;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;

/**
 *  自定义序列化和反序列化
 */
public class SimpleAvroSchemaFlink implements DeserializationSchema<OrderModel>, SerializationSchema<OrderModel> {

    @Override
    public byte[] serialize(OrderModel order) {
        // 创建序列化执行器
        SpecificDatumWriter<OrderModel> writer = new SpecificDatumWriter<OrderModel>(order.getSchema());
        // 创建一个流 用存储序列化后的二进制文件
        ByteArrayOutputStream out = new ByteArrayOutputStream();
        // 创建二进制编码器
        BinaryEncoder encoder = EncoderFactory.get().directBinaryEncoder(out, null);
        try {
            // 数据入都流中
            writer.write(order, encoder);
        } catch (IOException e) {
            e.printStackTrace();
        }

        return out.toByteArray();
    }

    @Override
    public TypeInformation<OrderModel> getProducedType() {
        return TypeInformation.of(OrderModel.class);
    }

    @Override
    public OrderModel deserialize(byte[] bytes) throws IOException {
        // 用来保存结果数据
        OrderModel userBehavior = new OrderModel();
        // 创建输入流用来读取二进制文件
        ByteArrayInputStream arrayInputStream = new ByteArrayInputStream(bytes);
        // 创建输入序列化执行器
        SpecificDatumReader<OrderModel> stockSpecificDatumReader = new SpecificDatumReader<OrderModel>(userBehavior.getSchema());
        //创建二进制解码器
        BinaryDecoder binaryDecoder = DecoderFactory.get().directBinaryDecoder(arrayInputStream, null);
        try {
            // 数据读取
            userBehavior=stockSpecificDatumReader.read(null, binaryDecoder);
        } catch (IOException e) {
            e.printStackTrace();
        }
        // 结果返回
        return userBehavior;
    }

    @Override
    public boolean isEndOfStream(OrderModel userBehavior) {
        return false;
    }
}
4.6.3 创建 Flink-source 类
package cn.itcast.day14.serialization_flink;

/**
 * @author lql
 * @time 2024-03-10 17:37:15
 * @description TODO
 */
import cn.itcast.day14.beans.OrderModel;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;

import java.util.Properties;

public class OrderProducerFlink {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<String> value = env.readTextFile("D:\\IDEA_Project\\BigData_Java\\flinkbase_pro\\data\\input\\order.csv");

        DataStream<OrderModel> orderModelDataStream = value.map(row -> {
            String[] fields = row.split(",");
            return new OrderModel(fields[0], Long.parseLong(fields[1]), Double.parseDouble(fields[2]), fields[3]);
        });

        Properties prop = new Properties();
        prop.setProperty("bootstrap.servers", "node1:9092");
        //4.连接Kafka
        FlinkKafkaProducer<OrderModel> producer = new FlinkKafkaProducer<>(
                "order",
                new SimpleAvroSchemaFlink(),
                prop
        );

        //5.将数据打入kafka
        orderModelDataStream.addSink(producer);

        //6.执行任务
        env.execute();
    }
}
4.6.4 创建 Flink-sink 类
package cn.itcast.day14.serialization_flink;

/**
 * @author lql
 * @time 2024-03-10 17:40:04
 * @description TODO
 */
import cn.itcast.day14.beans.OrderModel;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;

import java.util.Properties;

public class OrderConsumerFlink {
    public static void main(String[] args) throws Exception {
        //1.构建流处理运行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1); // 设置并行度1 方便后面测试
        // 2.设置kafka 配置信息
        Properties prop = new Properties();
        prop.put("bootstrap.servers", "node1:9092");
        prop.put("group.id", "UserBehavior");
        prop.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        // 下面有提及：SimpleAvroSchemaFlink，上面就不需要指定了！
        // 3.构建Kafka 连接器
        FlinkKafkaConsumer kafka = new FlinkKafkaConsumer<OrderModel>("order", new SimpleAvroSchemaFlink(), prop);

        //4.设置Flink层最新的数据开始消费
        kafka.setStartFromLatest();
        //5.基于kafka构建数据源
        DataStream<OrderModel> data = env.addSource(kafka);
        //6.结果打印
        data.print();
        env.execute();
    }
}
4.6.5 运行程序

这里运用 Kafka-Tool 2.0.7 可视化工具，工具包放在资源处啦，大家感兴趣可以观看我上传的资源哟！

总结：📚 刚开始学习这个知识点时，我真是感觉有些吃力，觉得它太抽象、太难以理解了。但想到这是企业工作环境中必须掌握的技术，能够为企业节省资源、提高数据存储效率，我就鼓起勇气，决定迎难而上。💪

于是，我根据例子，一个字母一个字母地敲下代码，反复调试、尝试。终于，当程序运行成功的那一刻，我感到了前所未有的成就感！

🎉原来，成功真的就是坚持的结果。只有当你坚持不懈地努力，才能有机会看到胜利的曙光。

🌈明天，我也要继续努力学习，不断挑战自己，迎接更多的成功！🚀 加油！💪

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/446777.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

iOS17.4获取UDID安装mobileconfig描述文件失败 提示“安全延迟进行中”问题 ｜ 失窃设备保护

iOS17.4获取UDID安装mobileconfig描述文件失败 提示“安全延迟进行中”问题 ｜ 失窃设备保护

iOS17.4这两天已经正式发布&#xff0c; 在iOS 17.4版本中新增了一个名为"失窃设备保护"的功能&#xff0c;并提供了一个"需要安全延迟"的选项。 iOS17.4获取UDID安装mobileconfig描述文件失败 提示“安全延迟进行中”问题 | 失窃设备保护 当用户选择启用…
阅读更多...
贝叶斯优化的门控循环神经网络BO-GRU(时序预测)的Matlab实现

贝叶斯优化的门控循环神经网络BO-GRU(时序预测)的Matlab实现

贝叶斯优化的门控循环神经网络&#xff08;BO-GRU&#xff09;是一种结合了贝叶斯优化&#xff08;Bayesian Optimization, BO&#xff09;和门控循环单元&#xff08;Gated Recurrent Unit, GRU&#xff09;的模型&#xff0c;旨在进行时序预测。这种模型特别适用于时间序列数…
阅读更多...
Linux：kubernetes（k8s）lable和selecto标签和选择器的使用（11）

Linux：kubernetes（k8s）lable和selecto标签和选择器的使用（11）

通过标签是可以让我们的容器和容器之间相互认识&#xff0c;简单来说一边打了标签&#xff0c;一边使用选择器去选择就可以快速的让他们之间耦合 定义标签有两种办法&#xff0c;一个是文件中&#xff0c;一个是命令行里 我们在前几章编进文件的时候里面都有lable比如 这个就是…
阅读更多...
OpenCV读取tensorflow神经网络模型：SavedModel格式转为frozen graph的方法

OpenCV读取tensorflow神经网络模型：SavedModel格式转为frozen graph的方法

本文介绍基于Python的tensorflow库&#xff0c;将tensorflow与keras训练好的SavedModel格式神经网络模型转换为frozen graph格式&#xff0c;从而可以用OpenCV库在C 等其他语言中将其打开的方法。 如果我们需要训练并使用一个神经网络模型&#xff0c;一般情况下都是首先借助Py…
阅读更多...
[mmucache]-ARMV8-aarch64的虚拟内存(mmutlbcache)介绍-概念扫盲

[mmucache]-ARMV8-aarch64的虚拟内存(mmutlbcache)介绍-概念扫盲

&#x1f525;博客主页&#xff1a; 小羊失眠啦. &#x1f3a5;系列专栏&#xff1a;《C语言》 《数据结构》 《C》 《Linux》 《Cpolar》 ❤️感谢大家点赞&#x1f44d;收藏⭐评论✍️ 思考: 1、cache的entry里都是有什么&#xff1f; 2、TLB的entry里都是有什么? 3、MMU操作…
阅读更多...
QT给QLabel设置背景颜色

QT给QLabel设置背景颜色

1.选中label 2.右键点击"改变样式表" 3.填写样式&#xff0c;点击apply,ok 注意 #{QLabel名称}&#xff0c;例如名称是label就是QLabel#label
阅读更多...
opencv人脸识别实战3：多线程和GUI界面设计（PyCharm实现）

opencv人脸识别实战3：多线程和GUI界面设计（PyCharm实现）

一、多线程设计 1、在一个新线程中调用了 scan_face() 函数来进行人脸识别操作。根据识别结果&#xff0c;更新界面显示结果&#xff0c;最后释放资源。 def f_scan_face_thread():var.set(刷脸)ans scan_face()if ans 0:print("最终结果&#xff1a;无法识别")va…
阅读更多...
【个人开发】llama2部署实践（三）——python部署llama服务（基于GPU加速）

【个人开发】llama2部署实践（三）——python部署llama服务（基于GPU加速）

1.python环境准备 注&#xff1a;llama-cpp-python安装一定要带上前面的参数安装&#xff0c;如果仅用pip install装&#xff0c;启动服务时并没将模型加载到GPU里面。 # CMAKE_ARGS"-DLLAMA_METALon" FORCE_CMAKE1 pip install llama-cpp-python CMAKE_ARGS"…
阅读更多...
UE4开个头-简易小汽车

UE4开个头-简易小汽车

跟着谌嘉诚学的小Demo&#xff0c;记录一下 主要涉及到小白人上下车和镜头切换操作 1、动态演示效果 2、静态展示图片 3、蓝图-上下车
阅读更多...
如何轻松打造属于自己的水印相机小程序？

如何轻松打造属于自己的水印相机小程序？

水印相机小程序源码 描述&#xff1a;微信小程序。本文将为您详细介绍小程序水印相机源码的搭建过程&#xff0c;教您如何轻松打造属于自己的水印相机小程序。无论您是初学者还是有一定基础的开发者&#xff0c;都能轻松掌握这个教程。 一&#xff1a;水印相机搭建教程 1 隐…
阅读更多...
Ubuntu23.10安装FFmpeg及编译FFmpeg源码

Ubuntu23.10安装FFmpeg及编译FFmpeg源码

安装FFmpeg: 打开终端: 输入 sudo apt install ffmpeg 安装成功: 验证FFmpeg 默认安装位置与库与头文件位置 使用FFmpeg源码编译: 1.安装YASM sudo apt-get install yasm
阅读更多...
鸿蒙开发学习：【ets_frontend组件】

鸿蒙开发学习：【ets_frontend组件】

简介 ets_frontend组件是方舟运行时子系统的前端工具&#xff0c;结合ace-ets2bundle组件&#xff0c;支持将ets文件转换为方舟字节码文件。 ets_frontend组件架构图 目录 /arkcompiler/ets_frontend/ ├── test262 # test262测试配置和运行脚本 ├── testTs…
阅读更多...
Mysql 死锁案例2-间隙锁与意向插入锁冲突

Mysql 死锁案例2-间隙锁与意向插入锁冲突

死锁复现 CREATE TABLE t (id int(11) NOT NULL,c int(11) DEFAULT NULL,d int(11) DEFAULT NULL,PRIMARY KEY (id),KEY c (c) ) ENGINEInnoDB DEFAULT CHARSETutf8;/*Data for the table t */insert into t(id,c,d) values (0,0,0),(5,5,5),(10,10,10) 事务1事务2T1START …
阅读更多...
React-路由小知识

React-路由小知识

1.默认路由 说明&#xff1a;当访问的是一级路由时&#xff0c;默认的二级路由组件可以得到渲染&#xff0c;只需要在二级路由的位置去掉path,设置index.属性为true。 2.404路由 说明&#xff1a;当浏览器输入ul的路径在整个路由配置中都找不到对应的pth,为了用户体验&#x…
阅读更多...
Django简易用户登入系统示例

Django简易用户登入系统示例

Django简易用户登入系统示例 1&#xff09;添加url和函数的对应关系&#xff08;urls.py) urlpatterns [ path(login/, views.login), #login:url路径&#xff0c;views.login:对应的函数 ]2&#xff09;添加视图函数&#xff08;views.py) def login(req):if…
阅读更多...
React useMemo钩子指南：优化计算性能

React useMemo钩子指南：优化计算性能

&#x1f90d; 前端开发工程师、技术日更博主、已过CET6 &#x1f368; 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 &#x1f560; 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 &#x1f35a; 蓝桥云课签约作者、上架课程《Vue.js 和 E…
阅读更多...
绳牵引并联机器人动态避障方法

绳牵引并联机器人动态避障方法

绳牵引并联机器人在受限空间中如何躲避动态障碍物&#xff0c;是个有挑战的课题。 来自哈尔滨工业大学&#xff08;深圳&#xff09;的熊昊老师团队&#xff0c;开展了一项有趣的研究&#xff0c;论文《Dynamic Obstacle Avoidance for Cable-Driven Parallel Robots With Mob…
阅读更多...
GitOps实践之Argo CD (2)

GitOps实践之Argo CD (2)

argocd 【-1】argocd可以解决什么问题？ helm 部署是手动的？依赖流水线。而有时候仅仅更新一个小东西，流水线跑好久，CD真的不应该和CI耦合。不同环境的helm配置不同，手动修改问题多，可以用git管理起来，例如分不同环境用目录区分。argocd创建应用可以不通环境部署到不同集…
阅读更多...
C++ STL--Vector 详细剖析

C++ STL--Vector 详细剖析

目录 1.vector的介绍及使用 1.1 vector的介绍 1.2 vector的使用 1.2.1 vector的定义 1.2.2 vector iterator 的使用 1.2.3 vector 空间增长问题 1.2.3 vector 增删查改 1.2.4 vector 迭代器失效问题 2.vector深度剖析及模拟实现 2.1 std::vector的核心框架接口的模拟实…
阅读更多...
探索云原生数据库技术：构建高效可靠的云原生应用

探索云原生数据库技术：构建高效可靠的云原生应用

数据库是应用开发中非常重要的组成部分&#xff0c;可以进行数据的存储和管理。随着企业业务向数字化、在线化和智能化的演进过程中&#xff0c;面对指数级递增的海量存储需求和挑战以及业务带来的更多的热点事件、突发流量的挑战&#xff0c;传统的数据库已经很难满足和响应快…
阅读更多...
最新文章

Copyright @ 2022~2023