Sqoop的使用

每个人的生活都是一个世界，即使最平凡的人也要为他那个世界的存在而战斗。

——《平凡的世界》

目录

一、sqoop简介

1.1 导入流程

1.2 导出流程

二、使用sqoop

2.1 sqoop的常用参数

2.2 连接参数列表

2.3 操作hive表参数

2.4 其它参数

三、sqoop应用 - 导入

3.1 准备测试数据

3.2 sqoop查看数据

3.3 创建Hive表

3.4 多map条件查询导入HDFS

3.5 全量导入数据

3.6 增量数据导入

四、sqoop应用 - 导出

4.1 Hive中数据导出到MySQL中

五、总结

一、sqoop简介

sqoop是Apache旗下的一款 hadoop和关系型数据库服务器之间传送数据 的工具

主要的功能：

  • 导入数据
    • MySQL、Oracle（关系型数据库）导入数据到hadoop的HDFS、Hive以及Hbase等数据存储系统
  • 导出数据
    • 从Hadoop的文件系统（HDFS等）中导出数据到关系型数据库（MySQL、PostgreSQL）中

1.1 导入流程

1. 首先通过JDBC读取关系型数据库元数据信息，获取到表结构

2. 根据元数据信息生成Java类

3. 启动import程序，通过JDBC读取关系型数据库数据，并通过上一步的Java类进行序列化

4. MapReduce并行写数据到Hadoop中，并使用Java类进行反序列化

1.2 导出流程

1.sqoop通过JDBC读取关系型数据库元数据，获取到表结构信息，生成Java类

2.MapReduce并行读取HDFS数据，并且通过Java类进行序列化

3.export程序启动，通过Java类反序列化，同时启动多个map任务，通过JDBC将数据写入到关系型数据库中

二、使用sqoop

环境：CDH 6.2.1

快速体验sqoop

# 前提是你已经下载好了sqoop
# 直接在命令行中输入以下命令（这个命令类似于你在MySQL中执行 show databases;）
# 格式：sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username 用户名 --password 密码
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456

在这里插入图片描述

# 查询指定库下面所有表（这个命令类似于你在MySQL中指定库后执行 show tables;）
# 格式：sqoop list-tables --connect jdbc:mysql://localhost:3306/库名 --username 用户名 --password 密码
sqoop list-tables --connect jdbc:mysql://localhost:3306/ecut --username root --password 123456

在这里插入图片描述

2.1 sqoop的常用参数

  • 指令
sqoop  命令选项   参数
命令名称对应类命令说明
importImportTool将关系型数据库数据导入到HDFS、HIVE、HBASE
exportExportTool将HDFS上的数据导出到关系型数据库
codegenCodeGenTool获取数据库中某张表数据生成Java并打成Jar包
create-hive-tableCreateHiveTableTool创建hive的表
evalEvalSqlTool查看SQL的执行结果
list-databasesListDatabasesTool列出所有数据库
list-tablesListTablesTool列出某个数据库下的所有表
helpHelpTool打印sqoop帮助信息
versionVersionTool打印sqoop版本信息

2.2 连接参数列表

参数说明
–connect连接关系型数据库的URL
–help打印帮助信息
–username连接数据库的用户名
–password连接数据库的密码
–verbose在控制台打印出详细信息

2.3 操作hive表参数

参数说明
–hcatalog-database指定hive表的数据库名称。如果未指定，则使用默认数据库名称（default）
–hcatalog-table指定hive表名，该–hcatalog-table选项的存在表示导入或导出作业是使用HCatalog表完成的，并且是HCatalog作业的必需选项。

2.4 其它参数

参数含义
–num-mappers N指定启动N个map进程
–table指定数据库表名
–query编写sql语句，将查询的结果导入，如果查询中有where条件，则条件后必须加上conditions关键字。如果使用双引号包含sql，则condition关键字前要加上*$CONDITIONS* 以完成转义：
–target-dir指定HDFS路径
–delete-target-dir若hdfs存放目录已存在，则自动删除
–fields-terminated-by设置字段分隔符
–export-dir导出到指定HDFS的目录路径

三、sqoop应用 - 导入

需求：使用sqoop上传字典表数据到hive中与我们的数据进行关联查询。

3.1 准备测试数据

  • 在MySQL中创建测试数据（库名test_ecut，表名products，总共54条数据）
-- 在MySQL客户端或者图形化工具里执行下面代码
drop database if exists test_ecut;
create database if not exists test_ecut char set utf8;
use test_ecut;  -- 使用该数据库

create table test_ecut.products (
    id int auto_increment primary key,
    product_name varchar(255),
    price decimal(10, 2)
);

-- 插入一些正常数据
insert into test_ecut.products (product_name, price) values ('商品A', 19.99);
insert into test_ecut.products (product_name, price) values ('商品B', 29.99);
insert into test_ecut.products (product_name, price) values ('商品C', 9.99);
insert into test_ecut.products (product_name, price) values ('商品D', 49.99);
insert into test_ecut.products (product_name, price) values ('商品E', 39.99);

-- 插入一些包含空值的数据（这里假设price字段允许为空，实际需根据你的表结构定义来确定是否合理）
insert into test_ecut.products (product_name, price) values ('商品F', null);
insert into test_ecut.products (product_name, price) values ('商品G', null);

-- 插入一些重复数据
insert into test_ecut.products (product_name, price) values ('商品A', 19.99);
insert into test_ecut.products (product_name, price) values ('商品B', 29.99);

-- 继续插入更多不同情况的数据以凑够45条示例（以下为随机模拟更多数据情况）
insert into test_ecut.products (product_name, price) values ('商品H', 59.99);
insert into test_ecut.products (product_name, price) values ('商品I', 15.99);
insert into test_ecut.products (product_name, price) values ('商品J', 25.99);
insert into test_ecut.products (product_name, price) values ('商品K', 69.99);
insert into test_ecut.products (product_name, price) values ('商品L', 89.99);
insert into test_ecut.products (product_name, price) values ('商品M', null);
insert into test_ecut.products (product_name, price) values ('商品N', 35.99);
insert into test_ecut.products (product_name, price) values ('商品O', 45.99);
insert into test_ecut.products (product_name, price) values ('商品P', 79.99);
insert into test_ecut.products (product_name, price) values ('商品Q', 99.99);
insert into test_ecut.products (product_name, price) values ('商品R', 10.99);
insert into test_ecut.products (product_name, price) values ('商品S', 12.99);
insert into test_ecut.products (product_name, price) values ('商品T', 14.99);
insert into test_ecut.products (product_name, price) values ('商品U', 16.99);
insert into test_ecut.products (product_name, price) values ('商品V', 18.99);
insert into test_ecut.products (product_name, price) values ('商品W', 20.99);
insert into test_ecut.products (product_name, price) values ('商品X', 22.99);
insert into test_ecut.products (product_name, price) values ('商品Y', 24.99);
insert into test_ecut.products (product_name, price) values ('商品Z', 26.99);
insert into test_ecut.products (product_name, price) values ('商品AA', 28.99);
insert into test_ecut.products (product_name, price) values ('商品AB', 30.99);
insert into test_ecut.products (product_name, price) values ('商品AC', 32.99);
insert into test_ecut.products (product_name, price) values ('商品AD', 34.99);
insert into test_ecut.products (product_name, price) values ('商品AE', 36.99);
insert into test_ecut.products (product_name, price) values ('商品AF', 38.99);
insert into test_ecut.products (product_name, price) values ('商品AG', 40.99);
insert into test_ecut.products (product_name, price) values ('商品AH', 42.99);
insert into test_ecut.products (product_name, price) values ('商品AI', 44.99);
insert into test_ecut.products (product_name, price) values ('商品AJ', 46.99);
insert into test_ecut.products (product_name, price) values ('商品AK', 48.99);
insert into test_ecut.products (product_name, price) values ('商品AL', 50.99);
insert into test_ecut.products (product_name, price) values ('商品AM', 52.99);
insert into test_ecut.products (product_name, price) values ('商品AN', 54.99);
insert into test_ecut.products (product_name, price) values ('商品AO', 56.99);
insert into test_ecut.products (product_name, price) values ('商品AP', 58.99);
insert into test_ecut.products (product_name, price) values ('商品AQ', 60.99);
insert into test_ecut.products (product_name, price) values ('商品AR', 62.99);
insert into test_ecut.products (product_name, price) values ('商品AS', 64.99);
insert into test_ecut.products (product_name, price) values ('商品AT', 66.99);
insert into test_ecut.products (product_name, price) values ('商品AU', 68.99);
insert into test_ecut.products (product_name, price) values ('商品AV', 70.99);
insert into test_ecut.products (product_name, price) values ('商品AW', 72.99);
insert into test_ecut.products (product_name, price) values ('商品AX', 74.99);
insert into test_ecut.products (product_name, price) values ('商品AY', 76.99);
insert into test_ecut.products (product_name, price) values ('商品AZ', 78.99);

select count(1) from test_ecut.products;

在这里插入图片描述

3.2 sqoop查看数据

  • 可以借助sqoop中eval查看结果
# 通过eval查看：test_ecut库下的products表前5条数据
sqoop eval \
--connect jdbc:mysql://localhost:3306/test_ecut \
--username root \
--password 123456 \
--query "select * from products limit 5"

在这里插入图片描述

3.3 创建Hive表

前提：你需要启动hadoop集群（hdfs和yarn），以及hive服务（hiveserver2和metastore）

  • 1：在hive中你需要先建库
-- 通过图形化工具（datagrip等），执行以下命令
create database hive_ecut;

在这里插入图片描述

  • 2：使用create-hive-table创建hive表
# 基于MySQL表创建hive表
sqoop create-hive-table \
--connect jdbc:mysql://localhost:3306/test_ecut \
--username root \
--password 123456 \
--table products \
--hive-table hive_ecut.goods_table

在这里插入图片描述

  • 3：然后通过datagrip工具，查看hive中是否存在表

在这里插入图片描述

3.4 多map条件查询导入HDFS

# 语法
sqoop import \
--connect 数据库连接字符串 \
--username 数据库用户名 \
--password 数据库密码 \
--target-dir HDFS位置 \
--delete-target-dir 若hdfs存放目录以及存在，则自动删除 \
--fields-terminated-by "\t" \
--num-mappers 3 \
--split-by 切分数据依据 \
--query 'select SQL where 查询条件 and $CONDITIONS'

解释：

  • query 将查询结果的数据导入，使用时必须伴随参 --target-dir 或 --hive-table ，如果查询中有 where条件 ，则条件后必须加上$CONDITIONS关键字

  • 当 sqoop 使用 --query 执行多个maptask并行运行导入数据时，每个maptask将执行一部分数据的导入，原始数据需要使用 --split-by 某个字段' 来切分数据，不同的数据交给不同的maptask去处理

  • maptask 执行sql脚本时，需要在where条件中添加$CONDITIONS条件，这个是linux系统的变量，可以根据 sqoop 对边界条件的判断，来替换成不同的值，这就是说若 split-by id ，则 sqoop 会判断 id 的最小值和最大值判断 id 的整体区间，然后根据maptask的个数来进行区间拆分，每个maptask执行一定 id 区间范围的数值导入任务，如下为示意图。

在这里插入图片描述

  • 1：导入文本文件
sqoop import \
--connect jdbc:mysql://localhost:3306/test_ecut"?useUnicode=true&characterEncoding=UTF-8" \
--username root \
--password 123456 \
--target-dir /user/hive/warehouse/hive_ecut.db/goods_table \
--delete-target-dir \
--fields-terminated-by "\001" \
--num-mappers 3 \
--split-by id \
--query 'select * from products where id < 10 and $CONDITIONS'

在这里插入图片描述

3.5 全量导入数据

补充： 导入数据可以分为两步

第一步，将数据导入到HDFS，默认的临时目录是/user/当前操作用户/mysql表名；

第二步，将导入到HDFS的数据迁移到Hive表，如果hive表不存在，sqoop会自动创建内部表；（我们的是在/user/root/products，通过查看job的configuration的outputdir属性得知）

第二步很重要，因为有时候报错并不是你的代码脚本问题，而是临时文件存在，在调度的时候运行的其实是临时文件中的配置job，需要删除才可以（.Trash和.staging 别删）

在这里插入图片描述

  • 导入刚刚的商品数据，如果表不存在会自动创建内部表
# 导入命令
sqoop import \
--connect jdbc:mysql://localhost:3306/test_ecut"?useUnicode=true&characterEncoding=UTF-8" \
--username root \
--password 123456 \
--table products \
--num-mappers 1 \
--delete-target-dir \
--hive-import \
--fields-terminated-by "\001" \
--hive-overwrite \
--hive-table hive_ecut.goods_table_test

在这里插入图片描述

3.6 增量数据导入

增量数据导入的两种方法

方法1：append方式

方法2：lastmodified方式，必须要加–append（追加）或者–merge-key（合并，一般填主键）

  • 1：按照id增量导入数据
-- MySQL添加一条新的数据
insert into test_ecut.products(product_name, price) values ('无敌绝世小学生',999999)

在这里插入图片描述

# 按照id增量导入
sqoop import \
--connect jdbc:mysql://localhost:3306/test_ecut"?useUnicode=true&characterEncoding=UTF-8" \
--username root \
--password 123456 \
--table products \
--num-mappers 1 \
--target-dir /user/hive/warehouse/hive_ecut.db/goods_table_test \
--fields-terminated-by "\001" \
--incremental append \
--check-column id \
--last-value 54

参数解释:
1）incremental：append或lastmodified，使用lastmodified方式导入数据要指定增量数据是要–append（追加）还是要–merge-key（合并）
2）check-column：作为增量导入判断的列名
3）last-value：指定某一个值，用于标记增量导入的位置,这个值的数据不会被导入到表中,只用于标记当前表中最后的值。（可以看到sqoop脚本中，我设置的id为54，也就意味着要跳过54而直接从55开始存）

在这里插入图片描述

  • 2：按照时间增量导入数据

–incremental lastmodified

–append

–check-column 日期字段

在MySQL中重新建表，需要时间字段

-- mysql中新建products_update表
create table if not exists test_ecut.products_update(
    id int auto_increment primary key,
    product_name varchar(255),
    price decimal(10, 2),
    last_update_time datetime default current_timestamp on update current_timestamp
);
insert into test_ecut.products_update (product_name, price) values ('商品H', 59.99);
insert into test_ecut.products_update (product_name, price) values ('商品I', 15.99);
insert into test_ecut.products_update (product_name, price) values ('商品J', 25.99);

在这里插入图片描述

导入数据到hive中

# 在命令行中执行，然后在datagrip中查看数据
sqoop import \
--connect jdbc:mysql://localhost:3306/test_ecut"?useUnicode=true&characterEncoding=UTF-8" \
--username root \
--password 123456 \
--table products_update \
--num-mappers 1 \
--delete-target-dir \
--hive-import \
--fields-terminated-by "\001" \
--hive-overwrite \
--hive-table hive_ecut.goods_update_table

在这里插入图片描述

隔一段时间，新增一条数据

-- 在MySQL中，新增
insert into test_ecut.products_update (product_name, price) values ('无敌绝世小学生', 999999);

在这里插入图片描述

增量导入更新的数据

# 在命令行中执行，在datagrip中查看
sqoop import \
--connect jdbc:mysql://localhost:3306/test_ecut"?useUnicode=true&characterEncoding=UTF-8" \
--username root \
--password 123456 \
--table products_update \
--num-mappers 1 \
--target-dir /user/hive/warehouse/hive_ecut.db/goods_update_table \
--fields-terminated-by "\001" \
--incremental lastmodified \
--check-column last_update_time \
--last-value '2024-12-28 13:18:00' \
--append

# 注意：last-value 的设置是把包括 2024-12-28 13:18:00 时间的数据做增量导入。（所以我给2024-12-28 13:17:59加了1秒）

在这里插入图片描述

  • 3：按照时间增量并按照主键合并导入

–incremental lastmodified

–merge-key 用法

如果之前的数据有修改的话可以使用–incremental lastmodified --merge-key进行数据合并执行修改的SQL

更改字段，从而更新时间

-- 在MySQL中更新
update test_ecut.products_update set product_name = '萌神想' where product_name='无敌绝世小学生';

在这里插入图片描述

进行合并导入（如果报错，可能是因为/user/root/_sqoop存在了很多临时文件，需要删除这些临时文件）

sqoop import \
--connect jdbc:mysql://localhost:3306/test_ecut"?useUnicode=true&characterEncoding=UTF-8" \
--username root \
--password 123456 \
--table products_update \
--num-mappers 1 \
--target-dir /user/hive/warehouse/hive_ecut.db/goods_update_table \
--fields-terminated-by "\001" \
--incremental lastmodified \
--check-column last_update_time \
--last-value '2024-12-28 13:20:24' \
--merge-key id

# --incremental lastmodified  --merge-key的作用：修改过的数据和新增的数据（前提是满足last-value的条件）都会导入进来，并且重复的数据（不需要满足last-value的条件）都会进行合并

在这里插入图片描述

四、sqoop应用 - 导出

4.1 Hive中数据导出到MySQL中

sqoop的export命令支持 insert、update到关系型数据库，但是不支持merge

  • 1：查看需要导出表的数据

在这里插入图片描述

  • 2：新建MySQL表用于接收hive中的数据
create table if not exists test_ecut.get_hive_data(
    id int auto_increment primary key,
    product_name varchar(255),
    price decimal(10, 2),
    last_update_time datetime default current_timestamp on update current_timestamp
);
  • 3：导出到MySQL中
# 导出命令
sqoop export \
--connect  jdbc:mysql://localhost:3306/test_ecut"?useUnicode=true&characterEncoding=UTF-8" \
--username root \
--password 123456 \
--table get_hive_data \
--export-dir /user/hive/warehouse/hive_ecut.db/goods_update_table \
--num-mappers 1 \
--fields-terminated-by '\001'

在这里插入图片描述

补充：sqoop的作用就是负责导入和导出的，我上面所写的虽然都在虚拟机上运行，但只要改一下localhost就可以实现不同主机之间的数据传输（前提是有映射，且可以互通）

五、总结

​ 看完上面的操作之后，很容易发现一个特点，Sqoop其实就是个脚本，而且命令很固定，只需改改参数就可以使用，门槛并不高，能用就行，具体它底层怎么实现的，可以去官网看看（Sqoop已经不更新，虽然是apache的项目，但已经被打入冷宫了），值得一提的是，Sqoop 通常只会使用 Map 任务来完成数据的传输，不会启动 Reduce 任务

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/944516.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

基于Java+Springboot+Vue开发的旅游景区管理系统，实习作品

基于Java+Springboot+Vue开发的旅游景区管理系统，实习作品

项目简介 该项目是基于JavaSpringbootVue开发的旅游景区管理系统&#xff08;前后端分离&#xff09;&#xff0c;这是一项为大学生课程设计作业而开发的项目。该系统旨在帮助大学生学习并掌握Java编程技能&#xff0c;同时锻炼他们的项目设计与开发能力。通过学习基于Java的旅…
阅读更多...
十二月第五周python

十二月第五周python

第一个程序&#xff0c;熟悉转换器&#xff0c;把加法计算器变成exe# // 1,制作加法计算器&#xff0c; # 输入两个数字得到相加结果并输出aint(input("输入数字&#xff1a;"))#int()是把输入的内容转换成整数&#xff0c; bint(input("输入数字&#xff1a;&…
阅读更多...
【视觉惯性SLAM：十一、ORB-SLAM2:跟踪线程】

【视觉惯性SLAM：十一、ORB-SLAM2:跟踪线程】

跟踪线程是ORB-SLAM2的核心之一&#xff0c;其主要任务是实时跟踪相机的位姿变化和场景的变化&#xff0c;以维持地图的更新和相机轨迹的估计。ORB-SLAM2的跟踪线程通过多种方式&#xff08;参考关键帧跟踪、恒速模型跟踪、重定位跟踪、局部地图跟踪&#xff09;处理跟踪丢失、…
阅读更多...
在字节5年被优化，太难了。。。

在字节5年被优化，太难了。。。

先简单说下&#xff0c;涵哥是某不知名 985 的本硕&#xff0c;17 年毕业加入字节&#xff0c;以“人员优化”的名义无情被裁员&#xff0c;之后跳槽到了有赞&#xff0c;一直从事软件测试的工作。还差几个月也7年了吧&#xff0c;算是在这行的资深划水员。7年的时间也让涵哥从…
阅读更多...
阿里云-将旧服务器数据与配置完全迁移至新服务器

阿里云-将旧服务器数据与配置完全迁移至新服务器

文章目录 一&#xff1a;创建镜像二&#xff1a;将创建好的镜像复制到新服务器所在的目标地域&#xff08;如果新服务器与镜像在同一地域就不用进行这一操作&#xff09;三&#xff1a;将镜像配置到新服务器上四&#xff1a;导出安全组&#xff08;如果新服务器与旧服务器使用同…
阅读更多...
Spark SQL DML语句

Spark SQL DML语句

【图书介绍】《Spark SQL大数据分析快速上手》-CSDN博客 《Spark SQL大数据分析快速上手》【摘要 书评 试读】- 京东图书 Spark本地模式安装_spark3.2.2本地模式安装-CSDN博客 DML&#xff08;Data Manipulation Language&#xff0c;数据操作语言&#xff09;操作主要用来对…
阅读更多...
路过石岩浪心古村

路过石岩浪心古村

周末常去的七彩城堡儿童乐园附近经常有老房子&#xff0c;没想到老房子最多的地方还是浪心古村。而且越看越有历史。 见到一座写着《序西书室》的房子&#xff0c;我最开始以为是一个古代的学校。但是查了百度更加不知道什么意思了哈。‌“序西书室”‌是指《文心雕龙》中的一个…
阅读更多...
运行Zr.Admin项目（后端）

运行Zr.Admin项目（后端）

1.下载Zr.Admin代码压缩包 https://codeload.github.com/izhaorui/Zr.Admin.NET/zip/refs/heads/main 2.打开项目 我这里装的是VS2022社区版 进入根目录&#xff0c;双击ZRAdmin.sln打开项目 3.安装.net7运行时 我当时下载的代码版本是.net7的 点击安装 点击安装&#xff0…
阅读更多...
Wordly Wise 3000 国际背单词01 介绍 + 测词汇量

Wordly Wise 3000 国际背单词01 介绍 + 测词汇量

&#x1f4da; Wordly Wise 3000 国际背单词01 介绍 测词汇量 &#x1f31f; 大家好&#xff01;我们正式启动背Wordly Wise 3000单词&#xff0c;旨在利用国际资源和科学的学练方法&#xff0c;帮助大家更得效地坚持学练单词。我们将通过图文和Video等多种形式与大家分享经验…
阅读更多...
HarmonyOS Next 实现登录注册页面(ARKTS) 并使用Springboot作为后端提供接口

HarmonyOS Next 实现登录注册页面(ARKTS) 并使用Springboot作为后端提供接口

1. HarmonyOS next ArkTS ArkTS围绕应用开发在 TypeScript &#xff08;简称TS&#xff09;生态基础上做了进一步扩展&#xff0c;继承了TS的所有特性&#xff0c;是TS的超集 ArkTS在TS的基础上扩展了struct和很多的装饰器以达到描述UI和状态管理的目的 以下代码是一个基于…
阅读更多...
3.微服务灰度发布落地实践(组件灰度增强)

3.微服务灰度发布落地实践(组件灰度增强)

文章目录 前言调用链示图dubbo服务之间的的调链cloud 服务之间的调用链 网关servlet容器: 标签续传1.定义插件2.实现灰度增强拦截 线程池: 标签续传1.拦截Runnable或Callable,接口增强实现标签续传;Callable 插件定义Runnable 插件定义拦载Callabl或Runnable构造(可共用)拦载ru…
阅读更多...
不修改内核镜像的情况下，使用内核模块实现“及时”的调度时间片超时事件上报

不修改内核镜像的情况下，使用内核模块实现“及时”的调度时间片超时事件上报

一、背景 之前的博客 不修改内核镜像的情况下&#xff0c;使用内核模块实现高效监控调度时延-CSDN博客 里&#xff0c;我们讲了不修改内核镜像高效监控每次的调度时延的方法。这篇博客里&#xff0c;我们对于调度时间片也做这么一个不修改内核镜像的改进。关于调度时间片过长的…
阅读更多...
机器视觉中的单线程、多线程与跨线程：原理与应用解析

机器视觉中的单线程、多线程与跨线程：原理与应用解析

在机器视觉应用中&#xff0c;程序的运行效率直接影响到系统的实时性和稳定性。随着任务复杂度的提高&#xff0c;单线程处理往往无法满足高性能需求&#xff0c;多线程技术因此被广泛应用。此外&#xff0c;跨线程操作&#xff08;如在多线程中更新界面或共享资源&#xff09;…
阅读更多...
喜报 | 擎创科技入围上海市优秀信创解决方案

喜报 | 擎创科技入围上海市优秀信创解决方案

近日&#xff0c;由上海市经信委组织的“2024年上海市优秀信创解决方案”征集遴选活动圆满落幕&#xff0c;擎创科技凭借实践经验优秀的《擎创夏洛克智能预警与应急处置解决方案》成功入选“2024年上海市优秀信创解决方案”名单。 为激发创新活力&#xff0c;发挥标杆作用&…
阅读更多...
linux-21 目录管理(一）mkdir命令，创建空目录

linux-21 目录管理(一）mkdir命令，创建空目录

对linux而言&#xff0c;对一个系统管理来讲&#xff0c;最关键的还是文件管理。那所以我们接下来就来看看如何实现文件管理。当然&#xff0c;在文件管理之前&#xff0c;我们说过&#xff0c;文件通常都放在目录下&#xff0c;对吧&#xff1f;所以先了解目录&#xff0c;可能…
阅读更多...
【Redis】 数据淘汰策略

【Redis】 数据淘汰策略

面试官询问缓存过多而内存有限时内存被占满的处理办法&#xff0c;引出 Redis 数据淘汰策略。 数据淘汰策略与数据过期策略不同&#xff0c; 过期策略针对设置过期时间的 key 删除&#xff0c; 淘汰策略是在内存不够时按规则删除内存数据。 八种数据淘汰策略介绍 no evision&…
阅读更多...
一网多平面

一网多平面

“一网多平面”是一种网络架构概念&#xff0c;具体指的是在一张物理网络之上&#xff0c;逻辑划分出“1N”个平面。以下是对“一网多平面”的详细解释&#xff1a; 定义与构成 01一网多平面 指的是在统一的物理网络基础设施上&#xff0c;通过逻辑划分形成多个独立的网络平面…
阅读更多...
小程序配置文件 —— 12 全局配置 - pages配置

小程序配置文件 —— 12 全局配置 - pages配置

全局配置 - pages配置 在根目录下的 app.json 文件中有一个 pages 字段&#xff0c;这里我们介绍一下 pages 字段的具体用法&#xff1b; pages 字段&#xff1a;用来指定小程序由哪些页面组成&#xff0c;用来让小程序知道由哪些页面组成以及页面定义在哪个目录&#xff0c;…
阅读更多...
MyBatis如何处理延迟加载？

MyBatis如何处理延迟加载？

大家好&#xff0c;我是锋哥。今天分享关于【MyBatis如何处理延迟加载&#xff1f;】面试题。希望对大家有帮助&#xff1b; MyBatis如何处理延迟加载&#xff1f; 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 MyBatis 支持 延迟加载&#xff08;Lazy Loading&am…
阅读更多...
Quartz任务调度框架实现任务动态执行

Quartz任务调度框架实现任务动态执行

说明&#xff1a;之前使用Quartz&#xff0c;都是写好Job&#xff0c;指定一个时间点&#xff0c;到点执行。最近有个需求&#xff0c;需要根据前端用户设置的时间点去执行&#xff0c;也就是说任务执行的时间点是动态变化的。本文介绍如何用Quartz任务调度框架实现任务动态执行…
阅读更多...
最新文章

Copyright @ 2022~2023