DMFLDR数据载入使用实践

1、DMFLDR概述

1.1DMFLDR功能介绍

dmfldr(DM Fast Loader)是 DM 提供的快速数据装载命令行工具。用户通过使用 dmfldr 工具能够把按照一定格式
排序的文本数据以简单、快速、高效的方式载入到 DM 数据库中,或把 DM 数据库中的数据按照一定格式写入文本文件。
DMFLDR体系结构
在这里插入图片描述
当进行数据载入时,dmfldr 客户端接收用户提交的命令与参数,分析控制文件与数据文件,将数据打包发送给服务器端的 dmfldr 模块,由服务器完成数据的真正装载工作。并分析服务器返回的消息,必要时根据用户参数指定生成日志文件与错误数据文件。
当进行数据导出时,dmfldr 客户端接收用户提交的命令与参数,分析控制文件,将用户要求转换成相应消息发送给服务器端的 dmfldr 模块。服务器解析并打包需要导出的数据,发送给 dmfldr 客户端,客户端将数据写入指定的数据文件,必要时根据用户参数指定生成日志文件。

1.2DMFLDR参数

[dmdba@lei2 ~]$ dmfldr help
version: 03134284194-20240703-234060-20108 Pack1
格式: ./dmfldr   KEYWORD=value

例程: ./dmfldr   SYSDBA/SYSDBA CONTROL='/opt/data/fldr.ctl'

USERID 必须是命令行中的第一个参数
字符串类型参数必须以引号封闭

关键字              说明(默认值)
--------------------------------------------------------------------------------
USERID              用户名/口令, 格式:{<username>[/<password>] | /}[@<connect_identifier>][<option>] [<os_auth>]
                    <connect_identifier> : [<svc_name> | host[:port] | <unixsocket_file>]
                    <option> : #{<extend_option>=<value>[,<extend_option>=<value>]...}
                               --此行外层{}是为了封装参数之用,书写时需要保留
                    <os_auth> : AS {SYSDBA|SYSSSO|SYSAUDITOR|USERS|AUTO}
CONTROL             控制文件,字符串类型
LOG                 日志文件,字符串类型 (fldr.log)
BADFILE             错误数据记录文件,字符串类型 (fldr.bad)
SKIP                初始忽略逻辑行数 (0)
LOAD                需要装载的行数 (ALL)
ROWS                提交频次 (50000), DIRECT为FALSE有效
DIRECT              是否使用快速方式装载 (TRUE)
SET_IDENTITY        是否插入自增列 (FALSE)
SORTED              数据是否已按照聚集索引排序 (FALSE)
INDEX_OPTION        索引选项 (1)
                    1 不刷新二级索引,数据按照索引先排序,装载完后再
                    将排序的数据插入索引
                    2 不刷新二级索引,数据装载完成后重建所有二级索引
                    3 刷新二级索引, 数据装载的同时将数据插入二级索引
ERRORS              允许的最大数据错误数 (100)
CHARACTER_CODE      字符编码,字符串类型 (GBK, UTF-8, SINGLE_BYTE, EUC-KR)
MODE                装载方式,字符串类型 IN表示载入,OUT表示载出,
                    OUTORA表示载出ORACLE (IN)
CLIENT_LOB          大字段目录是否在本地 (FALSE)
LOB_DIRECTORY       大字段数据文件存放目录
LOB_FILE_NAME       大字段数据文件名称,仅导出有效 (dmfldr.lob)
BUFFER_NODE_SIZE    读入文件缓冲区的大小 (10MB),有效值范围1~2048
LOG_SIZE            日志信息缓冲区的大小 (1MB),有效值范围1~100
READ_ROWS           工作线程一次最大处理的行数 (100000),最大支持2^26-10000
NULL_MODE           载入时NULL字符串是否处理为NULL
                    载出时空值是否处理为NULL字符串 (FALSE)
NULL_STR            载入时视为NULL值处理的字符串
SEND_NODE_NUMBER    运行时发送节点的个数 (20),有效值范围16~65535
TASK_THREAD_NUMBER  处理用户数据的线程数目,默认与处理器核数量相同,有效值范围1~128
BLDR_NUM            服务器BLDR数目 (64),有效值范围1~1024
BDTA_SIZE           bdta的大小 (5000),有效值范围100~10000
COMPRESS_FLAG       是否压缩bdta (FALSE)
MPP_CLIENT          MPP环境,是否本地分发 (TRUE)
SINGLE_FILE         MPP/DPC环境,是否只生成单个数据文件(FALSE)
LAN_MODE            MPP/DPC环境,是否以内网模式装载数据(FALSE)
UNREP_CHAR_MODE     非法字符处理选项(0),为0时表示跳过该数据行,为1时表示使用(*)替换错误字节
SILENT              是否静默方式装载数据(FALSE)
BLOB_TYPE           BLOB类型字段数据值的实际类型,字符串类型 (HEX_CHAR)
                    HEX表示值为十六进制,HEX_CHAR表示值为十六进制字符类型
                    仅在direct=FALSE有效
OCI_DIRECTORY       OCI动态库所在的目录
DATA                指定数据文件路径
ENABLE_CLASS_TYPE   允许用户导入CLASS类型数据 (FALSE)
FLUSH_FLAG          提交时是否立即刷盘 (FALSE)
IGNORE_BATCH_ERRORS 是否忽略错误数据继续导入 (FALSE)
SINGLE_HLDR_HP      是否使用单个HLDR装载HUGE水平分区表 (TRUE)
EP                  指定需要发送数据的站点序号列表,仅向MPP/DPC环境导入数据时有效
PARALLEL            是否开启并行装载(FALSE)
SQL                 使用自定义查询语句,仅导出模式有效
SQLFILE             自定义查询语句所在文件,仅导出模式有效
TABLE               导入/出表
ROW_SEPERATOR       行分隔符
FIELD_SEPERATOR     列分隔符
COMMIT_OPTION       提交选项(0), 0:每发送一批数据后提交, 1:发送完所有数据后提交
APPEND_OPTION       追加选项(0), 0: 追加方式, 1: 替代方式, 2: 插入方式
COLNAME_HEADING     是否在导出文件头中打印列名(FALSE)
IGNORE_AIMLESS_DATA 是否忽略无目标数据(FALSE)
LOB_AS_VARCHAR      是否将CLOB作为VARCHAR进行导入导出(FALSE)
LOB_AS_VARCHAR_SIZE 将CLOB作为VARCHAR进行导入导出时, lob数据最大大小(10MB)
LOG_LEVEL           记录错误数据信息级别(3), 0: 不记录 1: 只记录到log文件 2: 只记录到bad文件 3: 记录到log和bad文件 4: 错误仅输出到屏幕
FLDR_INI            配置文件路径,字符串类型
RECONN              自动重连次数(0)
RECONN_TIME         自动重连等待时间(5), 单位(s), 有效值范围(1~10000)
WIDTH               设置列数据宽度
SEDF                被替换的字符列表
SEDT                用于替换的字符列表
ESCAPE              转义符
EXPORT_MODE         MPP/DPC环境, 使用sql语句时的导出模式(0), 0: 普通模式 1: 快速模式, LOCAL方式连接
BAD_FILE_MODE       错误数据文件模式(0), 0: 普通模式 1: 纯数据模式
COMPATIBLE_MODE     兼容模式(0), 0: 不做兼容 1: 兼容DB2 2: 兼容MYSQL
PRIORITY_ENCLOSE    DB2模式下, enclose优先级最高
HELP                打印帮助信息

2、DMFLDR使用测试

2.1使用 DATA参数指定数据文件

也可以使用 DATA 参数指定 dmfldr 的数据文件,数据文件路径的优先选择顺序为先控制文件,后参数选项。如果控制文件中数据文件路径指定为‘’,在命令行通过 DATA参数指定数据文件路径,DATA 所指定的文件路径会替换‘’。

2.1.1创建表

[dmdba@lei2 ~]$ disql lei/leileilei

服务器[LOCALHOST:5236]:处于普通打开状态
登录使用时间 : 3.368(ms)
disql V8

SQL> CREATE TABLE fldr(C1 INT,C2 INT,C3 DATE);
操作已执行
已用时间: 7.889(毫秒). 执行号:1001.

2.1.2创建数据文件

创建数据文件/home/dmdba/fldr.txt。

[dmdba@lei2 ~]$ vi /home/dmdba/fldr.txt
添加:
1 1|2022-09-06
2 2|2023-09-06
3 3|2024-09-06

2.1.3创建控制文件

创建控制文件/home/dmdba/fldr.ctl

[dmdba@lei2 ~]$ vi /home/dmdba/fldr.ctl
添加:
LOAD DATA
INFILE *
INTO TABLE lei.fldr
FIELDS '|'
(
C1 TERMINATED BY ' ',
C2,
C3 DATE FORMAT 'yyyy-mm-dd'
)

2.1.4dmfldr导入数据

[dmdba@lei2 ~]$ dmfldr userid=SYSDBA/SYSDBA@192.168.0.2:5236 control=\'/home/dmdba/fldr.ctl\' data=\'/home/dmdba/fldr.txt\'
dmfldr V8
控制文件:

加载行数:全部

每次提交服务器行数:50000

跳过行数:0

允许错误数:100

是否直接加载:Yes

是否插入自增列:No

数据是否已按照聚集索引排序:No

字符集:UTF-8



数据文件共1个:
/home/dmdba/fldr.txt

错误文件:fldr.bad

目标表:LEI.FLDR

列名                                                                                                                           包装数据类型   终止
C1                                                                                                                               CHARACTER            WHT
C2                                                                                                                               CHARACTER            |
C3                                                                                                                               yyyy-mm-dd           |

行缓冲区数量: 2
任务线程数量: 1

3行记录已提交

目标表:LEI.FLDR
load success.
3 行加载成功。
0 行由于数据错误没有加载。
0 行由于数据格式错误被丢弃。

跳过的逻辑记录总数:0
读取的逻辑记录总数:3
拒绝的逻辑记录总数:0

2.059(ms)已使用

SQL> select * from fldr;

行号     C1          C2          C3        
---------- ----------- ----------- ----------
1          1           1           2022-09-06
2          2           2           2023-09-06
3          3           3           2024-09-06

已用时间: 1.026(毫秒). 执行号:1002.

2.2数据转换与错误数据文件

2.2.1创建表

[dmdba@lei2 ~]$ disql lei/leileilei

服务器[LOCALHOST:5236]:处于普通打开状态
登录使用时间 : 3.368(ms)
disql V8

SQL> CREATE TABLE fldr2(C1 INT,C2 INT,C3 DATE);
操作已执行
已用时间: 7.889(毫秒). 执行号:1003.

2.2.2创建数据文件

创建数据文件/home/dmdba/fldr2.txt。

[dmdba@lei2 ~]$ vi /home/dmdba/fldr2.txt
添加:
1 1|2022-09-06
2 2|2023-09-06
3 3|2024-09-06
44|aaaa-bbb-ccc

2.2.3创建控制文件

创建控制文件/home/dmdba/fldr2.ctl

[dmdba@lei2 ~]$ vi /home/dmdba/fldr2.ctl
添加:
LOAD DATA
INFILE '/home/dmdba/fldr2.txt'
INTO TABLE lei.fldr2
FIELDS '|'
(
C1 TERMINATED BY ' ',
C2,
C3 DATE FORMAT 'yyyy-mm-dd'
)

2.2.4dmfldr导入数据

[dmdba@lei2 ~]$ dmfldr userid=SYSDBA/SYSDBA@192.168.0.2:5236 control=\'/home/dmdba/fldr2.ctl\' badfile=\'/home/dmdba/fldr2.bad\'
dmfldr V8
控制文件:

加载行数:全部

每次提交服务器行数:50000

跳过行数:0

允许错误数:100

是否直接加载:Yes

是否插入自增列:No

数据是否已按照聚集索引排序:No

字符集:UTF-8



数据文件共1个:
/home/dmdba/fldr2.txt

错误文件:/home/dmdba/fldr2.bad

目标表:LEI.FLDR2

列名                                                                                                                           包装数据类型   终止
C1                                                                                                                               CHARACTER            WHT
C2                                                                                                                               CHARACTER            |
C3                                                                                                                               yyyy-mm-dd           |

行缓冲区数量: 2
任务线程数量: 1

数据错误
3行记录已提交

目标表:LEI.FLDR2
load success.
失败原因: 数据错误
3 行加载成功。
1 行由于数据错误没有加载。
1 行由于数据格式错误被丢弃。

跳过的逻辑记录总数:0
读取的逻辑记录总数:4
拒绝的逻辑记录总数:1

1.172(ms)已使用

SQL> select * from fldr2;

行号     C1          C2          C3        
---------- ----------- ----------- ----------
1          1           1           2022-09-06
2          2           2           2023-09-06
3          3           3           2024-09-06

已用时间: 0.282(毫秒). 执行号:1005.

[dmdba@lei2 ~]$ cat fldr2.bad 
dmfldr: 2024-09-05 10:22:10 LEI->FLDR2 DMFLDR BAD FILE

dmfldr: 2024-09-05 10:22:10 LEI->FLDR2 44|aaaa-bbb-ccc

2.3大字段数据导出

当 dmfldr 工作在导出模式即 MODE 为 OUT 时,dmfldr 生成大字段对应的数据文件名由 LOB_FILE_NAME 指定,若未指定默认为 dmfldr.lob,文件存放于LOB_DIRECTORY 指定的目录,如果未指定 LOB_DIRECTORY 则存放于指定的导出数据文件同一目录。

2.3.1创建表

[dmdba@lei2 ~]$ disql lei/leileilei

服务器[LOCALHOST:5236]:处于普通打开状态
登录使用时间 : 3.368(ms)
disql V8

SQL> CREATE TABLE fldr3(C1 INT,C2 BLOB,C3 CLOB);
操作已执行
已用时间: 7.889(毫秒). 执行号:1006.

SQL> INSERT INTO lei.fldr3 VALUES(1,0XAB121032DE,'abcdefg');
影响行数 1

已用时间: 0.893(毫秒). 执行号:1007.
SQL> INSERT INTO lei.fldr3 VALUES(2,0XAB121032DE,'hijklmn');
影响行数 1

已用时间: 0.393(毫秒). 执行号:1008.
SQL> INSERT INTO lei.fldr3 VALUES(3,0XAB121032DE,'opqrstu');
影响行数 1

已用时间: 0.600(毫秒). 执行号:1009.
SQL> commit;
操作已执行
已用时间: 0.650(毫秒). 执行号:1010.
SQL> select * from fldr3;

行号     C1          C2           C3     
---------- ----------- ------------ -------
1          1           0xAB121032DE abcdefg
2          2           0xAB121032DE hijklmn
3          3           0xAB121032DE opqrstu

已用时间: 0.674(毫秒). 执行号:1011.

2.3.2创建控制文件

创建控制文件/home/dmdba/fldr3.ctl

[dmdba@lei2 ~]$ vi /home/dmdba/fldr3.ctl
添加:
LOAD DATA
INFILE '/home/dmdba/fldr3.txt'
INTO TABLE lei.fldr3
FIELDS '|'
(
C1,
C2,
C3
)

2.3.3dmfldr导出数据

[dmdba@lei2 ~]$ dmfldr userid=SYSDBA/SYSDBA@192.168.0.2:5236 control=\'/home/dmdba/fldr3.ctl\' LOB_DIRECTORY=\'/home/dmdba/\' mode=\'out\'
dmfldr V8
3 rows is load out
export success.
3 行数据已导出
用时:1.565(ms)

[dmdba@lei2 ~]$ cat fldr3.txt
1|dmfldr.lob:0:5|dmfldr.lob:5:7
2|dmfldr.lob:12:5|dmfldr.lob:17:7
3|dmfldr.lob:24:5|dmfldr.lob:29:7
[dmdba@lei2 ~]$ cat dmfldr.lob
defgklmnrstu[dmdba@lei2 ~]$

[dmdba@lei2 ~]$ dmfldr userid=SYSDBA/SYSDBA@192.168.0.2:5236 control=\'/home/dmdba/fldr3.ctl\' LOB_DIRECTORY=\'/home/dmdba/\' LOB_FILE_NAME=\'fldr3.lob\' mode=\'out\'
dmfldr V8
3 rows is load out
export success.
3 行数据已导出
用时:0.999(ms)

[dmdba@lei2 ~]$ cat fldr3.lob 
defgklmnrstu[dmdba@lei2 ~]$ 

2.4DIRECT为TRUE时大字段数据的载入

2.4.1创建表

[dmdba@lei2 ~]$ disql lei/leileilei

服务器[LOCALHOST:5236]:处于普通打开状态
登录使用时间 : 3.368(ms)
disql V8

SQL> CREATE TABLE fldr4(C1 INT,C2 BLOB,C3 CLOB);
操作已执行
已用时间: 7.889(毫秒). 执行号:1003.

2.4.2创建数据文件

创建数据文件/home/dmdba/fldr4.txt。

[dmdba@lei2 ~]$ vi /home/dmdba/fldr4.txt
添加:
1|testblob.txt:0:10|testclob.txt:0:10
2|testblob.txt:10:20|testclob.txt:10:20
3|testblob.txt:20:30|testclob.txt:20:30
[dmdba@lei2 ~]$ vi testblob.txt
添加:
1|testblobtestblobtestblobtestblob1|testblobtestblobtestblobtestblob1
2|testblobtestblobtestblobtestblob2|testblobtestblobtestblobtestblob2
3|testblobtestblobtestblobtestblob3|testblobtestblobtestblobtestblob3
[dmdba@lei2 ~]$ vi testclob.txt
添加:
1|testclobtestclobtestclobtestclob1|testclobtestclobtestclobtestclob1
2|testclobtestclobtestclobtestclob2|testclobtestclobtestclobtestclob2
3|testclobtestclobtestclobtestclob3|testclobtestclobtestclobtestclob3

2.4.3创建控制文件

创建控制文件/home/dmdba/fldr4.ctl

[dmdba@lei2 ~]$ vi /home/dmdba/fldr4.ctl
添加:
OPTIONS
(
SKIP = 0
DIRECT = TRUE
INDEX_OPTION = 2
)
LOAD DATA
INFILE '/home/dmdba/fldr4.txt'
BADFILE '/home/dmdba/fldr4.bad'
INTO TABLE lei.fldr4
FIELDS '|'
(
C1,
C2,
C3
)

2.4.4dmfldr导入数据

[dmdba@lei2 ~]$ dmfldr userid=SYSDBA/SYSDBA@192.168.0.2:5236  control=\'/home/dmdba/fldr4.ctl\' LOB_DIRECTORY=\'/home/dmdba/\'  LOG=\'/home/dmdba/dmfldr_fldr4.log\'
dmfldr V8
控制文件:

加载行数:全部

每次提交服务器行数:50000

跳过行数:0

允许错误数:100

是否直接加载:Yes

是否插入自增列:No

数据是否已按照聚集索引排序:No

字符集:UTF-8



数据文件共1个:
/home/dmdba/fldr4.txt

错误文件:/home/dmdba/fldr4.bad

目标表:LEI.FLDR4

列名                                                                                                                           包装数据类型   终止
C1                                                                                                                               CHARACTER            |
C2                                                                                                                               CHARACTER            |
C3                                                                                                                               CHARACTER            |

行缓冲区数量: 2
任务线程数量: 1

3行记录已提交

目标表:LEI.FLDR4
load success.
3 行加载成功。
0 行由于数据错误没有加载。
0 行由于数据格式错误被丢弃。

跳过的逻辑记录总数:0
读取的逻辑记录总数:3
拒绝的逻辑记录总数:0

0.940(ms)已使用
SQL> select * from fldr4;

行号     C1          C2                                                             C3                            
---------- ----------- -------------------------------------------------------------- ------------------------------
1          1           0x317C74657374626C6F62                                         1|testclob
2          2           0x74657374626C6F6274657374626C6F6274657374                     testclobtestclobtest
3          3           0x7374626C6F6274657374626C6F62317C74657374626C6F6274657374626C stclobtestclob1|testclobtestcl

已用时间: 0.606(毫秒). 执行号:1013.

2.5DIRECT为FALSE时大字段数据的载入

2.5.1创建表

[dmdba@lei2 ~]$ disql lei/leileilei

服务器[LOCALHOST:5236]:处于普通打开状态
登录使用时间 : 3.368(ms)
disql V8

SQL> CREATE TABLE fldr5(C1 INT,C2 BLOB,C3 CLOB);
操作已执行
已用时间: 7.889(毫秒). 执行号:1003.

2.5.2创建数据文件

创建数据文件/home/dmdba/fldr5.txt。

[dmdba@lei2 ~]$ vi /home/dmdba/fldr5.txt
添加:
1|0x12d3c8a7|abcdefg
2|0x12a4cbac|hijlkmn
3|0x22d3c8b3|adefhjd

2.5.3创建控制文件

创建控制文件/home/dmdba/fldr5.ctl

[dmdba@lei2 ~]$ vi /home/dmdba/fldr5.ctl
添加:
OPTIONS
(
SKIP = 0
DIRECT = TRUE
INDEX_OPTION = 2
)
LOAD DATA
INFILE '/home/dmdba/fldr4.txt'
BADFILE '/home/dmdba/fldr4.bad'
INTO TABLE lei.fldr4
FIELDS '|'
(
C1,
C2,
C3
)

2.5.4dmfldr导入数据

[dmdba@lei2 ~]$ dmfldr userid=SYSDBA/SYSDBA@192.168.0.2:5236 control=\'/home/dmdba/fldr5.ctl\' LOG=\'/home/dmdba/dmfldr_fldr5.log\' direct=false blob_type=\'hex_char\'
dmfldr V8
控制文件:

加载行数:全部

每次提交服务器行数:50000

跳过行数:0

允许错误数:100

是否直接加载:No

是否插入自增列:No

数据是否已按照聚集索引排序:No

字符集:UTF-8



数据文件共1个:
/home/dmdba/fldr5.txt

错误文件:/home/dmdba/fldr5.bad

目标表:LEI.FLDR5

列名                                                                                                                           包装数据类型   终止
C1                                                                                                                               CHARACTER            |
C2                                                                                                                               CHARACTER            |
C3                                                                                                                               CHARACTER            |


3 rows processed.

目标表:LEI.FLDR5
load success.
3 行加载成功。
0 行由于数据错误没有加载。
0 行由于数据格式错误被丢弃。

跳过的逻辑记录总数:0
读取的逻辑记录总数:3
拒绝的逻辑记录总数:0

0.766(ms)已使用

SQL> select * from fldr5;

行号     C1          C2         C3     
---------- ----------- ---------- -------
1          1           0x12D3C8A7 abcdefg
2          2           0x12A4CBAC hijlkmn
3          3           0x22D3C8B3 adefhjd

已用时间: 0.636(毫秒). 执行号:1015.

SQL> truncate table fldr5;
操作已执行
已用时间: 11.350(毫秒). 执行号:1016.

[dmdba@lei2 ~]$ dmfldr userid=SYSDBA/SYSDBA@192.168.0.2:5236 control=\'/home/dmdba/fldr5.ctl\' LOG=\'/home/dmdba/dmfldr_fldr5.log\' direct=false blob_type=\'hex\'
dmfldr V8
控制文件:

加载行数:全部

每次提交服务器行数:50000

跳过行数:0

允许错误数:100

是否直接加载:No

是否插入自增列:No

数据是否已按照聚集索引排序:No

字符集:UTF-8



数据文件共1个:
/home/dmdba/fldr5.txt

错误文件:/home/dmdba/fldr5.bad

目标表:LEI.FLDR5

列名                                                                                                                           包装数据类型   终止
C1                                                                                                                               CHARACTER            |
C2                                                                                                                               CHARACTER            |
C3                                                                                                                               CHARACTER            |


3 rows processed.

目标表:LEI.FLDR5
load success.
3 行加载成功。
0 行由于数据错误没有加载。
0 行由于数据格式错误被丢弃。

跳过的逻辑记录总数:0
读取的逻辑记录总数:3
拒绝的逻辑记录总数:0

0.578(ms)已使用

SQL> select * from fldr5;

行号     C1          C2                     C3     
---------- ----------- ---------------------- -------
1          1           0x30783132643363386137 abcdefg
2          2           0x30783132613463626163 hijlkmn
3          3           0x30783232643363386233 adefhjd

已用时间: 0.332(毫秒). 执行号:1017.

2.6自增列装载

1.当 DIRECT 参数为 FALSE 时, dmfldr 将把从数据文件中读取的自增列值作为目标值插入数据库表中,用户应当保证每一行的自增列的值符合自增列的规则,否则将造成数据混乱。
2.当 DIRECT 参数为 TRUE 时, dmfldr 提供了 SET_IDENTITY 参数(默认为 FALSE)对数据载入时自增列的处理进行设置:
① 如果指定 SET_IDENTITY 选项值为 TRUE,则 dmfldr 将把从数据文件中读取的自增列值作为目标值插入数据库表中,用户应当保证每一行的自增列的值符合自增列的规则,否则将造成数据混乱;
② 如果 SET_IDENTITY 选项值设置为 FALSE,则 dmfldr 将忽略数据文件中对应自增列的值,服务器将根据自增列定义和表中已有数据自动生成自增列的值插入每一行的对应列。

2.6.1创建表

[dmdba@lei2 ~]$ disql lei/leileilei

服务器[LOCALHOST:5236]:处于普通打开状态
登录使用时间 : 3.368(ms)
disql V8

SQL> CREATE TABLE fldr6(C1 INT IDENTITY(1,1),C2 VARCHAR);
操作已执行
已用时间: 2.010(毫秒). 执行号:1018.
SQL> INSERT INTO  fldr6(C2) VALUES('a');
影响行数 1

已用时间: 0.734(毫秒). 执行号:1019.
SQL> INSERT INTO  fldr6(C2) VALUES('b');
影响行数 1

已用时间: 0.464(毫秒). 执行号:1020.
SQL> COMMIT;
操作已执行
已用时间: 0.679(毫秒). 执行号:1021.
SQL> select * from fldr6;

行号     C1          C2
---------- ----------- --
1          1           a
2          2           b

已用时间: 0.625(毫秒). 执行号:1022.

2.6.2创建数据文件

创建数据文件/home/dmdba/fldr6.txt。

[dmdba@lei2 ~]$ vi /home/dmdba/fldr6.txt
添加:
2|c
3|d
4|e

2.6.3创建控制文件

创建控制文件/home/dmdba/fldr6.ctl

[dmdba@lei2 ~]$ vi /home/dmdba/fldr6.ctl
添加:
OPTIONS
(
SKIP = 0
ROWS = 50000
INDEX_OPTION = 2
DIRECT=TRUE
SET_IDENTITY=FALSE
)
LOAD DATA
INFILE '/home/dmdba/fldr6.txt'
BADFILE '/home/dmdba/fldr6.bad'
INTO TABLE lei.fldr6
FIELDS '|'
(C1,
C2
)

2.6.4dmfldr导入数据

[dmdba@lei2 ~]$ dmfldr userid=SYSDBA/SYSDBA@192.168.0.2:5236 control=\'/home/dmdba/fldr6.ctl\' LOG=\'/home/dmdba/dmfldr_fldr6.log\'
dmfldr V8
控制文件:

加载行数:全部

每次提交服务器行数:50000

跳过行数:0

允许错误数:100

是否直接加载:Yes

是否插入自增列:No

数据是否已按照聚集索引排序:No

字符集:UTF-8



数据文件共1个:
/home/dmdba/fldr6.txt

错误文件:/home/dmdba/fldr6.bad

目标表:LEI.FLDR6

列名                                                                                                                           包装数据类型   终止
C1                                                                                                                               CHARACTER            |
C2                                                                                                                               CHARACTER            |

行缓冲区数量: 2
任务线程数量: 1

3行记录已提交

目标表:LEI.FLDR6
load success.
3 行加载成功。
0 行由于数据错误没有加载。
0 行由于数据格式错误被丢弃。

跳过的逻辑记录总数:0
读取的逻辑记录总数:3
拒绝的逻辑记录总数:0

0.950(ms)已使用

SQL> select * from fldr6;

行号     C1          C2
---------- ----------- --
1          1           a
2          2           b
3          3           c
4          4           d
5          5           e

已用时间: 0.288(毫秒). 执行号:1023.

SQL> delete from fldr6 where c1>2;
影响行数 3

已用时间: 0.822(毫秒). 执行号:1024.
SQL> commit;
操作已执行
已用时间: 0.676(毫秒). 执行号:1025.
SQL> select * from fldr6;

行号     C1          C2
---------- ----------- --
1          1           a
2          2           b

已用时间: 0.282(毫秒). 执行号:1026.

[dmdba@lei2 ~]$ dmfldr userid=SYSDBA/SYSDBA@192.168.0.2:5236 control=\'/home/dmdba/fldr6.ctl\' LOG=\'/home/dmdba/dmfldr_fldr6_01.log\' DIRECT=TRUE SET_IDENTITY=TRUE
dmfldr V8
控制文件:

加载行数:全部

每次提交服务器行数:50000

跳过行数:0

允许错误数:100

是否直接加载:Yes

是否插入自增列:Yes

数据是否已按照聚集索引排序:No

字符集:UTF-8



数据文件共1个:
/home/dmdba/fldr6.txt

错误文件:/home/dmdba/fldr6.bad

目标表:LEI.FLDR6

列名                                                                                                                           包装数据类型   终止
C1                                                                                                                               CHARACTER            |
C2                                                                                                                               CHARACTER            |

行缓冲区数量: 2
任务线程数量: 1

3行记录已提交

目标表:LEI.FLDR6
load success.
3 行加载成功。
0 行由于数据错误没有加载。
0 行由于数据格式错误被丢弃。

跳过的逻辑记录总数:0
读取的逻辑记录总数:3
拒绝的逻辑记录总数:0

0.891(ms)已使用

SQL> select * from fldr6;

行号     C1          C2
---------- ----------- --
1          1           a
2          2           b
3          2           c
4          3           d
5          4           e

已用时间: 0.296(毫秒). 执行号:1027.

更多内容请参考:https://eco.dameng.com

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/911043.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

C#笔记 —— 事件

事件的语法 访问修饰符 event 委托类型 事件名&#xff1b; 例&#xff1a; public event Action myEvent; 事件的使用 事件的使用跟委托基本上一模一样&#xff0c; 1.但是事件不能在类外部直接赋值&#xff0c;只能使用 或 - 添加或删除函数&#xff1b; 2.事件不能在类…

传统RAG流程;密集检索器,稀疏检索器:中文的M3E

目录 传统RAG流程 相似性搜索中:神经网络的密集检索器,稀疏检索器 密集检索器 BGE系列模型 text-embedding-ada-002模型 M3E模型 稀疏检索器 示例一:基于TF-IDF的稀疏检索器 示例二:基于BM25的稀疏检索器 稀疏检索器的特点与优势 传统RAG流程 相似性搜索中:神经…

解决职业摔跤手分类问题的算法与实现

解决职业摔跤手分类问题的算法与实现 引言问题定义算法设计二分图判定算法摔跤手划分算法伪代码C代码示例算法分析时间复杂度空间复杂度结论引言 在职业摔跤界,摔跤手通常被分为“娃娃脸”(“好人”)型和“高跟鞋”(“坏人”)型。在任意一对摔跤手之间,都有可能存在竞争关系…

CentOS系统查看CPU、内存、操作系统等信息

Linux系统提供了一系列命令可以用来查看系统硬件信息&#xff0c;如CPU的物理个数、核数、逻辑CPU数量、内存信息和操作系统版本。 查看物理CPU、核数和逻辑CPU 在多核、多线程的系统中&#xff0c;了解物理CPU个数、每个物理CPU的核数和逻辑CPU个数至关重要。超线程技术进一步…

Elasticsearch常用接口_添加数据

插入es数据&#xff1a;_index/_type/ POST { "tabTitle": "森图表_test", "chtTabTitle": "森图表_test", "status": 0 } 注意&#xff1a;Elasticsearch 6.0.0及更高版本中&#xff0c;索引只能包含一个映射类型

【SpringBoot】18 上传文件到数据库(Thymeleaf + MySQL)

Git仓库 https://gitee.com/Lin_DH/system 介绍 使用 Thymeleaf 写的页面&#xff0c;将&#xff08;txt、jpg、png&#xff09;格式文件上传到 MySQL 数据库中。 依赖 pom.xml <!-- https://mvnrepository.com/artifact/com.mysql/mysql-connector-j --><depende…

数据库_SQLite3

下载 1、更新软件源&#xff1a; sudo apt-get update 2、下载SQLite3&#xff1a; sudo apt-get install sqlite3 3、验证&#xff1a; sqlite3启动数据库&#xff0c;出现以下界面代表运行正常。输入 .exit 可以退出数据库 4、安装sqlite3的库 sudo apt-get install l…

全星魅-物联网定位终端-北斗定位便携终端-北斗有源终端

在当今快速发展的物流运输行业中&#xff0c;精准定位与实时监控已成为确保货物安全与高效运输的关键因素。为了满足这一需求&#xff0c;QMCZ10作为一款集4G&#xff08;LTE Cat1&#xff09;通讯技术与智能定位功能于一体的终端产品&#xff0c;应运而生。它不仅具备普通定位…

微服务系列六:分布式事务与seata

目录 实验环境说明 前言 一、分布式事务问题与策略 1.1 分布式事务介绍 1.2 分布式事务解决策略分析 二、分布式事务解决方案 Seata 2.1 认识Seata 2.2 Seata的工作原理 2.3 部署Seata微服务 2.3.1 准备数据库表 2.3.2 准备配置文件 2.3.3 docker部署 2.4 微服务集…

【数字图像处理+MATLAB】对图片进行伽马校正(Gamma Correction):使用 imadjust 函数进行伽马变换

引言 伽马校正&#xff08;Gamma Correction&#xff09;是一种用于图像处理的技术&#xff0c;主要用于调整图像的亮度或对比度。其基本原理是对图像的每一个像素应用一个非线性变换&#xff0c;以更好地适应人眼的视觉感知。在数字图像处理中&#xff0c;伽马校正通常用于调…

数据挖掘实战-基于SARIMA时间序列模型预测Netflix股票未来趋势

&#x1f935;‍♂️ 个人主页&#xff1a;艾派森的个人主页 ✍&#x1f3fb;作者简介&#xff1a;Python学习者 &#x1f40b; 希望大家多多支持&#xff0c;我们一起进步&#xff01;&#x1f604; 如果文章对你有帮助的话&#xff0c; 欢迎评论 &#x1f4ac;点赞&#x1f4…

Permissions 0755 for ‘/etc/ssh/ssh_host_rsa_key‘ are too open.问题解决

1、问题背景 代码上库公司git后,将项目上出的程序烧录到设备中,wifi能够正常链接&#xff0c;但是通过wifi链接 ssh登录设备失败。把调试串口引出,查看linux启动log,发现如下打印信息&#xff1a; WARNING: UNPROTECTED PRIVATE KEY FILE! Permissions 075…

第三十五篇:HTTP报文格式,HTTP系列二

HTTP 是超⽂本传输协议&#xff0c;也就是HyperText Transfer Protocol。 前面我们讲到第三章中网络协议的定义&#xff0c;网络协议的定义&#xff1a;网络协议是通信计算机双方必须共同遵从的一组约定。就像两个人要进行交流&#xff0c;如果不制定一套约定&#xff0c;一方…

嵌入式学习(8)-EventOS 事件驱动管理

一、概述 EventOS&#xff0c;是一个面向单片机、事件驱动的嵌入式开发平台。它主要有两大技术特色&#xff1a;一是事件驱动&#xff0c;二是超轻量。 EventOS的主要特性列举如下&#xff1a; &#xff08;1&#xff09;事件总线为核心组件&#xff0c;灵活易用&#xff0c…

json字符串与python字典的区别与联系

json字符串与python中自带的字典类型外表长的很像&#xff0c;很容易区分不清楚&#xff0c;它们之间有着本质的区别&#xff0c;可以通过内置的json模块来互相转换。 文章目录 1、Python字典2、JSON数据格式3、JSON与python字典的区别4、JSON与python字典相互转换4.1 json字符…

Ubuntu 20.04 安装 QGC v4.3 开发环境

Ubuntu 20.04 安装 QGC开发环境 1. 准备安装 Qt 5.15.2安装依赖获取源码 2. 编译参考 前言 QGC ( QGroundControl) 是一个开源地面站&#xff0c;基于QT开发的&#xff0c;有跨平台的功能。可以在Windows&#xff0c;Android&#xff0c;MacOS或Linux上运行。它可以将PX4固件加…

FFmpeg 4.3 音视频-多路H265监控录放C++开发十二:在屏幕上显示多路视频播放,可以有不同的分辨率,格式和帧率。

上图是在安防领域的要求&#xff0c;一般都是一个屏幕上有显示多个摄像头捕捉到的画面&#xff0c;这一节&#xff0c;我们是从文件中读取多个文件&#xff0c;显示在屏幕上。 一 改动UI文件 这里我们要添加两个label&#xff0c;为了区分我们设置一下背景色&#xff08;这个是…

【数据集】【YOLO】【目标检测】道路垃圾识别数据集 8805 张,垃圾堆放识别数据集,YOLO垃圾识别算法实战训练教程!

数据集介绍 【数据集】道路垃圾识别、垃圾堆放识别数据集 8805 张&#xff0c;目标检测&#xff0c;包含YOLO/VOC格式标注。 数据集中包含2种分类&#xff1a;{0: garbage, 1: garbage_bag}&#xff0c;分别是普通垃圾和垃圾袋。 数据集来自国内外图片网站和视频截图&#x…

《TCP/IP网络编程》学习笔记 | Chapter 4:基于TCP的服务器端/客户端(2)

《TCP/IP网络编程》学习笔记 | Chapter 4&#xff1a;基于TCP的服务器端/客户端&#xff08;2&#xff09; 《TCP/IP网络编程》学习笔记 | Chapter 4&#xff1a;基于TCP的服务器端/客户端&#xff08;2&#xff09;回声客户端的完美实现回声客户端的问题回声客户端问题的解决方…

类加载过程详解

类的生命周期 类从被加载到虚拟机内存中开始到卸载出内存为止&#xff0c;它的整个生命周期可以简单概括为 7 个阶段&#xff1a;加载&#xff08;Loading&#xff09;、验证&#xff08;Verification&#xff09;、准备&#xff08;Preparation&#xff09;、解析&#xff08…