数据泵(Data Pump)是 Oracle 数据库提供的一种高性能的数据导出和导入工具,用于在不同 Oracle 数据库之间或同一数据库的不同模式之间移动数据和元数据。数据泵主要包括两个部分:数据泵导出(expdp)和数据泵导入(impdp),通常用于数据迁移、备份和恢复等场景。
一、工作原理:
- expdp:通过命令行工具执行,将数据库的对象及其数据导出到一组磁盘上的数据文件(称为转储文件)。转储文件可以是可传输格式,便于在网络上传输和存储。
- impdp:同样通过命令行工具执行,将已导出的转储文件导入到目标数据库中,重建源数据库中的对象结构及数据。
确保在使用数据泵之前,正确配置了相关目录对象(使用CREATE DIRECTORY
命令)并赋予了必要的权限。此外,根据实际需求,可以通过设置各种参数来定制数据泵作业,如并行度(PARALLEL
)、表或模式过滤(TABLES
, SCHEMAS
)、数据文件和日志文件的位置等。
expdp(导出数据)
基本语法:
expdp username/password@database_directory directory=directory_name dumpfile=dump_file_name.dmp logfile=log_file_name.log
[other_options]
username/password@database_directory
: 指定连接到数据库的用户名、密码以及数据库连接描述符。其中username
是用于登录数据库的用户名,password
是对应的密码,database_directory
是数据库的连接字符串,通常包含数据库实例名、主机名、端口号等信息,用于定位要连接的数据库。
如果用户名是
scott
,密码是tiger
,要连接到本地的ORCL
数据库实例,那么这部分就是scott/tiger@ORCL
。也有可能用主机名+端口号的方式,即 scott/tiger@hostname:port/SID
directory=directory_name
: 指定导出文件和日志文件的存储目录对象。这个目录对象是在数据库中预先定义好的,指向了操作系统中的一个实际目录,用于存储导出的.dmp
文件和.log
日志文件。该目录必须在数据库中预先创建。
假设在数据库中已经创建了一个名为
EXP_DIR
的目录对象,它指向了/home/oracle/export
这个操作系统目录,那么这里就写directory=EXP_DIR
。
dumpfile=dump_file_name.dmp
: 指定导出的二进制文件的名称。这个文件将包含从数据库中导出的数据和对象。
如果要将数据导出到名为
mydb_export.dmp
的文件中,就写dumpfile=mydb_export.dmp
。该文件放在EXP_DIR目录下。
logfile=log_file_name.log
: 指定导出过程的日志文件名称。该文件将记录导出操作的详细信息,如导出的开始时间、结束时间、导出的对象数量、遇到的错误等,方便在导出过程中查看进度和排查问题。
写
logfile=mydb_export.log
,这样在导出完成后,可以查看该日志文件获取详细的导出情况。该文件放在EXP_DIR目录下。
[other_options]其他可选参数示例:
schemas=schema_name
: 只导出schema_name模式下的对象和数据。tables=table1,table2
: 导出table1,table2这两张表。content=data_only 或者 content= metadata_only
: 控制是否仅导出实际数据或仅导出元数据。parallel = 4
: 表示使用 4 个并行进程来进行导出操作,以提高导出速度。
impdp(导入数据)
基本语法:
impdp username/password@database_directory directory=directory_name dumpfile=dump_file_name.dmp logfile=log_file_name.log
[other_options]
与导出类似,导入命令也有类似的连接信息和基本参数。此外,导入时常见的其他选项包括:
remap_schema=old_schema:new_schema
: 在导入时重映射源模式到目标模式。transform=segment_attributes:n
: 忽略段属性以适应新的环境。table_exists_action=replace|append|skip
: 当目标表已经存在时如何处理。data_files=path_to_data_files
: 如果导出包含了数据文件的迁移,指定数据文件的导入位置。
回到最开始的问题,如何使用数据泵工具将数据从一个Oracle数据库迁移到另一个Oracle数据库?
二、示例
步骤 1:准备工作
- 检查权限:确保在源数据库和目标数据库中都有足够的权限来执行数据泵导出和导入操作。通常需要具有
DATAPUMP_EXP_FULL_DATABASE
或DATAPUMP_IMP_FULL_DATABASE
角色。 - 创建目录对象:数据泵需要一个数据库目录对象来存储导出文件。可以在源数据库和目标数据库中创建一个目录对象并授予适当的权限。
-- 在源数据库中创建一个名为datapump_dir的目录对象,指向/path/to/your/export/directory目录
CREATE OR REPLACE DIRECTORY datapump_dir AS '/path/to/your/export/directory';
-- 将datapump_dir目录对象的读写权限授予your_user用户。
GRANT READ, WRITE ON DIRECTORY datapump_dir TO your_user;
步骤 2:在源数据库中进行数据导出
使用 expdp
工具将数据导出到文件中。可以选择导出整个数据库、某些表或其他对象。
- 导出命令示例:以下命令将源数据库的数据导出到指定目录。
expdp your_user/password@source_db schemas=your_schema directory=datapump_dir dumpfile=export.dmp logfile=export.log
-
your_user/password@source_db
:源数据库的用户名、密码和连接字符串。schemas=your_schema
:指定需要导出的 schema。如果要导出整个数据库,可以省略这个参数。directory=datapump_dir
:指向存储导出文件的数据库目录对象。dumpfile=export.dmp
:导出文件的名称。logfile=export.log
:日志文件的名称。
其他常见参数:
-
full=y
:导出整个数据库。tables=table_name
:只导出特定表。content=metadata_only
:只导出元数据,不包含数据。
步骤 3:将导出的文件传输到目标数据库
导出的文件通常会存储在服务器的本地目录中。使用 scp
或 ftp
等工具将导出的 dumpfile
文件从源数据库服务器传输到目标数据库服务器。
步骤 4:在目标数据库中进行数据导入
在目标数据库中使用 impdp
工具将导出的数据导入到目标数据库。
- 导入命令示例:以下命令将数据从导出的文件导入到目标数据库中。
impdp your_user/password@target_db schemas=your_schema directory=datapump_dir dumpfile=export.dmp logfile=import.log
-
your_user/password@target_db
:目标数据库的用户名、密码和连接字符串。schemas=your_schema
:目标数据库中要导入的 schema。directory=datapump_dir
:指向存储导入文件的数据库目录对象。dumpfile=export.dmp
:导入的 dump 文件。logfile=import.log
:日志文件的名称。
其他常见参数:
-
remap_schema=source_schema:target_schema
:如果目标数据库中的 schema 名称不同,可以使用此参数进行映射。remap_tablespace=source_tablespace:target_tablespace
:如果目标数据库中的表空间不同,可以使用此参数进行映射。parallel=4
:并行导入,增加性能(并行处理多个文件)。
步骤 5:验证迁移结果
查看目标数据库中的数据是否正确迁移。
查看日志文件 import.log
,检查是否有错误或警告信息。
三、注意事项
- 兼容性:确保源数据库和目标数据库之间的版本兼容。数据泵在不同版本之间迁移时通常是兼容的,但需要确保目标数据库能够处理源数据库中使用的功能。
- 网络连接:如果源数据库和目标数据库在不同的机器上,可能需要考虑通过网络传输数据泵的
dumpfile
文件,或者直接使用 Oracle Data Pump 的远程连接功能。 - 性能:大规模的数据迁移时,可以使用并行处理来提高迁移速度。调整
parallel
参数,控制并行作业的数量。