1. 下载驱动
下载 3.3.6 版本的 driver
wget https://github.com/aliyun/aliyun-odps-jdbc/releases/download/v3.3.6/odps-jdbc-3.3.6-jar-with-dependencies.jar
将下载的jar包上传到 S3 指定目录下。(版本会影响方案的成功,4.x 以上版本验证是不可行的)
2. 在 Glue 创建 Connection
2.1 创建 Custom Connector
- 在 Glue 控制台的左侧菜单中找到 Connections,点击进入。
- 点击 Create Custom connectors 进入创建自定连接页面
- 在 Connector S3 URL 中选择之前步骤上传到 S3 的 jar 驱动包。
- Name 自定义
- Connector type 选择 JDBC
- Class name 填写
com.aliyun.odps.jdbc.OdpsDriver
- JDBC URL base 填写
jdbc:odps:http://service.cn-hangzhou.maxcompute.aliyun.com/api?project=<projectname>&accessId=<accessid>&accessKey=<accesskey>&interactiveMode=true
(在阿里云网站上找到对应region 的 endpoint) - URL parameter delimiter 填写 &
- 点击 Create
2.2 Create connection
从上一步骤创建好 Connector 页面中,直接点击右上角的 Create connection,打开创建 Connection 的页面
-
Name 自定义填写
-
Connection credential type 选择 default
-
进入 Secrets Manager,创建一个新的对象,在 Key/Value 中分别填写 accessId,accessKey 对应在阿里云实际的用户ID和key。
-
在 Glue 创建 Connection 页面选中上一步骤创建好的 Secret 对象。
-
展开 Network options 选择 VPC,和带有NAT的私有子网。
-
点击 Create ,这样就创建好 MaxComputer 的连接。
2.3 Glue ETL Job
- 点击菜单中的 ETL Jobs,选择 Visual with a source and target。Source 选择创建好的 Custom Connector,Target 选择 S3,点击 Create 创建一个新的 ETL Job
- 在 ETL 画布页面,双击Data source,在Connection中选择,2.2 步骤创建的 MaxComputer Connection。设置需要同步的表名
- 点击 Data target,设置 S3 的路径
- 保存,运行。