关于OceanBase与CDH适配的经验分享

CDH是Cloudera早期推出的一个开源平台版本，它实质上成为了Apache Hadoop生态系统内公认的安装与管理平台，专为企业级需求量身打造。CDH为用户提供了即装即用的企业级解决方案。通过整合Hadoop与另外十多项关键开源项目，Cloudera构建了一个功能强大的系统，能够支持从端到端的大数据工作流处理。CDH的免费版本在6.3.2版本后停止了更新，转而专注于商业版本的发布。尽管如此，许多企业仍选择利用该免费版本的CDH成功部署了Hadoop大数据平台。

简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。

1、前言

CDH的配置库支持Mysql，Oracle及postgresql数据库，大部分公司使用的是Mysql作为CDH的配置库，在高可用场景中，Mysql容易成为单点故障的关键点，而OceanBase天然具备高可用特性，有必要研究切换CDH的配置库为OceanBase，如此就有了这篇文章。

2、遇到的问题

问题一：在安装启动CM启动过程中，第一步将初始化配置数据库SQL的时候，有检查数据库的引擎，必须是InnoDB，如图1，原因是OB执行show engines返回的是OceanBase，如图2。（OB数据库可定制show engines输出来支持就好了）

1677989041

图1-CM启动报错图

1677988399

图2-OB执行show engines

问题2：通过重新编译源码，绕过CM对数据库引擎检查后，报不支持连续修改的错误，报错见图3-1及图3-2，原因是OB作为分布式数据库，为分布式一致性不支持连续执行ddl修改操作，需分步骤执行才能成功，如图4。（OB数据库能社加个开关支持连续修改就好了）

1678015742

图3-1，通过逗号连接，连续修改数据库表报错-1

1678017040

图3-2连续修改数据库表，上条未执行完执行下一条报错

1678022152

图4-需改造CM的ddl语句

应对以上两个问题，经和社区大佬分析、评估及指导后，做出以下两个解决方案：

修改OB源码，编译并安装修改后的Observer，绕过CM的show engines的检查；
修改CM的ddl，绕过OB不支持连续执行的ddl；

下面以此操作步骤为线，记录这个过程。

3、编译OceanBase、安装和租户创建

1. 下载源码

git clone https://github.com/oceanbase/oceanbase.git

2. 修改源码

vim src/observer/virtual_table/ob_all_virtual_engine_table.cpp

第58行OceanBase改为InnoDB，如图5

1677993608

图5-OceanBase改为InnoDB

3. 编译源码

编译流程见编译方法，编译后新的RPM包在oceanbase/build_rpm目录下，RPM包见图6

1677993892

图6-编译后的RPM包

4. 安装及启动

安装oceanbase-ce-4.1.0.0-1.el7.x86_64.rpm

rpm -ivh oceanbase-ce-4.1.0.0-1.el7.x86_64.rpm

拷贝安装目录bin下observer文件，使用OBD部署一个4.0环境，替换bin下observer文件为新文件，并启动，如图7；修改后的show engines如图8

1678000592

图7-启动OB

1678000808

图8-show engine

5. 准备用于安装CDH的租户及用户

登录系统root，并创建租户

CREATE RESOURCE UNIT unit001 MAX_CPU 8,MEMORY_SIZE '10G';
CREATE RESOURCE POOL pool001 UNIT='unit001',UNIT_NUM=1,ZONE_LIST=('zone1');
CREATE TENANT IF NOT EXISTS cdh
     CHARSET='utf8mb4',
     PRIMARY_ZONE='zone1',
     RESOURCE_POOL_LIST=('pool001')
     SET ob_tcp_invited_nodes='%';

登录租户root，并准备用户 bigdata 密码 Bigdata@cdh_test，并创建cmdb数据库和hive数据库

alter user root identified by 'Root@cdh_test' ;
CREATE USER 'bigdata' IDENTIFIED BY 'Bigdata@cdh_test';
CREATE DATABASE cmdb
 DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON *.* TO bigdata WITH GRANT OPTION;

4、安装CDH并配置CM

（省略1千字的安装过程）

tar -zxvf cm6.3.1-redhat7.tar.gz
cd /home/shaqf/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
yum install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

1. 修改数据库配置文件

vim /etc/cloudera-scm-server/db.properties

内容

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=192.168.21.17:2881
com.cloudera.cmf.db.name=cmdb
com.cloudera.cmf.db.user=bigdata@cdh
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=Bigdata@cdh_test

启动CM

service cloudera-scm-server restart

查看日志：more /var/log/cloudera-scm-server/cloudera-scm-server.log，报错如图9

1678015742

图9-执行ddl报错

2. 修改ddl

修改/opt/cloudera/cm/schema/mysql下的所有ddl文件，修改如图4；

这里使用java进行批量修改，代码如下：

import java.io.*;
import java.util.HashSet;
import java.util.Set;

public class StartMain {
    public static void main(String[] args) throws Exception {
        File pathFile = new File("C:\\Users\\sha\\Desktop\\mysql\\");
        Set<File> fileSet = new HashSet<>();
        findFiles(pathFile, fileSet);
        for (File file:fileSet) {
            RandomAccessFile raf = new RandomAccessFile(file,"r");
            String line = null;
            String preLine = null;
            StringBuffer sbfDDL = new StringBuffer();
            while ((line = raf.readLine()) != null){
                if(line.trim().startsWith("alter table ")){
                    preLine = line;
                    sbfDDL.append(line);
                    sbfDDL.append("\n");
                } else if (line.trim().startsWith("add index ") && line.trim().endsWith(",")){
                    line = line.replaceAll(",",";");
                    sbfDDL.append(line);
                    sbfDDL.append("\n");
                    sbfDDL.append(preLine);
                    sbfDDL.append("\n");
                } else {
                    sbfDDL.append(line);
                    sbfDDL.append("\n");
                }
            }
            BufferedWriter bufWriter = null;
            try {
                bufWriter = new BufferedWriter(new FileWriter(file, false));// 覆盖
                bufWriter.write(sbfDDL.toString());
                bufWriter.flush();
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                if (bufWriter != null) {
                    try {
                        bufWriter.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            }
        }
    }
    private static void findFiles(File file, Set<File> files) {
        if (file.isDirectory()) {
            File[] fileArray = file.listFiles();
            if (fileArray != null) {
                for (int i = 0; i < fileArray.length; i++) {
                    findFiles(fileArray[i], files);
                }
            }
        } else {
            files.add(file);
        }
    }
}

上传修改后的ddl，清空cmdb数据库，再次执行重启任务，有关命令如下

drop database cmdb;
CREATE DATABASE cmdb
DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
service cloudera-scm-server restart

查看日志：more /var/log/cloudera-scm-server/cloudera-scm-server.log，报错如图9

1678017040

图9-ddl报错

3. 继续修改ddl

继续修改/opt/cloudera/cm/schema/mysql下的所有ddl文件，修改如图4；

这里使用java到Linux上进行批量修改，代码如下：

import java.io.*;
import java.util.HashSet;
import java.util.Set;
 
public class StartMain {
    public static void main(String[] args) throws Exception {
        File pathFile = new File("/opt/cloudera/cm/schema/mysql");
        Set<File> fileSet = new HashSet<>();
        findFiles(pathFile, fileSet);
        for (File file:fileSet) {
            RandomAccessFile raf = new RandomAccessFile(file,"r");
            String line = null;
            String preLine = null;
            StringBuffer sbfDDL = new StringBuffer();
            boolean isAlterLine = false;
            while ((line = raf.readLine()) != null){
                if(line.trim().startsWith("alter table ")){
                    preLine = line;
                    sbfDDL.append(line);
                    sbfDDL.append("\n");
                    isAlterLine = true;
                } else if (line.trim().startsWith("add ") && line.trim().endsWith(",")){
                    line = line.replaceAll(",","; select sleep(1); ");
                    sbfDDL.append(line);
                    sbfDDL.append("\n");
                    sbfDDL.append(preLine);
                    sbfDDL.append("\n");
                } else if (line.trim().startsWith("modify ") && line.trim().endsWith(",")){
                    line = line.replaceAll(",","; select sleep(1); ");
                    sbfDDL.append(line);
                    sbfDDL.append("\n");
                    sbfDDL.append(preLine);
                    sbfDDL.append("\n");
                } else if (line.trim().startsWith("drop ") && line.trim().endsWith(",")){
                    line = line.replaceAll(",","; select sleep(1); ");
                    sbfDDL.append(line);
                    sbfDDL.append("\n");
                    sbfDDL.append(preLine);
                    sbfDDL.append("\n");
                } else {
                    if(isAlterLine && line.trim().endsWith(";")){
                        line = line.replaceAll(";","; select sleep(1); ");
                    }
                    sbfDDL.append(line);
                    sbfDDL.append("\n");
                }
            }
            BufferedWriter bufWriter = null;
            try {
                bufWriter = new BufferedWriter(new FileWriter(file, false));// 覆盖
                bufWriter.write(sbfDDL.toString());
                bufWriter.flush();
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                if (bufWriter != null) {
                    try {
                        bufWriter.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            }
        }
    }
    private static void findFiles(File file, Set<File> files) {
        if (file.isDirectory()) {
            File[] fileArray = file.listFiles();
            if (fileArray != null) {
                for (int i = 0; i < fileArray.length; i++) {
                    findFiles(fileArray[i], files);
                }
            }
        } else {
            files.add(file);
        }
    }}

修改ddl文件：

vim 05021_cmf_schema.mysql.ddl
vim 05300_cmf_schema.mysql.ddl

分别注释掉下面两行（05021_cmf_schema.mysql.ddl新增IDX_CLIENT_CONFIG_HOST索引，05300_cmf_schema.mysql.ddl又删除IDX_CLIENT_CONFIG_HOST索引，而05300_cmf_schema.mysql.ddl删除索引会报错）

--alter table CLIENT_CONFIGS
--  add index IDX_CLIENT_CONFIG_HOST (HOST_ID); select sleep(1);

-- alter table CLIENT_CONFIGS
--  drop index IDX_CLIENT_CONFIG_HOST; select sleep(1);

如图-10修复所有即建索引又指定主键的ddl

1678097791

图-10 在建表时不能即建索引又指定主键（修复方法：索引单独创建）

确保ddl修改完成后，清空cmdb数据库，再次执行重启任务，有关命令如下

drop database cmdb;
CREATE DATABASE cmdb DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
service cloudera-scm-server restart

查看日志：more /var/log/cloudera-scm-server/cloudera-scm-server.log，报错如图-11，报错不影响接入系统（后续得观察运行稳定性）

1678097821

图-11 启动报错

5、登录系统

登录地址：http://192.168.25.47:7180/ 如图-12

1678097831

图-12 成功接入CM