大数据基础设施搭建 - Doris

文章目录

  • 一、Linux系统要求
    • 1.1 设置系统最大打开文件句柄数
    • 1.2 设置最大虚拟块的大小
    • 1.3 集群中其他安装doris的机器同上调整
    • 1.4 重启服务器生效
  • 二、确认需要下载哪个Doris版本
  • 三、上传并解压压缩包
    • 3.1 创建目录
    • 3.2 解压fe
    • 3.3 解压be
    • 3.4 解压java udf函数
      • 3.4.1 解压
      • 3.4.2 复制udf包到be
  • 四、配置FE
    • 4.1 修改配置fe.conf
    • 4.2 启动/关闭FE
    • 4.3 WEB访问测试
  • 五、配置BE
    • 5.1 修改配置be.conf
    • 5.2 创建目录
    • 5.3 分发BE
    • 5.4 配置其他节点的BE
      • 5.4.1 配置be.conf的ip
      • 5.4.2 创建目录
  • 六、添加BE
    • 6.1 使用mysql客户端连接到FE
    • 6.2 设定密码
    • 6.3 添加BE
    • 6.4 启动/关闭BE
  • 七、测试
    • 7.1 创建库
    • 7.2 创建表
    • 7.3 插入数据

一、Linux系统要求

1.1 设置系统最大打开文件句柄数

注意这里的*不要去掉

[hadoop@hadoop102 ~]$ sudo vim /etc/security/limits.conf

内容:

* soft nofile 65536
* hard nofile 131072
* soft nproc 131072
* hard nproc 131072

1.2 设置最大虚拟块的大小

[hadoop@hadoop102 ~]$ sudo vim /etc/sysctl.conf

新增内容:

vm.max_map_count=2000000

1.3 集群中其他安装doris的机器同上调整

1.4 重启服务器生效

二、确认需要下载哪个Doris版本

下载地址:https://doris.apache.org/download/
执行下列命令,能查出记录的下载avx2版本,否则下载noavx2版本

cat /proc/cpuinfo | grep avx2

三、上传并解压压缩包

3.1 创建目录

[hadoop@hadoop102 ~]$ mkdir -p /opt/module/doris

3.2 解压fe

[hadoop@hadoop102 software]$ tar -xvf apache-doris-fe-1.2.4.1-bin-x86_64.tar.xz -C /opt/module/doris

3.3 解压be

[hadoop@hadoop102 software]$ tar -xvf apache-doris-be-1.2.4.1-bin-x86_64.tar.xz -C /opt/module/doris

3.4 解压java udf函数

3.4.1 解压

[hadoop@hadoop102 software]$ tar -xvf apache-doris-dependencies-1.2.4.1-bin-x86_64.tar.xz -C /opt/module/doris

3.4.2 复制udf包到be

[hadoop@hadoop102 ~]$ cp /opt/module/doris/apache-doris-dependencies-1.2.4.1-bin-x86_64/java-udf-jar-with-dependencies.jar /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/lib/

四、配置FE

4.1 修改配置fe.conf

vim /opt/module/doris/apache-doris-fe-1.2.4.1-bin-x86_64/conf/fe.conf

修改内容:

# web 页面访问端口
http_port = 7030
# 配置文件中指定元数据路径:默认在 fe 的根目录下,可以不配
# meta_dir = /opt/module/doris/apache-doris-fe-1.2.4.1-bin-x86_64/doris-meta
# 修改绑定 ip
priority_networks = 172.28.76.203/24

注意:priority_networks配置依据,执行命令 ip a查询子网网段

在这里插入图片描述

4.2 启动/关闭FE

# 启动
[hadoop@hadoop102 ~]$ /opt/module/doris/apache-doris-fe-1.2.4.1-bin-x86_64/bin/start_fe.sh --daemon
# 关闭
[hadoop@hadoop102 ~]$ /opt/module/doris/apache-doris-fe-1.2.4.1-bin-x86_64/bin/stop_fe.sh

4.3 WEB访问测试

http://hadoop102:7030
用户名:root
密码:无

五、配置BE

5.1 修改配置be.conf

vim /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/conf/be.conf

修改内容:

# 不配置存储目录, 则会使用默认的存储目录
webserver_port = 7040 
priority_networks = 172.28.76.203/24
storage_root_path = /opt/module/doris/doris-storage1;/opt/module/doris/doris-storage2.SSD,10

5.2 创建目录

注意:存储目录必须手动提前创建

[hadoop@hadoop102 ~]$ cd /opt/module/doris/
[hadoop@hadoop102 doris]$ mkdir doris-storage1
[hadoop@hadoop102 doris]$ mkdir doris-storage2.SSD

5.3 分发BE

分发到需要安装BE的节点

[hadoop@hadoop102 doris]$ mytools_rsync apache-doris-be-1.2.4.1-bin-x86_64/

5.4 配置其他节点的BE

5.4.1 配置be.conf的ip

[hadoop@hadoop103 ~]$ vim /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/conf/be.conf
# 修改内容:
priority_networks = 172.28.76.204/24
[hadoop@hadoop104 ~]$ vim /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/conf/be.conf
# 修改内容:
priority_networks = 172.28.76.205/24

5.4.2 创建目录

# hadoop103
[hadoop@hadoop103 ~]$ cd /opt/module/doris/
[hadoop@hadoop103 doris]$ mkdir doris-storage1
[hadoop@hadoop103 doris]$ mkdir doris-storage2.SSD

# hadoop104
[hadoop@hadoop104 ~]$ cd /opt/module/doris/
[hadoop@hadoop104 doris]$ mkdir doris-storage1
[hadoop@hadoop104 doris]$ mkdir doris-storage2.SSD

六、添加BE

目的:将be和fe连接起来
需要使用mysql客户端连接doris

6.1 使用mysql客户端连接到FE

[mall@mall ~]$ mysql -hhadoop102 -P9030 -uroot

6.2 设定密码

mysql> SET PASSWORD FOR 'root' = PASSWORD('aaaaaa');

6.3 添加BE

mysql> 
ALTER SYSTEM ADD BACKEND "hadoop102:9050";
ALTER SYSTEM ADD BACKEND "hadoop103:9050";
ALTER SYSTEM ADD BACKEND "hadoop104:9050";

6.4 启动/关闭BE

# 启动
[hadoop@hadoop102 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/start_be.sh --daemon
[hadoop@hadoop103 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/start_be.sh --daemon
[hadoop@hadoop104 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/start_be.sh --daemon
# 关闭
[hadoop@hadoop102 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/stop_be.sh
[hadoop@hadoop103 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/stop_be.sh
[hadoop@hadoop104 ~]$ /opt/module/doris/apache-doris-be-1.2.4.1-bin-x86_64/bin/stop_be.sh

七、测试

7.1 创建库

create database test_db;
use test_db;

7.2 创建表

7.3 插入数据

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/455849.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Linux中的文件类型

一、Linux系统如何区分文件类型? Linux系统中不以文件后缀名来区分文件类型,而是通过文件属性中第一列来区分 (Linux系统不以文件后缀名区分文件类型,但是不代表Linux系统不使用文件后缀名,LInux系统中的许多工具例如…

有来团队后台项目-解析7

sass 安装 因为在使用vite 创建项目的时候,已经安装了sass,所以不需要安装。 如果要安装,那么就执行 npm i -D sass 创建文件 src 目录下创建文件 目录结构如图所示: reset.scss *, ::before, ::after {box-sizing: border-box;border-color: currentcolor;border-st…

国家网安教育技术产业融合发展试验区建设专家指导组莅临麒麟信安调研

3月12日下午,由教育部网络安全教学指导委员会秘书长(专家组组长)封化民、工业和信息化部规划司原司长肖华、中国现代国际关系研究院原副院长张力等领导组成的国家网安教育技术产业融合发展试验区建设专家指导组莅临麒麟信安及湖南欧拉生态创新…

手把手教你打造研究生个人简历模板|轻松驾驭简历设计

在简历设计中,如何展现自己的学历优势,是很多学生困扰的问题。 下面,我们首先从即时设计中分享一些不同风格的研究生简历模板。 风格多样的免费简历设计模板https://js.design/community?categorysearch&search%E7%AE%80%E5%8E%86&…

使用el-row及el-col页面缩放时出现空行解决方案

问题: 当缩放到90%或者110%,选中下拉后,下方就会出现空行 如下图所示: 关于el-row 和 el-col : 参数说明类型可选值默认值span栅格占据的列数number—24offset栅格左侧的间隔格数number—0push栅格向右移动格数number…

【Python/crawl】如何使用Python爬虫将一系列网页上的同类图片下载到本地

【需求】 从网页https://www.zhainq.com/%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f%e6%9c%ba%e6%9e%84/%e6%97%a5%e6%9c%ac%e7%be%8e%e5%a5%b3%e5%86%99%e7%9c%9f/109012.html 开始,有十七页,每页都有大漂亮“小濑田麻由”的若干图片,想要将其…

Maven的基本使用

Maven的基本使用 一、为什么要使用Maven1.1 方便添加第三方Jar包1.2 方便获取第三方Jar包(中央仓库)1.3 解决了依赖问题1.4 解决了依赖冲突1.4 项目管理更清晰1.5 总结 二、Maven的下载三、配置Maven本地仓库和中央仓库3.1 Settings文件3.2 配置本地仓库3.3 配置中央仓库(镜像地…

UE5数字孪生系列笔记(二)

智慧城市数字孪生系统 制作流云动画效果 首先添加一个图像在需要添加流云效果的位置 添加动画效果让其旋转 这个动画效果是程序开始就要进行的,所以要在EventConstruct中就可以启动这个动画效果 添加一个一样的图像在这里,效果是从此处进行放大消散 添…

海豚调度系列之:任务类型——SQL节点

海豚调度系列之:任务类型——SQL节点 一、SQL节点二、创建任务三、任务参数四、任务样例五、运行该任务成功之后在hive中查询结果六、使用前置sql和后置sql示例 一、SQL节点 SQL任务类型,用于连接数据库并执行相应SQL。 二、创建任务 点击项目管理-项…

异步发送CompletableFuture<Void> future = CompletableFuture.runAsync(()

基于runAsync系列方法实现无返回值的异步计算 CompletableFuture future CompletableFuture.runAsync(() -> { sendTextMessage(userInfo,dxContent);//发送 });

Electron程序如何在MacOS下获取相册访问权限

1.通过entitiment.plist,在electron-builder签名打包时,给app包打上签名。最后可以通过codesign命令进行验证。 TestPhotos.plist electron-builder配置文件中加上刚刚的plist文件。 通过codesign命令验证,若出现这个,则说明成…

rancher是什么

Rancher Labs是制作Rancher的公司。Rancher Labs成立于2014年,是一家专注于企业级容器管理软件的公司。它的产品设计旨在简化在分布式环境中部署和管理容器的过程,帮助企业轻松地采用容器技术和Kubernetes。Rancher Labs提供的Rancher平台支持Docker容器…

element-plus 完成下拉切换功能

项目场景: element-plus element-plus 完成下拉切换功能,选用了popover 组件去进行样式修改,本来大概是要实现下面这样的样式效果,没想到调整的时候,这个选择的高亮模块总是超出。 实现效果: 解决方案&am…

【数据结构】二叉树---AVL树的实现

目录 一. 什么是AVL树 二. AVL树的结点结构定义 三. AVL树的动态平衡法 1. 左单旋转 --- RL(RotateLeft) 型调整操作 2. 右单旋转 --- RR(RotateRight) 型调整操作 3. 先左后右双旋转 --- RLR (RotateLeftRight) 型调整操作 4. 先右后左双旋转 --- RRL (RotateRightL…

【SpringBoot篇】再战 登录注册操作

文章目录 ⭐model.dto.user层🎈UserRegisterRequest.java🎈UserLoginRequest.java ⭐model.dto.entity层🎈User.java ⭐service层🎈UserService.java🎈UserServiceimpl.java ⭐controller层⭐mapper层🎈Use…

Parade Series - WebRTC ( < 300 ms Low Latency ) T.B.D

Parade Series - FFMPEG (Stable X64) 延时测试秒表计时器 ini/config.ini [system] homeserver storestore\nvr.db versionV20240312001 verbosefalse [monitor] listrtsp00,rtsp01,rtsp02 timeout30000 [rtsp00] typelocal deviceSurface Camera Front schemartsp ip127…

Ubuntu下txt中文显示乱码问题常规解决方法

在正常使用ubuntu 文档时,突然发现txt文档出现,如下情况 无法正常观看,后来搜了一下发现是gedit 没有对应打开文件的编码格式,Ubuntu用的是utf-8,所以打开会有乱码!初始没有GBK和GB2312,把GBK和GB2312添加…

OpenMP 编程模型

OpenMP 内存模型 共享内存模型: OpenMP 专为多处理器/核心、共享内存机器设计,底层架构可以是共享内存UMA或NUM OpenMP 执行模型 基于线程的并行: OpenMP 程序基于多线程来实现并行, 线程是操作系统可以调度的最小执行单元。 …

全氟烷氧基树脂PFA容量瓶在实验室金属杂质测定实验中应用

PFA(全氟烷氧基树脂)容量瓶是一种高性能的实验室器皿,因其出色的化学稳定性和低吸附性而被广泛应用于各种高精度化学分析。在硅材料表面金属杂质含量的测定中,PFA容量瓶发挥了关键作用。 首先,要了解硅材料表面金属杂质…

高级JAVA工程师解决生产环境JVM宕机Java进程挡掉操作系统内存异常实例讲解

高级JAVA工程师解决生产环境JVM宕机Java进程挡掉内存溢出实例讲解 一、事故描述 生产环境Java进程莫名挡掉,JVM宕机。监控平台报警。生产停了,老板急了,客户爆了,怎么迅速解决事故?每次出现生产事故,都是…