CDH6.3.2安装文档

前置环境:

操作系统: CentOS Linux release 7.7

java JDK : 1.8.0_231

1、准备工作

准备以下安装包:

Cloudera Manager:

cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

CDH Parcel:

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1

manifest.json

MySQL:

mysql-community-common-5.7.19-1.el7.x86_64.rpm

mysql-community-libs-5.7.19-1.el7.x86_64.rpm

mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm

mysql-community-devel-5.7.19-1.el7.x86_64.rpm

mysql-community-client-5.7.19-1.el7.x86_64.rpm

mysql-community-server-5.7.19-1.el7.x86_64.rpm

全部放在/opt/CDH6.3.2 中

2、集群规划
hostnameIP角色CM组件软件包
bigdata1172.16.1.62masterserver,agentJDK1.8,mysql5.7
bigdata2172.16.1.63slaveagentJDK1.8
bigdata3172.16.1.64slaveagentJDK1.8
bigdata4172.16.1.65slaveagentJDK1.8
bigdata5172.16.1.67slaveagentJDK1.8
bigdata6172.16.1.68slaveagentJDK1.8
3、系统准备
3.1 修改主机名及映射(全部节点)
vi /etc/hostname
vi /etc/hosts
3.2 配置免密登录(SSH)(全部节点)

在用户主目录下,进入.ssh文件夹:

cd ~/.ssh

生成密钥:

ssh-keygen -t rsa

发放其他主机:

ssh-copy-id 主机名
3.3 时间同步NTP

所有节点安装ntp

yum -y install ntp

主节点:

vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
注释掉其他server xxx irurst

其他节点

vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
server bigdata1 iburst
注释掉其他server xxx irurst

添加server主机ip

vi /etc/sysconfig/ntpd
SYNC_CLOCK=yes

启动服务

systemctl start ntpd.service
​
systemctl enable ntpd.service
​
service ntpd status

其他节点:

crontab -e

写入:

*/10 * * * * /usr/sbin/ntpdate 主节点
3.4 修改系统参数(全部节点)
sysctl vm.swappiness=10
echo 'vm.swappiness=10'>> /etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
3.5 安装http(master节点)
yum -y install httpd

启动服务

service httpd start
4、安装软件
4.1 安装依赖(全部节点)
yum -y install chkconfig
yum -y install bind-utils
yum -y install chkconfig
yum -y install cyrus-sasl-gssapi
yum -y install cyrus-sasl-plain
yum -y install fuse
yum -y install fuse-libs
yum -y install gcc
yum -y install libxslt
yum -y install mod_ssl
yum -y install MySQL-python
yum -y install openssl
yum -y install openssl-devel
yum -y install perl
yum -y install portmap
yum -y install postgresql-server
yum -y install psmisc
yum -y install python-devel
yum -y install python-psycopg2
yum -y install python-setuptools
yum -y install sed
yum -y install sqlite
yum -y install swig
yum -y install zlib
yum -y install lsb
yum -y install libaio
​
4.2 安装JDK(全部节点)

1)上传JDK,在root用户下解压和配置,目录为:/usr/local/java/jdk1.8.0_231

mkdir -p /usr/share/java

将mysql-connector-java-5.1.46.jar拷贝至/usr/share/java/ 并更名为mysql-connector-java.jar

修改配置文件vi /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_231
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

添加软连接

ln -s /usr/local/java/jdk1.8.0_231/bin/java /usr/bin/java

mkdir /usr/java

ln -s /usr/local/java/jdk1.8.0_231 /usr/java/default
4.3 安装mysql(master节点)

按以下顺序安装

cd /opt/CDH6.3.2/mysql
rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

启动mysql

systemctl start mysqld

设置开机自启动mysql

systemctl enable mysqld

获取临时密码

cat /var/log/mysqld.log | grep password

查询到初始密码 2eB>8r;ZEO%2

使用初始密码登录mysql账号

mysql -uroot -p’2eB>8r;ZEO%2’

设置mysql root密码

set password=password('Pw#123456');
​
quit;

登陆设置允许外网访问当前的MySQL

mysql -uroot -pPw#123456
use mysql;
update user set host='%' where host='localhost';
delete from user where host != '%';
flush privileges;
quit;

建立相关数据库及用户

mysql -uroot -pPw#123456
grant all on *.* to root@'%' identified by "Pw#123456" with grant option;
create database scm default character set utf8 default collate utf8_general_ci;
grant all on scm.* to 'scm'@'%' identified by 'Pw#123456';
create database hue default character set utf8 default collate utf8_general_ci;
grant all on hue.* to 'hue'@'%' identified by 'Pw#123456';
create database hive default character set utf8 default collate utf8_general_ci;
grant all on hive.* to 'hive'@'%' identified by 'Pw#123456';
flush privileges;
5、安装CM
5.1 安装deamons(全部节点)
cd /opt/CDH6.3.2/cm
​
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
5.2 安装agent(全部节点)
cd /opt/CDH6.3.2/cm
​
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
5.3 配置agent的server节点(全部节点)
cp /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/config.ini.template
​
vim /etc/cloudera-scm-agent/config.ini
server_host=bigdata1(主节点主机名)
5.4 安装server(master节点)
cd /opt/CDH6.3.2/cm
​
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
6、启动CM
6.1 上传CDH包到parcel-repo(master节点)
cp /opt/CDH6.3.2/parcel/* /opt/cloudera/parcel-repo/

修改sha1为sha

mv /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
mkdir -p /var/www/html/cdh6_parcel

将/opt/cloudera/parcel-repo 下的文件复制到 /var/www/html/cdh6_parcel/

cp  /opt/cloudera/parcel-repo/* /var/www/html/cdh6_parcel/
6.2 修改配置(master节点)
vim /etc/cloudera-scm-server/db.properties

# 填入如下内容

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.host=bigdata1:3306
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.password=Pw#123456
6.3 启动server(master节点)
service cloudera-scm-server start

查看server状态

systemctl status cloudera-scm-server  
6.4 启动agent(全部节点)
service cloudera-scm-agent start

查看agent状态

systemctl status cloudera-scm-agent
7、安装CDH集群(master节点IP)

http://172.16.1.62:7180/cmf/login

账号:admin

密码:admin

进行访问,根据提示进行安装7.1 点击继续

7.2 同意协议

7.3 选择第一个版本Cloudera Express

7.4 点击继续

7.5 集群命名

7.6 选择服务器

7.7 使用Parcel安装

7.8 开始下载安装

7.9 检查机器

7.10 选择安装服务,自定义安装

7.11 自定义角色分配

7.12 数据库配置

7.13 审核更改

路径配置较复杂,不同环境可能不一样,需要一一确认

7.14 部署

7.15 安装完成

7.16 页面展示

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/669191.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

linux安装MYSQL后,利用grep查看MYSQL初始密码

问题描述 linux安装mysql获取初始密码 解决方案: 通过查看日志获取初始密码 grep "password" /var/log/mysqld.loggrep 是一个用于在文本中查找特定字符串的工具。 /var/log/mysqld.log 是要搜索的文件路径,"password" 是要查找的…

树莓集团:构筑全国数字影像生态链

在数字化浪潮席卷全球的今天,数字影像技术正以前所未有的速度改变着我们的生活。成都树莓集团以远见卓识和坚定步伐,专注于全国数字影像生态链的建设,不断推动着文创产业的创新与发展。 树莓集团致力于打造一个完整的数字影像生态链&#xff…

CLIP--Learning Transferable Visual Models From Natural Language Supervision

参考:CLIP论文笔记--《Learning Transferable Visual Models From Natural Language Supervision》_visual n-grams模型-CSDN博客 openAI,2021,将图片和文字联系在一起,----->得到一个能非常好表达图片和文字的模型主题&#…

Java后端代码框架包设计-什么是Domain,BO,VO?我们改如何区分和定义?

我们先来看看一个项目的代码结构,如下图: 1.定义包名用domain这个单词是什么含义 在Java中,domain 这个单词通常用于表示应用程序的“领域模型”(Domain Model)或“领域层”(Domain Layer)。领域模型是描述系统业务逻辑和规则的对象集合,它通常包含实体(Entities)、…

构建一个文字冒险游戏:Python 编程实战

在本文中,我们将探索如何使用 Python 创建一个简单的文字冒险游戏。通过这个项目,你将了解到基础的编程技术,包括条件语句、函数和基本的用户输入处理,同时也能体会到文本游戏的魅力和设计的挑战。 项目概述 文字冒险游戏是一种…

Transformer中的位置编码PE(position encoding)

Transformer中的位置编码PE(position encoding) 1.提出背景 transformer模型的attention机制并没有包含位置信息,即一句话中词语在不同的位置时在transformer中是没有区别的 2.解决背景 给encoder层和decoder层的输入添加了一个额外的向量Positional Encoding&a…

linux进程的加载和启动过程分析

我们的源代码通过预处理,编译,汇编,链接后形成可执行文件,那么当我们在终端敲下指令$ ./a.out argv1 argv2 后,操作系统是怎么将我们的可执行文件加载并运行的呢? 首先知道,计算机的操作系统的启动程序是写死在硬件上的,每次计算机上电时,都将自动加载启动程序,之后…

使用迭代最近点 (ICP) 算法在 Open3D 中对齐点云

一、Open3D 简介及其功能 Open3D 是一个现代库,它提供了用于处理 3D 数据的各种工具。在其功能中,它提供了高效的数据结构和算法来处理点云、网格等,使其成为在计算机视觉、机器人和图形领域工作的研究人员和从业人员的不错选择。Open3D 的特…

运维开发详解之指标收集

一、指标收集 运维开发中的指标收集是指收集、监控和分析系统运行的各种指标数据,用于评估系统的性能、健康状况和可靠性。这些指标可以包括服务器的 CPU 使用率、内存利用率、磁盘空间使用情况、网络流量等等。 指标收集的目的是为了及时发现系统存在的问题&…

Jetpack MVVM - Android架构探索!

一 开发架构 是什么? 我们先来理解开发架构的本质是什么,维基百科对软件架构的描述如下: 软件架构是一个系统的草图。软件架构描述的对象是直接构成系统的抽象组件。各个组件之间的连接则明确和相对细致地描述组件之间的通讯。在实现阶段&a…

选择算法之冒泡排序【图文详解】

P. S.:以下代码均在VS2019环境下测试,不代表所有编译器均可通过。 P. S.:测试代码均未展示头文件stdio.h的声明,使用时请自行添加。 博主主页:LiUEEEEE                        …

Java——变量

一、变量介绍 变量就是申请内存来存储值。也就是说,当创建变量的时候,需要在内存中申请空间。内存管理系统根据变量的类型为变量分配存储空间,分配的空间只能用来储存该类型数据。 1、变量声明和初始化 变量的声明: int a; i…

2021JSP普及组第三题:插入排序

2021JSP普及组第三题 题目: 思路: 题目要求排序后根据操作进行对应操作。 操作一需要显示某位置数据排序后的位置,所以需要定义结构体数组储存原数据的位置和数据本身排序后所得数据要根据原位置输出排序后的位置,所以建立一个新…

字典树,AcWing 5726. 连续子序列

一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 5726. 连续子序列 - AcWing题库 二、解题报告 1、思路分析 字典树存储前缀和 考虑边遍历计算前缀和,边查询字典树 查询流程: 记当前前缀和为s 如果当前位k为1,那么s …

Qt6 mathgl数学函数绘图

1. 程序环境 Qt6.5.1, mingw11.2mathgl 8.0.1: https://sourceforge.net/projects/mathgl/,推荐下载mathgl-8.0.LGPL-mingw.win64.7z,Windows环境尝试自己编译mathgl会缺失一些库,补充完整也可以自己编译,路径"D:\mathgl-8.0.LGPL-mingw.win64\bin"添加至系统环境…

关于Golang中自定义包的简单使用-Go Mod

1. go env 查看 GO111MODULE 是否为 on,不是修改成on go env -w GO111MODULEon 2 .自定义包的目录格式 3. test.go 内容 package calc func Add(x, y int) int { // 首字母大写表示公有方法return x y }func Sub(x, y int) int {return x - y } 4.生成calc目…

RedisSearch与Elasticsearch:技术对比与选择指南

码到三十五 : 个人主页 数据时代,全文搜索已经成为许多应用程序中不可或缺的一部分。RedisSearch和Elasticsearch是两个流行的搜索解决方案,它们各自具有独特的特点和优势。本文简单探讨一些RedisSearch和Elasticsearch之间的技术差异。 目录…

AndroidStudio使用高德地图API获取手机定位

一、高德地图API申请 首先去高德注册开发者账号 下面这两个选项,也是我们项目成功的关键 1.1怎么获取SHA1指纹密码 ①使用AS自带的签名文件 你的用户文件下面会有一个.android文件夹,进入文件夹,在这个路径下打开cmd 如果.android下面没有签名文件参考创建文章 …

CSS Canvas鼠标点击特效之天女散花(文本粒子动画)

1.效果 2.代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><style>body,html {margin: 0;padding: 0;wi…

一个班有n个学生,需要把每个学生的简单材料(姓名和学号)输入计算机保存。然后可以通过输入某一学生的姓名查找其有关资料。

当输入一个姓名后&#xff0c;程序就查找该班中有无此学生&#xff0c;如果有&#xff0c;则输出他的姓名和学号&#xff0c;如果查不到&#xff0c;则输出"本班无此人"。 为解此问题&#xff0c;可以分别编写两个函数&#xff0c;函数input_data用来输人n个…