目录
1、安装前提:hadoop全分布
2、卸载MariaDB数据库
(1)设置防火墙服务开启不启动
(2)查看linux自带的MariaDB数据库
(3)卸载linux自带的MariaDB数据库
3、安装mysql数据库
(1)上传mysql安装包
(2)解压安装包
(3)安装依赖文件,注意先后顺序,必须按照顺序来安装
4、配置Hive组件
(1)解压安装包
(2)设置hive环境变量并使其生效
(3)修改Hive组件配置文件
(4)在Hive安装目录中创建临时文件夹tmp
5、初始化Hive元数据
(1)将MySQL驱动移动到$HIVE_HOME/lib目录下
(3)启动hadoop相关进程start-all.sh,查看进程:
(4)初始化Hive元数据,使用schematool升级元数据,将Hive的数据重新写入MySQL数据库中。
错误1处理:
6、启动hive,并进行操作
(1)启动hive
(2)查看数据库
(3)查看default数据库所有表。
(4)创建表stu,表的id为整数型,name为字符型。
(5)为表stu插入一条信息,id号为1001,name为zhangsan。
(6)查看表stu的结构。
(7)查看表stu的内容。
7、通过Hive命令行界面查看文件系统和历史命令
(1)查看本地文件系统
(2)查看HDFS文件系统
1、安装前提:hadoop全分布
master节点:
slave1节点:
slave2节点:
注意:假性进程,即在master节点上使用stop-all.sh命令关闭hadoop分布后,slave1,slave2节点相关进程是否会关闭,如果关闭,那么重新开启,说明hadoop集群分布成功。
如果没有关闭,说明为假性进程,进行相关处理。
2、卸载MariaDB数据库
切换到root用户,
(1)设置防火墙服务开启不启动
systemctl disable firewalld
(2)查看linux自带的MariaDB数据库
(3)卸载linux自带的MariaDB数据库
3、安装mysql数据库
(1)上传mysql安装包
(2)解压安装包
(3)安装依赖文件,注意先后顺序,必须按照顺序来安装
先安装以下文件
安装mysql-server软件的两个依赖软件包
安装mysql server安装包
启动MYSQL数据库,并查看启动状态
注意:若是启动失败,则在/var/logs/mysqld.log中,或者/var/run/mysqld.log中查看日志。
查看mysql默认数据库密码
Mysql数据库初始化
登录数据库:
mysql -u root -p
添加root用户本地访问授权
grant all privileges on *.* to root@'localhost' identified by 'Password123$';
添加root用户远程访问授权
grant all privileges on *.* to root@'%' identified by 'Password123$';
刷新授权
flush privileges;
查询root用户授权情况
select user,host from mysql.user where user='root';
退出mysql数据库
4、配置Hive组件
(1)解压安装包
(2)设置hive环境变量并使其生效
a.找到hive文件所在路径,并复制
b.在/etc/profile文件末尾添加hive文件路径
c.使设置生效
(3)修改Hive组件配置文件
切换到hadoop用户执行对以下Hive组件hive-site进行操作,在$HIVE_HOME/conf目录下。
可以使用vi编辑器里的搜索命令:及先输入/再输入关键字,即可定位搜索到。
a设置MySQL数据库连接
b配置MySQL数据库root的密码
c验证元数据存储版本一致性,若默认false,则不用修改。
d配置数据库驱动。
e配置数据库用户名。
f配置临时文件存储目录
1、
2、
3、
4、
(4)在Hive安装目录中创建临时文件夹tmp
5、初始化Hive元数据
(1)将MySQL驱动移动到$HIVE_HOME/lib目录下
(2)删除Hadoop安装目录文件夹下 share/hadoop/yarn/lib/jline-0.9.94.jar文件,没有则不用管。
(3)启动hadoop相关进程start-all.sh,查看进程:
(4)初始化Hive元数据,使用schematool升级元数据,将Hive的数据重新写入MySQL数据库中。
错误1处理:
登录mysql数据库,删除hive数据库。
再次初始化即可成功。
6、启动hive,并进行操作
(1)启动hive
(2)查看数据库
(3)查看default数据库所有表。
显示没有任何表。