零障碍入门：SSH免密登录与Hadoop生态系统的完美搭档【实训Day02】

一、 SSH免密登录配置

1 生成公钥和秘钥(在hadoop101上)

# su star 
# cd /home/star/.ssh
# ssh-keygen -t rsa


2 公钥和私钥


            公钥id_rsa.pub 
            私钥id_rsa


3 将公钥拷贝到目标机器上(在hadoop101上)

# ssh-copy-id hadoop101
# ssh-copy-id hadoop102
# ssh-copy-id hadoop103


4 生成后将公钥拷贝到目标机器上(在hadoop102上)

# ssh-keygen -t rsa
# ssh-copy-id hadoop101
# ssh-copy-id hadoop102
# ssh-copy-id hadoop103

5 生成后将公钥拷贝到目标机器上(在hadoop103上)

# ssh-keygen -t rsa
# ssh-copy-id hadoop101
# ssh-copy-id hadoop102
# ssh-copy-id hadoop103


6 生成后将公钥拷贝到目标机器上(在hadoop101上)

        生成root用户的公钥和私钥

# su root
# ssh-keygen -t rsa
# ssh-copy-id hadoop101
# ssh-copy-id hadoop102
# ssh-copy-id hadoop103

7 测试免密登录(在hadoop101上)

# su star
# ssh hadoop102
# ssh hadoop103
# ssh hadoop101

8 .ssh文件夹下的文件解释

         ==========================
            authorized_keys 存放授权过的免密登录的服务器公钥
            id_rsa 生成的私钥
            id_rsa.pub 生成的公钥
            known_hosts 记录ssh访问过的计算机的公钥
            ====================================

二、Hadoop集群配置


1 配置core-site.xml(在hadoop101上)


           # cd $HADOOP_HOME/ect/hadoop/
            # vim core-site.xml
            ==========配置内容如下=================
            

<!--1.指定 NameNode 的地址-->
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop101:9820</value>
            </property>
            <!--2.指定 hadoop 数据的存储目录-->
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-3.1.3/data</value>
            </property>
            <!--3.配置 HDFS 网页登录使用静态用户为 star-->
            <property>
                <name>hadoop.http.staticuser.user</name>
                <value>star</value>
            </property>
            <!--4.配置 star(superUser)允许通过代理访问的主机节点-->
            <property>
                <name>hadoop.proxyuser.star.hosts</name>
                <value>*</value>
            </property>
            <!--5.配置 star(superGroup)允许通过代理用户所属组-->
            <property>
                <name>hadoop.proxyuser.star.groups</name>
                <value>*</value>
            </property>
            <!--6.配置 star(superUser)允许通过代理的用户-->
            <property>
                <name>hadoop.proxyuser.star.groups</name>
                <value>*</value>
            </property>


            ==================================================
        

2 配置yarn-site.xml(在hadoop101上)


            # cd $HADOOP_HOME/ect/hadoop/
            # vim yarn-site.xml 
            =========配置内容如下=============
            

<!--1.指定 MR 走 shuffle 机制-->
            <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
            </property>
            <!--2.指定 ResourceManager 的地址-->
            <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop102</value>
            </property>
            <!--3.环境变量的继承-->
            <property>
            <name>yarn.nodemanager.env-whitelist</name>
            <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOM
            E,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YAR
            N_HOME,HADOOP_MAPRED_HOME</value>
            </property>
            <!--4.yarn 容器允许分配的最大最小内存-->
            <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>512</value>
            </property>
            <property>
            <name>yarn.scheduler.maximum-allocation-mb</name>
            <value>4096</value>
            </property>
            <!--5.yarn 容器允许管理的物理内存大小-->
            <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>4096</value>
            </property>
            <!--6.关闭 yarn 对物理内存和虚拟内存的限制检查-->
            <property>
            <name>yarn.nodemanager.pmem-check-enabled</name>
            <value>false</value>
            </property>
            <property>
            <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
            </property>


            ====================================================
            

3 配置hfds-site.xml(在hadoop101上)


            # cd $HADOOP_HOME/ect/hadoop/
            # vim hdfs-site.xml 
            ===========配置内容如下==========
          

 <!--1.NameNode nn web 端访问地址-->
            <property>
                <name>dfs.namenode.http-address</name>
                <value>hadoop101:9870</value>
            </property>
            <!--2.SecondaryNameNode 2nn web 端访问地址-->
            <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop103:9868</value>
            </property>
            <!--3.设置 HDFS 不启动权限检查-->
            <property>
                <name>dfs.permissions</name>
                <value>false</value>
            </property>


        ==========================================
        

4 配置mapred-site.xml(在hadoop101上)


            # cd $HADOOP_HOME/ect/hadoop/
            # vim mapred-site.xml 
            ==========配置内容如下=========
            

<!--1.指定 Mapreduce 程序运行在 Yarn 之上-->
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>


            =============================
      


5 将集群文件进行分发(在hadoop101上)


            # xsync.sh /opt/module/
        


6 查看分发配置文件的情况


            在hadoop102上
            # cd /opt/module/hadoop-3.1.3/etc/hadoop
            # cat core-site.xml
            
            在hadoop103上
            # cd /opt/module/hadoop-3.1.3/etc/hadoop
            # cat core-site.xml

三、 Hadoop集群部署


1 配置works(在hadoop101上)


            # cd /opt/module/hadoop-3.1.3/ect/hadoop/
            # vim workers
            =========配置内容如下(删除原先内容)====
            hadoop101
            hadoop102
            hadoop103
            =====注意保存时不允许有空格以及空行====
            将该文件进行分发
            # xsync.sh /opt/module/hadoop-3.1.3/ect/hadoop/workers

2.Hadoop集群格式化（在hadoop101上)

# su star

#hdfs namenode -format

注意事项：

1.各种端口号是用.表示

2.各种配置文件tag写错了

3.若需要再次格式化则需要

        先删除hadoop-3.1.3文件夹下的data和logs文件夹

4.必须使用star用户进行格式化

当格式化之后就会产生data 和 logs 文件

3 环境变量的分发及生效(在hadoop101上)


            # sudo xsync.sh /etc/profile.d/my_env.sh 
            
            在hadoop102上
            # source /etc/profile.d/my_env.sh 
            # java -version
            # hadoop version
            
            在hadoop103上
            # source /etc/profile.d/my_env.sh 
            # java -version
            # hadoop version

4 Hadoop分布式集群启动(在hadoop101上)


            启动Hadoop集群
            # cd $HADOOP_HOME/sbin
            # start-dfs.sh 
            # jps

5 Yarn的启动(在hadoop102上)


            启动Yarn
            # cd $HADOOP_HOME/sbin
            # start-yarn.sh
            # jps

6 WEB端查看HDFS(需先启动HDFS)


            http://hadoop101:9870

7 WEB端查看YARN(需先启动YARN）


            http://hadoop102:8088

四、MySQL安装

1 查看是否安装过


        # rpm -qa | grep mariadb mariadb-libs-5.5.56-2.el7.x86_64
        # sudo rpm -e ---nodeps 

2 MySQL安装包上传(在hadoop101上)


        # cd /opt/software
        
        上传到该目录mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar


3 解压缩第一层包(在hadoop101上)


        # cd /opt/software
        # tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar


        
4 安装MySQL文件(必须按照顺序安装 在hadoop101上)

        # cd /opt/software


        # sudo rpm -ivh 
            mysql-community-common-5.7.28-1.el7.x86_64.rpm
            
        # sudo rpm -ivh 
            mysql-community-libs-5.7.28-1.el7.x86_64.rpm --force --nodeps
        
        # sudo rpm -ivh 
            mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm --force --nodeps
        
        # sudo rpm -ivh 
            mysql-community-client-5.7.28-1.el7.x86_64.rpm
      
        # sudo yum install -y libaio


        # sudo rpm -ivh 
            mysql-community-server-5.7.28-1.el7.x86_64.rpm --force --nodeps

5 删除配置文件(在hadoop101上)


        查看mysql所安装的目录(查看datadir的目录结果)
        # vim /etc/my.cnf
        删除datadir指向的目录所有文件内容
        # cd /var/lib/mysql
        # sudo rm -rf ./*
    


6 初始化数据库(在hadoop101上)


        # sudo mysqld --initialize --user=mysql


    
  7 查看初始化密码(在hadoop101上 -localhost后面)


        # sudo cat /var/log/mysqld.log


        
8 启动MySQL的服务(在hadoop101上)


        # sudo systemctl start mysqld


    
9 登录MySQL数据库(在hadoop101上)


        # mysql -u root -p 
        Enter password:输入mysqld.log中的密码



10 修改数据库密码


        mysql>set password = password("123456");


    
11 修改数据库任意连接(在hadoop101上)


        mysql>update mysql.user set host='%' where
                user='root';
        mysql>flush privileges;
        mysql>quit;


        
12 测试mysql数据库(在hadoop101上)


        # mysql -u root -p 
        Enter password:123456
        mysql>quit;

数据库删除操作

五、Hive安装


1 上传安装包(在hadoop101上)


        # cd /opt/software
        上传apache-hive-3.1.2-bin.tar.gz压缩包 


2 解压缩安装包(在hadoop101上)


        # cd /opt/software
        # tar -zxvf apache-hive-3.1.2-bin.tar.gz   -C /opt/module/

3 修改hive的文件夹名称(在hadoop101上)


        # cd /opt/module/
        # mv apache-hive-3.1.2-bin hive 


4 添加hive的环境变量(在hadoop101上)


        # sudo vim /etc/profile.d/my_env.sh
        =======添加内容如下======
        #HIVE_HOME
        export HIVE_HOME=/opt/module/hive
        export PATH=$PATH:$HIVE_HOME/bin
        ===============================
        # soruce /etc/profile.d/my_env.sh
        # cd $HIVE_HOME

cd $HIVE_HOME/conf
vim hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--1.jdbc连接的URL-->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop101:3306/hivedb?useSSL=false</value>
    </property>
    <!--2.jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    
    <!--3.jdbc连接username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!--4.jdbc连接password-->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    
    <!--5.hive默认在HDFS的工作目录-->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    
    <!--6.hive元数据存储的验证-->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <!--7.元数据存储授权-->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    
</configuration>

cd /opt/software/

5.上传mysql-connector-java-5.1.27-bin.jar

cp mysql-connector-java-5.1.27-bin.jar $HIVE_HOME/lib
cd $HIVE_HOME/lib

cd $HIVE_HOME/conf

vim hive-site.xml

mysql -u root -p123456

mysql> create database hivedb CHARACTER set utf8;

quit;

6.初始化

schematool -initSchema -dbType mysql -verbose

7.启动hadoop

start-dfs.sh
start-yarn.sh

8.启动Hive

cd /opt/module/hive

bin/hive

hive> show databases;
hive> use default ;
hive> show tables;
hive> create table test(id int);
hive> insert into test values(1);

hive> select * from test;

hive安装部署成功

实训Day02 轻松搞定easy~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/770345.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

翔云发票查验接口状态码说明，哪种情况扣次数那种情况不扣次数呢

翔云发票查验接口状态码说明，哪种情况扣次数那种情况不扣次数呢

翔云发票查验API&#xff0c;实时联网&#xff0c;可以实现发票信息真伪的快速核验&#xff0c;帮助企业财务摆脱繁琐的发票真伪查验工作。那么知道了发票查验接口的作用&#xff0c;对于开发者而言&#xff0c;接口返回的状态码又分别代表什么含义呢&#xff1f;下面就翔云发票…
阅读更多...
【Elasticsearch】Elasticsearch索引创建与管理详解

【Elasticsearch】Elasticsearch索引创建与管理详解

文章目录 &#x1f4d1;引言一、Elasticsearch 索引的基础概念二、创建索引2.1 使用默认设置创建索引2.2 自定义设置创建索引2.3 创建索引并设置映射 三、索引模板3.1 创建索引模板3.2 使用索引模板创建索引 四、管理索引4.1 查看索引4.2 更新索引设置4.3 删除索引 五、索引别名…
阅读更多...
掌握高效实用的VS调试技巧

掌握高效实用的VS调试技巧

&#x1f525; 个人主页&#xff1a;大耳朵土土垚 1.编程常见的错误 1.1编译型错误 编程编译型错误是指在编译代码时发现的错误。编译器在编译过程中会检查代码是否符合语法规范和语义要求&#xff0c;如果发现错误会产生编译错误。 直接看错误提示信息&#xff08;双击&#…
阅读更多...
超声波气象站的工作原理

超声波气象站的工作原理

TH-CQX5超声波气象站中的超声波技术是其核心工作原理之一&#xff0c;以下是关于超声波气象站中超声波的详细解释&#xff1a;超声波是一种频率高于人耳能听到的声音频率范围的声波&#xff0c;通常指频率在20kHz以上的声波。超声波具有较短的波长和强的穿透能力&#xff0c;能…
阅读更多...
相机,手机,行车记录仪及监控视频修复软件: Stellar Repair for Video

相机,手机,行车记录仪及监控视频修复软件: Stellar Repair for Video

天津鸿萌科贸发展有限公司是 Stellar 系列数据恢复软件的授权代理商。 Stellar Repair for Video 是一款强大的工具&#xff0c;用于修复从主流相机品牌&#xff08;如佳能、尼康、索尼&#xff09;、行车记录仪、监控录像机、手机和其他视频设备拍摄的无法访问和损坏的视频。…
阅读更多...
zabbix 配置企业微信告警

zabbix 配置企业微信告警

1、申请一个企业微信&#xff0c; 官网链接 2、群内申请一个机器人 下载电脑版企业微信&#xff0c;登录后&#xff0c;在要接收群消息的群里&#xff0c;点击右上角三个点&#xff0c;添加机器人后&#xff0c;保存机器人的webhook地址 上传应用logo&#xff0c;填写应用名称…
阅读更多...
MySQL—创建和修改数据表结构

MySQL—创建和修改数据表结构

创建表 实例&#xff1a; CREATE TABLE user (id INT,name VARCHAR(255),password VARCHAR(255),birthday DATE) CHARACTER SET utf8 COLLATE utf8_bin ENGINE INNODB; 显示数据库中的表 show tables from hsp; 显示表结构 desc dept; 修改表 实例&#xff1a; 代码&…
阅读更多...
Vue85-Vuex的求和案例

Vue85-Vuex的求和案例

一、需求 二、开发 2-1、index.js中vuex的代码 注意&#xff1a; 书写格式&#xff1a;actions中的函数名用小写&#xff01;mutations中的函数名&#xff0c;用大写。 注意&#xff1a; 2-2、组件count.vue中的代码 2-3、代码优化 三、actions中的context参数 此写法的后…
阅读更多...
网安小贴士（6）TCP/IP分层

网安小贴士（6）TCP/IP分层

一、前言 1983年&#xff0c;美国国防部决定将TCP/IP作为所有计算机网络的标准协议&#xff0c;这标志着TCP/IP正式成为互联网的基础协议。随着个人计算机的普及和网络技术的发展&#xff0c;TCP/IP模型被广泛应用于各种网络环境中&#xff0c;包括局域网&#xff08;LAN&#…
阅读更多...
天行健咨询|六西格玛绿带培训是投资未来，还是金钱的“黑洞”？

天行健咨询|六西格玛绿带培训是投资未来，还是金钱的“黑洞”？

六西格玛绿带培训&#xff0c;作为一种被众多企业推崇的培训课程&#xff0c;自然成为了众多职场人士关注的焦点。然而&#xff0c;面对培训的高昂费用和时间成本&#xff0c;很多人开始质疑&#xff1a;参加六西格玛绿带培训&#xff0c;到底是投资还是浪费钱&#xff1f;深圳…
阅读更多...
前端重点之：Vue+websocket通信详细用法和websocket心跳机制的使用，websocket断开实时监测，websocket实时通信

前端重点之：Vue+websocket通信详细用法和websocket心跳机制的使用，websocket断开实时监测，websocket实时通信

今年年初找工作，好多gou面试官总喜欢问关于websocket通信的使用方式，此次又用到了，在此做个总结：主要包含websocket的具体使用方法，和重点：（心跳机制的使用），就是主要是前端实时监测websocket是否有断连和数据的处理 在前端开发中，WebSocket 是一种常见的技术，用于…
阅读更多...
安华金和—可信数据空间助力公共数据授权运营安全有序开展的实践探索

安华金和—可信数据空间助力公共数据授权运营安全有序开展的实践探索

伴随数字化、网络化和智能化的快速发展&#xff0c;数字经济与实体经济深度融合&#xff0c;数据已然成为经济发展赖以依托的基础性、战略性资源&#xff0c;对社会生产、分配、流通、消费和社会服务管理等各环节产生深刻影响。我国高度重视数字经济发展&#xff0c;将数据列入…
阅读更多...
构造函数深入理解

构造函数深入理解

目录 构造函数构造函数体赋值初始化列表初始化列表格式初始化列表的意义以及注意点const修饰的成员变量初始化对象成员具体初始化的地方缺省值存在的意义例子1例子2 初始化与赋值引用成员变量的初始化注意点1注意点2我的疑惑 自定义类型成员初始化例子1例子2例子3例子4 初始化列…
阅读更多...
Sentinel链路流控模式失效的解决方法

Sentinel链路流控模式失效的解决方法

解决方法 1、在pom.xml中增加sentinel-web-servlet的依赖&#xff0c;我使用的版本是1.7.1 <dependency><groupId>com.alibaba.csp</groupId><artifactId>sentinel-web-servlet</artifactId> </dependency>2、在项目中添加一个FilterCon…
阅读更多...
J-Flash刷机的步骤

J-Flash刷机的步骤

1、Keil编译代码&#xff0c;生成文件&#xff1a;E:\automotive\xxx.axf 2、打开"SEGGER J-Flash V7.88k"&#xff0c;配置Project information 3、点击菜单栏中的"File"&#xff0c;open data file&#xff0c;找到所需的xxx.axf文件 4、按快捷键F7进…
阅读更多...
Yolov8模型调参大全：超详细解读每一个参数

Yolov8模型调参大全：超详细解读每一个参数

目录 1. 代码获取方式 2. YOLOv8网络配置 3. Yolov8使用 3.1. CLI 3.2. Python 4.default.yaml文件解读 1. 代码获取方式 Yolov8项目地址&#xff1a;https://github.com/ultralytics/ultralytics 这里就不详细介绍v8了 2. YOLOv8网络配置 # Ultralytics YOLO &…
阅读更多...
利用多模态大模型解决旅行商问题

利用多模态大模型解决旅行商问题

概述 ○ 该研究论文提出了一种利用多模态大型语言模型&#xff08;MLLM&#xff09;的视觉推理能力来解决旅行商问题&#xff08;TSP&#xff09;和多旅行商问题&#xff08;mTSP&#xff09;的新方法。 ○ 传统方法依赖于节点坐标和距离矩阵&#xff0c;而本研究则采用多智能…
阅读更多...
ueditor解决无法抓取远程背景图片问题的方法(php)

ueditor解决无法抓取远程背景图片问题的方法(php)

背景 laravel后台经常有用到编辑器的地方&#xff0c;Dcat使用的一般都是UEditor编辑器。最近项目经理在秀米排版以后&#xff0c;将内容复制到UEditor编辑器保存后发现&#xff0c; 在网站页面中发现图片竟然展示失败。经过浏览器控制台发现&#xff0c;图片的域名还是秀米的…
阅读更多...
HMI 的 UI 风格创新无限

HMI 的 UI 风格创新无限

HMI 的 UI 风格创新无限
阅读更多...
变频器配置V20

变频器配置V20

变频器控制最好是变频电机&#xff0c;在速度不低的情况下工频电机 改变电机转速&#xff0c;调节扭矩&#xff0c; 变频器 L1 L2 L3 ,R S T 电机输入 uvw 电机输出 FSD 制动电阻 设置步骤 恢复出厂设置 p0010:30 p0970:21p0003:3(设定访问级别) P0003 用户访问级别 0 - 4 1…
阅读更多...
最新文章

Copyright @ 2022~2023