学习大数据的第一天

今天学习如何安装hapood安装

1.安装hapood安装

2.需要的资料

3.开始安装

1.创建目录

 mkdir -p /export/server

2.进入目录下

 cd /export/server/

3.安装

安装需要的依赖

yum install gcc gcc-c++ make autoconf automake libtool curl lzo-devel zlib-devel openssl openssl-devel ncurses-devel snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst zlib -y
yum install -y doxygen cyrus-sasl* saslwrapper-devel*

下载安装cmake-3.9.4

文件下载

 wget http://www.cmake.org/files/v3.19/cmake-3.19.4.tar.gz

文件安装

解压文件

tar zxvf cmake-3.19.4.tar.gz

进入目录编译安装

cd /export/server/cmake-3.19.4

安装

./configure

这里安装比较慢

继续安装

make && make install

验证是否安装成功

cmake -version

下载安装 snappy

下载

Index of /repo/pkgs/snappy

下载 1.1.3的版本

安装

卸载已经安装的

rm -rf /usr/local/lib/libsnappy*
rm -rf /lib64/libsnappy*

上传文件

上传文件snappy-1.1.3.tar.gz到 /export/server/目录下

解压文件

 tar zxvf snappy-1.1.3.tar.gz

安装 编译

cd /export/server/snappy-1.1.3
./configure

编译

make && make install

验证

 ls -lh /usr/local/lib |grep snappy

安装JDK文件

上传文件

jdk-8u241-linux-x64.tar.gz 到 /export/server/目录下

解压

tar zxvf jdk-8u241-linux-x64.tar.gz
配置环境变量

vim /etc/profile

注意

进入到新的页面中

shift+g 然后输入i 进入编辑模式

export JAVA_HOME=/export/server/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

加入到 

输入 esc 退出 编辑模式 

输入 :wq 保存 退出

文件生效

source /etc/profile

验证文件

 java -version

安装maven

下载maven 

maven下载地址 Index of /maven/maven-3/3.8.8/binaries

绿色的是文件路径

上传文件

解压文件

tar -zxvf apache-maven-3.8.8-bin.tar.gz

配置环境变量

vim /etc/profile
 

export MAVEN_HOME=/export/server/apache-maven-3.8.8
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH

加载文件

source /etc/profile

 验证文件

mvn -v

配置阿里云地址信息

vim /export/server/apache-maven-3.8.8/conf/settings.xml

我先在需要加快进度了

安装ProtocolBuffer 3.7.1

下载 ProtocolBuffer 3.7.1文件

GitCode - 开发者的代码家园

上传文件

解压文件

tar -zxvf protobuf-v3.7.1.tar.gz

安装

cd protobuf-v3.7.1/

./autogen.sh

./configure
make && make install

验证

protoc --version

安装hadoop

下载hadoop文件信息

链接：https://pan.baidu.com/s/1vmXHrlfd1crbjAwgpZJL5g?pwd=ue6w 
提取码：ue6w

上传

注意

必须把文件上传到root目录

解压

tar zxvf hadoop-3.3.0-src.tar.gz

编译

cd hadoop-3.3.0

mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib

文件说明

Pdist,native ：把重新编译生成的hadoop动态库；
DskipTests ：跳过测试
Dtar ：最后把文件以tar打包
Dbundle.snappy ：添加snappy压缩支持【默认官网下载的是不支持的】
Dsnappy.lib=/usr/local/lib ：指snappy在编译机器上安装后的库路径

 今天基础环境已经安装完成了明天更新其他的

开始操作三台机器进行安装的方式

1.查看主机名称

cat /etc/hostname

2.配置映射关系

vim /etc/hosts

配置的每个主机和ip必须相同才可以使用

3.安装jdk的方式

java -version

 

上面安装过了我们检测一下

4.同步集群时间

ntpdate ntp5.aliyun.com

 5.关闭防火墙

1.查看防火墙状态

firewall-cmd --state

2.停止防火墙

systemctl stop firewalld.service

 3.禁止开启自动启动

systemctl disable firewalld.service

 6.ssh 免密登陆

在hadoop01

生成密钥

ssh-keygen

执行

 ssh-copy-id hadoop01

 ssh-copy-id hadoop02

 ssh-copy-id hadoop03 

7.切换目录修改配置文件信息

1.进入目录

cd /export/server

2. 上传文件 hadoop-3.3.0-Centos7-64-with-snappy.tar.gz到/export/server

3.解压文件

tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

4.进入配置文件目录

cd hadoop-3.3.0/etc/hadoop/

5.添加信息

5.1 修改文件 hadoop-env.sh

 vim hadoop-env.sh

添加文件

export JAVA_HOME=/export/server/jdk1.8.0_241
export HDFS_NAMENODE_USER=root
  export HDFS_DATANODE_USER=root
  export HDFS_SECONDARYNAMENODE_USER=root
  export YARN_RESOURCEMANAGER_USER=root
  export YARN_NODEMANAGER_USER=root

 5.2 修改文件 core-site.xml

vim core-site.xml

添加修改文件

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://hadoop01:8020</value>
  </property>
  
  <!-- 设置Hadoop本地保存数据路径 -->
  <property>
      <name>hadoop.tmp.dir</name>
      <value>/export/data/hadoop-3.3.0</value>
  </property>
  
  <!-- 设置HDFS web UI用户身份 -->
  <property>
      <name>hadoop.http.staticuser.user</name>
      <value>root</value>
  </property>
  
  <!-- 整合hive 用户代理设置 -->
  <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
  </property>
  
  <property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
  </property>
  
  <!-- 文件系统垃圾桶保存时间 -->
  <property>
      <name>fs.trash.interval</name>
      <value>1440</value>
  </property>

5.3 修改配置文件 hdfs-site

修改文件 hdfs-site.xml

vim hdfs-site.xml
添加配置文件

<!-- 设置SNN进程运行机器位置信息 -->
  <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop02:9868</value>
  </property>
 

5.4 修改  mapred-site

添加信息

<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  
  <!-- MR程序历史服务地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
  </property>
   
  <!-- MR程序历史服务器web端地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
  </property>
  
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>

5.5 修改 yarn-site.xml

添加配置文件

 <!-- 设置YARN集群主角色运行机器位置 -->
  <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>hadoop01</value>
  </property>
  
  <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
  </property>
  
  <!-- 是否将对容器实施物理内存限制 -->
  <property>
      <name>yarn.nodemanager.pmem-check-enabled</name>
      <value>false</value>
  </property>
  
  <!-- 是否将对容器实施虚拟内存限制。 -->
  <property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
  </property>
  
  <!-- 开启日志聚集 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  
  <!-- 设置yarn历史服务器地址 -->
  <property>
      <name>yarn.log.server.url</name>
      <value>http://hadoop01:19888/jobhistory/logs</value>
  </property>
  
  <!-- 历史日志保存的时间 7天 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>

8. 出现了问题

workers
 

我们是编辑里面信息不是启动

正确操作的方式

vim workers

输入


hadoop01.itcast.cn
hadoop02.itcast.cn
hadoop03.itcast.cn
 

9.传输文件信息

在 hadoop02, hadoop3执行

mkdir -p /export/server

发送文件

scp -r hadoop-3.3.0 root@hadoop02:$PWD

scp -r hadoop-3.3.0 root@hadoop03:$PWD

10.三台机械添加文件信息

vim /etc/profile

export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

11. 初始化

hdfs namenode -format

启动脚本

start-dfs.sh

问题这里出现了问题我们没有给其他俩个机器配置java_home 我们配置一下

在hadoop01执行

发送文件

scp -r jdk1.8.0_241 root@hadoop02:$PWD

scp -r jdk1.8.0_241 root@hadoop03:$PWD

配置文件

vim /etc/profile

添加到 hadoop02,hadoop03

export JAVA_HOME=/export/server/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

执行

start-dfs.sh 

 启动成功

执行

start-yarn.sh

成功了

12 输入 jps

4.需要注意

5.验证结果

6.可能需要的命令

1.查找文件

find / -name CMake-3.19.4

2.shfit+g

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/560093.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

安装SSL证书之后还会有不安全提示怎么办？

安装SSL证书之后还会有不安全提示怎么办？

安装SSL证书过程中如果遇到错误&#xff0c;不要慌&#xff0c;按照以下步骤进行排查和解决&#xff1a; 1. 仔细阅读错误信息&#xff1a; - 错误消息通常会明确指出问题所在&#xff0c;如证书过期、证书链不完整、域名不匹配等。记下或截图保存具体的错误代码和描述&#xf…
阅读更多...
解锁ApplicationContext vs BeanFactory: 谁更具选择性？

解锁ApplicationContext vs BeanFactory: 谁更具选择性？

目录 一、聚焦源码回顾 &#xff08;一&#xff09;源码分析和理解 &#xff08;二&#xff09;简短的回顾对比建议 二、ApplicationContext vs BeanFactory特性对比 &#xff08;一&#xff09;主要特性总结 &#xff08;二&#xff09;直接建议 三、案例简单说明 &am…
阅读更多...
SCADA系统通过巨控GRM模块实现OPC协议远程监控PLC

SCADA系统通过巨控GRM模块实现OPC协议远程监控PLC

SCADA系统和PLC不在同一个地方&#xff0c;需要远程监控和控制PLC&#xff0c;可以通过巨控GRM模块来实现&#xff0c;通过OPC协议转巨控服务器远程读写PLC寄存器&#xff0c;从而完成远程监控PLC。 要实现SCAKDA系统远程监控PLC&#xff0c;关键是要实现SKADA能通过互联网访问…
阅读更多...
G1垃圾回收器

G1垃圾回收器

G1垃圾回收器 概述 1.Young Collection(年轻代垃圾回收) 说明&#xff1a;下图中 e代表eden区(伊甸园)&#xff0c;s代表幸存者区&#xff0c;o代表老年代 初始时&#xff0c;所有区域都处于空闲状态 创建了一些对象&#xff0c;挑出一些空闲区域作为伊甸园区存储这些对象 G1…
阅读更多...
数据结构学习--环形链表

数据结构学习--环形链表

环形链表 我们在判断一个链表是否是环形的&#xff0c;即首尾相连&#xff0c;我们可以以使用快慢指针&#xff0c;如果快指针能再次追上慢指针&#xff0c;就说明该链表是环形的&#xff0c;这边可以举个操场跑步的例子&#xff0c;当操场是环形的&#xff0c;跑的快的&#…
阅读更多...
Docker Compose 的安装和使用详解

Docker Compose 的安装和使用详解

Docker Compose 是 Docker 官方开源的容器编排（Orchestration）项目之一，用于快速部署分布式应用。本文将介绍 Docker Compose 的基本概念、安装流程及使用方法。 简介 Compose 项目是 Docker 官方的开源项目，负责实现对 Docker 容器集群的快速编排。从功能上看，Docker C…
阅读更多...
交换基础配置--单臂路由

交换基础配置--单臂路由

1、创建vlan 创建vlan10 创建vlan10和vlan20 创建vlan1到vlan9 vlan1可以不用创建&#xff0c;因为交换机的所有接口默认为vlan1 本实验只需要vlan10和vlan20&#xff0c;以上只是介绍创建vlan的方法。 查看创建的vlan&#xff1a; sw2同理。接着将需要划分vlan的接口划入…
阅读更多...
【java】29：IO流

【java】29：IO流

文件&#xff1a; 1 什么是文件&#xff1a; 文件&#xff0c;对我们并不陌生&#xff0c;文件是保存数据的地方&#xff0c;比如大家经常使用的word文档,txt文件&#xff0c;excel文件.….都是文件。它既可以保存一张图片&#xff0c;也可以保持视频&#xff0c;声音.. .2 文…
阅读更多...
开源Windows12网页版HTML源码

开源Windows12网页版HTML源码

源码介绍 开源Windows12网页版HTML源码&#xff0c;无需安装就能用的Win12网页版来了Windows12概念版&#xff08;PoweredbyPowerPoint&#xff09;后深受启发&#xff0c;于是通过使用HTML、CSS、js等技术做了这样一个模拟板的Windows12系统&#xff0c;并已发布至github进行…
阅读更多...
jvm-接口调用排查

jvm-接口调用排查

问题描述 线上碰到个问题&#xff0c;某个接口调用时间特别长&#xff0c;线上调用接口直接报gateway time out 分析处理 1、先关闭该功能 &#xff08;该功能是非核心功能&#xff09; 2、本地起服务连环境排查&#xff0c;发现本地正常。并且线上其他接口正常&#xff0c;…
阅读更多...
回归预测 | Matlab实现SA-BP模拟退火算法优化BP神经网络多变量回归预测

回归预测 | Matlab实现SA-BP模拟退火算法优化BP神经网络多变量回归预测

回归预测 | Matlab实现SA-BP模拟退火算法优化BP神经网络多变量回归预测 目录 回归预测 | Matlab实现SA-BP模拟退火算法优化BP神经网络多变量回归预测预测效果基本描述程序设计参考资料 预测效果 基本描述 1.Matlab实现SA-BP模拟退火算法优化BP神经网络多变量回归预测&#xff0…
阅读更多...
Ansible初识以及安装

Ansible初识以及安装

1. Ansible应用简述&#xff1a; Ansible基于python语言实现&#xff0c;由Paramiko和PyYAML两个关键模块构建。具有独特的设计理念&#xff1a; 1&#xff09;安装部署简单 2&#xff09;管理主机便捷&#xff0c;支持多主机并行管理 3&#xff09;避免在被管理主机上安装客户…
阅读更多...
【GitBlit】Windows搭建Git服务器详细教程

【GitBlit】Windows搭建Git服务器详细教程

前言 如果公司或个人想在 Windows 环境下搭建私有的 Git 服务器&#xff0c;那么这个开源的 GitBlit 是一个不错的选择。 Gitblit 是一个开源纯 Java 的用于管理、查看和服务 Git 存储库。它是一个小型的托管集中式存储库工具。支持 SSH、HTTP 和 GIT 协议&#xff0c;开箱即…
阅读更多...
通过PyCharm平台开发Django应用程序

通过PyCharm平台开发Django应用程序

学会使用命令行工具开发Django应用程序是基础&#xff0c;不过更多的时候还是要借助平台开发工具。目前&#xff0c;最好的Django应用程序开发工具就是jetBrains公司推出的PyCharm平台了。 借助PyCharm开发平台&#xff0c;可以极大提高开发Django应用程序的效率&#xff0c;同…
阅读更多...
静态成员与友元，内部类初识

静态成员与友元，内部类初识

一.静态成员 1.静态成员变量 &#xff08;1&#xff09;定义&#xff1a; 类的定义中以静态声明的变量 &#xff08;2&#xff09;写法&#xff1a; static 变量声明 &#xff08;3&#xff09;注意&#xff1a; 静态成员变量不在对象中&#xff0c;在静态区&#xff0c…
阅读更多...
从OWASP API Security TOP 10谈API安全

从OWASP API Security TOP 10谈API安全

1.前言 应用程序编程接口&#xff08;API&#xff09;是当今应用驱动世界创新的一个基本元素。从银行、零售、运输到物联网、 自动驾驶汽车、智慧城市&#xff0c;API 是现代移动、SaaS 和 web 应用程序的重要组成部分&#xff0c;可以在面向客 户、面向合作伙伴和内部的应用程…
阅读更多...
Xinstall：实现注册后自动绑定，提升用户体验

Xinstall：实现注册后自动绑定，提升用户体验

在移动互联网时代&#xff0c;App的注册与绑定流程对于用户体验至关重要。繁琐的注册步骤和手动绑定操作往往会让用户望而却步&#xff0c;导致用户流失。为了解决这一问题&#xff0c;Xinstall品牌推出了注册后自动绑定功能&#xff0c;极大提升了用户体验。 Xinstall的自动…
阅读更多...
手写Java设计模式之抽象工厂模式，附源码解读

手写Java设计模式之抽象工厂模式，附源码解读

接上篇&#xff0c;抽象工厂模式将汽车的一些属性可以抽象出来&#xff0c;可以理解为给不同汽车品牌生成时加上不同的特性&#xff0c;如颜色等&#xff0c;具体代码如下&#xff1a; 引入颜色接口&#xff1a; public interface Colour {void fill(); }将颜色与汽车生成品牌…
阅读更多...
线性代数基础2矩阵

线性代数基础2矩阵

矩阵是什么 矩阵就是二维数组&#xff0c;下面是一个 m 乘 n 的矩阵&#xff0c;它有 m 行&#xff0c;n 列&#xff0c;每行每列上面都有元素&#xff0c;每个元素都有行标i 和列标 j&#xff0c; a ij 。简称m n矩阵&#xff0c;记作&#xff1a; 注意a11的索引是 A[0,0]。…
阅读更多...
Redis入门到通关之数据结构解析-RedisObject

Redis入门到通关之数据结构解析-RedisObject

文章目录 ☃️概述☃️源码 ☃️概述 RedisObject 是 Redis 中表示数据对象的结构体&#xff0c;它是 Redis 数据库中的基本数据类型的抽象。在 Redis 中&#xff0c;所有的数据都被存储为 RedisObject 类型的对象。 RedisObject 结构体定义如下&#xff08;简化版本&#xf…
阅读更多...
最新文章

Copyright @ 2022~2023