大数据学习-环境准备

VMware 部分

网络设置

下载好 CentOS 7 的镜像文件

修改 VMware 的网络

把子网 ip 修改为 192.168.88.0,然后点击 NAT 设置,修改网关 IP 为 192.168.88.2

之后就确定即可

虚拟机安装

选择镜像文件,使用 VMware 的典型安装方法即可,这里用户是 lyj,密码是 1234

基本就是一路下一步即可

大数据集群这里使用三台虚拟机即可

当第一台虚拟机安装后,关机

右键虚拟机标签(如果没有就打开虚拟机),点击管理—克隆,克隆方法选择:完整克隆

起好名字即可,这里分别起名叫:hadoop-node-1/2/3,还好克隆虚拟机不需要把空间占用也克隆

克隆完毕后,把 node1 的内存修改为 4G,另外两个改成 2G

虚拟机网络设置

先切换为 root

su root

修改固定IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33

IPADDR=192.168.88.131

GATEWAY=192.168.88.2

NETMASK=255.255.255.0

DNS1=192.168.88.2

另外两台就是 192.168.88.132 192.168.88.133

修改主机名

hostnamectl set-hostname node1

重启网络

systemctl restart network

主机名与 IP 映射

在 Windows 中的 hosts 文件

C:\Windows\System32\drivers\etc\hosts

加入这三句:

192.168.88.131 node1

192.168.88.132 node2

192.168.88.133 node3

如果没有权限保存,就用管理员方式+记事本打开即可

在 Linux 的 hosts 文件

vim /etc/hosts

也加上这三句,三台机子都要加

192.168.88.131 node1

192.168.88.132 node2

192.168.88.133 node3

SSH

免密登录

在每一台机器上都执行这个命令,生成密钥,一直回车即可

ssh-keygen -t rsa -b 4096

生成的密钥文件在这个目录下

/root/.ssh

在每一台机器都执行

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

主要作用好像就是执行 ssh 命令可以快速切换 ssh 连接的主机

比如连接的是 node2,执行 ssh node1,就可以切换到 node1

创建用户 hadoop

主要还是培养习惯吧,毕竟在企业中不可能给开发 root 权限的

在每台机器执行命令,创建 hadoop 用户

useradd hadoop

在每台机器中执行,设置 hadoop 用户的密码:1234

别管它的提示说无效,用 root 用户就可以继续设置

passwd hadoop

切换 hadoop 用户,并生成密钥

su hadoop

ssh-keygen -t rsa -b 4096

在每台机器上执行

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

JDK 部分

给每个机器都部署好 JDK 环境,这里下载 JDK 1.8

Java Archive Downloads - Java SE 8u211 and later

创建文件夹,用来部署JDK,将JDK和Tomcat都安装部署到:/export/server 内

mkdir -p /export/server

解压上传的 JDK 压缩包

tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server

配置 JDK 软连接

ln -s /export/server/jdk1.8.0_391 /export/server/jdk

配置 JDK 的环境变量

vim /etc/profile

export JAVA_HOME=/export/server/jdk

export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

配置 Java 执行程序的软连接

# 删除系统自带的 Java 程序

rm -f /usr/bin/java

# 软连接自己安装的 Java

ln -s /export/server/jdk/bin/java /usr/bin/java

验证

java -version

javac -version

防火墙

每台机器都关闭它,并取消开机自启动

systemctl stop firewalld

systemctl disable firewalld

SELinux

这是一个安全模块,用来限制用户和程序的权限,保证系统安全

目前关闭即可

vim /etc/sysconfig/selinux

把 SELINUX=enforcing,修改为 SELINUX=disabled

disabled,不能拼错,不然无法开机

修改完毕后,重启虚拟机

reboot

修改时区并配置自动时间同步

1. 安装ntp软件

yum install -y ntp

2. 更新时区

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3. 同步时间

ntpdate -u ntp.aliyun.com

4. 开启ntp服务并设置开机自启

systemctl start ntpd

systemctl enable ntpd

给虚拟机搞个快照

万一出问题用于恢复

在 VMware 中点上面的虚拟机,找到快照,点击拍摄快照

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/729962.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

jQuery 基本操作

01-简介 jQuery 是一个功能丰富且广泛使用的 JavaScript 库,它简化了 HTML 文档遍历和操作、事件处理、动画和 Ajax 操作。jQuery 通过其易用的 API,使复杂的 JavaScript 编程任务变得更加简单,并且兼容各种浏览器。 1、jQuery特点 简化 DOM …

智慧工厂监控可视化解决方案(160页WORD)

方案介绍: 本智慧工厂监控可视化解决方案通过集成先进的物联网和大数据技术,为制造业企业提供了全面的数字化转型支持。通过实时监控、数据分析、可视化展示等功能,帮助企业提升生产效率、降低运营成本、优化产品质量和能源利用率&#xff0…

设计模式(三)代理模式

目录 一、什么是代理模式 二、静态代理 1、定义 2、代码 2.1、接口 2.2、被代理对象 2.3、代理对象 2.4、测试 三、动态代理 1、定义 2、代码 2.1、接口 2.2、目标对象 2.3、代理对象 2.4、测试 一、什么是代理模式 代理模式(Proxy Pattern)是一种结构性模式。代理模…

注塑件检测视觉检测中可能遇到的外观缺陷

机器视觉检测注塑件不良特征有哪些?按照检测需求一般分为两类:外观缺陷和尺寸缺陷。但由于注塑件的工艺特点及原材料特性,注塑件外观缺陷在生产过程中出现的概率于频率远远大于尺寸缺陷。 注塑件检测视觉检测中可能遇到的外观缺陷 1、色差&a…

CyberBattleSim-(内网自动化渗透)研究分析

01 背景知识介绍 CyberBattleSim介绍 CyberBattleSim是一款微软365 Defender团队开源的人工智能攻防对抗模拟工具,来源于微软的一个实验性研究项目。该项目专注于对网络攻击入侵后横向移动阶段进行威胁建模,用于研究在模拟抽象企业网络环境中运行的自动…

深入研究websocket直播中signature这个参数怎么来的,模拟自己生成一个

上一节课我们已经找到了生成signature这个字段的代码位置,就是这个B函数,嗯......听起来好像有点奇怪,但是它确实叫B啊,笑死。不管了,看一下里面的逻辑是啥。 注意e参数的内容是: {"app_name":…

Java基础之练习(2)

需求: 键盘录入一个字符串,使用程序实现在控制台遍历该字符串 package String;import java.util.Scanner;public class StringDemo5 {public static void main(String[] args) {//录入一个字符串Scanner sc new Scanner(System.in);System.out.println("请输入一个字符串…

vue3 antdv RadioButton默认值选择问题处理

1、先上官方文档&#xff1a; Ant Design Vue — An enterprise-class UI components based on Ant Design and Vue.js 官方代码&#xff1a; <template><div><div><a-radio-group v-model:value"value1"><a-radio-button value"a…

网络编程5----初识http

1.1 请求和响应的格式 http协议和前边学过的传输层、网络层协议不同&#xff0c;它是“一问一答”形式的&#xff0c;所以要分为请求和响应两部分看待&#xff0c;同时&#xff0c;请求和响应的格式是不同的&#xff0c;我们来具体介绍一下。 1.1.1 请求 在介绍请求之前&…

助力数据跨境,最新政策解读与应用实践分享

6月13日&#xff0c;VERYCLOUD睿鸿股份联合深数所企业数据合规服务南山工作站、亚马逊云科技&#xff0c;在深圳南山区共同主办了一场关于《数据出境合规之路——法规解析与实践探索》研讨会。 VERYCLOUD睿鸿股份是南山大数据产业协会的副会长单位。南山大数据产业协会作为深圳…

C++代码编写风格:Header-Only与声明实现分离的选择

C代码编写风格&#xff1a;Header-Only与声明实现分离的选择 最近看到一些小伙伴问到了几个比较有趣的问题&#xff0c;这里总结一下&#xff0c;这些都是实际面试中出现过的问题&#xff0c;看看你知道多少&#xff0c;考察一下底子。 面试问题1&#xff1a;你通常编写代码的风…

实战!如何从零搭建10万级 QPS 大流量、高并发优惠券系统--图文解析

实战&#xff01;如何从零搭建10万级 QPS 大流量、高并发优惠券系统–图文解析 原文链接&#xff1a;https://juejin.cn/post/7087824893831544845 原文作者&#xff1a;字节跳动技术团队 需求背景 需要设计、开发一个能够支持十万级 QPS 的优惠券系统 什么是QPS? Queri…

集采商城,智能费控4.0的核心载体

纵观企业费控模式进化史&#xff0c;从1.0手工报销模式到2.0线上报销模式&#xff0c;再到3.0移动报销模式&#xff0c;企业对费用管控的模式与技术虽然在不断升级迭代&#xff0c;但始终没有将消费端纳入费控体系&#xff0c;难以形成完整链路和闭环。 智能费控4.0创新提出场景…

SpringBoot+Vue物流快递仓库管理系统

物流快递仓库管理是一项非常繁琐复杂的工作&#xff0c;每天要处理大量的单据数据&#xff0c;包括入库、出库、退库、调库等多项货物操作流程。因此&#xff0c;为提高库管工作的质量和效率&#xff0c;就必须根据仓库管理的特点开发库存物流信息系统。 本文立足于物流信息系…

基于大数据的计算机就业数据可视化分析项目

使用Python作为编程语言&#xff0c;配合MySQL数据库以及Hadoop和Spark等大数据处理工具&#xff0c;实现了数据的抓取、清洗、分析到可视化展示的整个流程。系统采用Scrapy爬虫框架从拉勾网招聘平台高效抓取计算机行业的就业数据。随后&#xff0c;通过Pandas库对数据进行了深…

三人同行免单模式:社交电商的新趋势

在当今社交电商日益繁荣的背景下&#xff0c;三人同行免单模式作为一种创新的购物激励机制&#xff0c;正逐渐受到消费者和品牌的青睐。该模式通过消费者之间的互动和分享&#xff0c;促进产品销售和品牌推广&#xff0c;实现消费者与品牌的双赢。 模式概述 三人同行免单模式的…

Bilibili开源发布轻量级 Index 系列语言模型:2.8T 训练数据,支持角色扮演

Bilibili首次发布 Index 系列模型中的轻量版本&#xff1a;Index-1.9B 系列 本次开源的 Index-1.9B系列包含以下模型&#xff1a; Index-1.9Bbase:基座模型&#xff0c;具有 19 亿 非词嵌入参数量&#xff0c;在 2.8T 中英文为主的语料上预训练&#xff0c;多个评测基准上与…

养猫的上班族还不买智能猫砂盆吗?自费测评好用合集来啦!

到底谁还在蹲点等下班然后冲回家给猫铲屎的&#xff1f;原来是以前的我啊&#xff0c;任劳任怨给猫铲屎&#xff0c;上完自己的班回家还要给猫上班&#xff0c;累死累活的真的受不了&#xff01;最后实在受不了&#xff0c;在网上看了各种智能猫砂盆的测评后果断购入&#xff0…

mysql中的lead函数和over函数

文章目录 mysql中的lead函数和over函数作用需求场景实现方法group by分组和使用over函数分组有什么区别&#xff1f; mysql中的lead函数和over函数 作用 over函数是用来分组加排序的&#xff0c;然后等over函数分好组排好序之后&#xff0c;再使用lead函数去找当前分组内的下…

JMeter详解

一、线程组 作用:线程组就是控制Imeter用于执行测试的一组用户 位置:右键点击测试计划’-->添加 -->线程(用户)--> 线程组 特点: 模拟多人操作线程组可以添加多个&#xff0c;多个线程组可以并行或串行取样器(请求)和逻辑控制器必须依赖线程组才能使用线程组下可以…