前言
小北的这篇博客介绍的是关于用VirtualBox中下载好的ubuntu系统中,为搭建Hadoop平台所做的命令操作准备,希望能帮助不会的人有指引作用。
没有安装好VirtualBox中的ubuntu系统以及创建Hadoop账户的请参考小北之前的三篇博客:
ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_failed to open image 'd:\programdata\master\ubuntu-CSDN博客https://blog.csdn.net/Zhiyilang/article/details/135069233?spm=1001.2014.3001.5501Oracle VM VirtualBox初次安装及登入,异常退出及修改用——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_oracle vm box grub rescue-CSDN博客https://blog.csdn.net/Zhiyilang/article/details/135071058?spm=1001.2014.3001.5501
Hadoop安装笔记1单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理-CSDN博客https://blog.csdn.net/Zhiyilang/article/details/135236893?spm=1001.2014.3001.5502
提示:以下是本篇文章正文内容
一、为虚拟机设置网络连接方式
1,打开“VirtualBox”,找到并点击虚拟机的“设置”界面,找到“网络”->“网卡1”:
“连接方式”中找到“桥接网卡”,即可
2,打开虚拟机,并打开后端
出现问题:
在“终端”中使用 sudo 命令需要管理员密码,我使用“用户帐户”窗口从我的帐户中删除了密码,然后在运行sudo ,它提示我输入密码,即使我没有密码也是如此。 我尝试按Enter而不输入任何东西,但它没有帮助。
此外,我无法解锁我的帐户在“系统设置”的“用户帐户”窗口中设置新密码,因为它一直提示输入密码,除了空字符串外,就像sudo一样。 然后我终于使用passwd设置了一个新密码。
这是一个不应该发生的错误吗? 我该如何防止这种情况发生?
可以参考小北的这篇博客:
在Windows中使用VirtualBox安装Ubuntu虚拟机Oracle VM VirtualBox——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项-CSDN博客https://blog.csdn.net/Zhiyilang/article/details/135223395?spm=1001.2014.3001.5502
二、安装SSH
1,在后端中输入如下代码:
sudo apt-get install openssh-server
2,进入shell命令提示符状态,查看当前虚拟机的IP地址:
ifconfig
可以得到如图所示:
apt install net-tools
记住第二行的IP:192.168.1.3,待会下面第四步会用到,这是虚拟机主机IP
三、创建Hadoop普通用户(开头推荐的第三篇博客里也有)
1,打开终端,使用如下命令创建一个hadoop用户:
sudo useradd -m hadoop -s /bin/bash
2,为当前创建的hadoop用户设置密码:
sudo passwd hadoop
(小北这里设置的密码是:5678,简单一些好记忆~)
3,为当前hadoop用户增加管理员权限:
sudo adduser hadoop sudo
4,切换hadoop用户(因为之后代码的操作都是在hadoop用户下进行的,你也可以重新启动时可以看到用户的选择:一个是你一开始创建的,一个是hadoop用户)
su hadoop
修改su的密码,可以按照以下步骤进行:
- 打开终端。
- 输入命令
sudo passwd xxxx
,然后输入当前用户的密码。 - 按照提示输入新的xxxx密码,并确认。
完成以上步骤后,即可成功修改su的登陆密码。
四、利用FileZilla(FTP)软件向Ubuntu传输文件
前提:在此操作之前请确认好是否下载好以下文件和软件:(这些都是比赛所需要的软件和安装包版本,其他版本也是一样的操作),这些安装包先集中放在一个文件夹里...
①hadoop-3.1.3.tar.gz
②hadoop安装包
③jdk-8u212-linux-x64.tar.gz
④apache-hive-3.1.2-bin.tar.gz
⑤mysql-connector-java-5.1.37.jar
...
(默认就好,修改一下路径就可~)
1,打开FTP 软件,找到“文件”-->“站点管理器”
2,找到“新站点”,点击它创建一个站点(可以自己取名字,也可以系统默认),在新建站点上输入一下内容:(这些都是文件要输入进虚拟机的用户)
①主机:就是之前在虚拟机上用命令“ifconfig”中找到的本次IP地址
②用户和密码:输入上次创建的hadoop用户名和设置的密码(5678)
③协议:选择SFTP-SSH File Transfer Protocol
3,输入以上信息后,点连接。 之后会弹出信息,可以勾选“总是信任这个选项”,
然后就可以看到连接成功了
4,连接成功后,可以 先在“本地站点”里找到我之前提过的那些安装包的文件,然后在“远程站点”,中在“hadoop”目录下找打“download”目录,如果没有,可以自己右键创建
然后在安装文件里面把
①hadoop-3.1.3.tar.gz②jdk-8u212-linux-x64.tar.gz ③apache-hive-3.1.2-bin.tar.gz
④mysql-connector-java-5.1.37.jar这四个安装包上传到“下载”目录。
右键上传文件
5,也可以在虚拟机里面“download”目录上查看到这些上传上的文件安装包
现在传输就完成了
五、更新APT和ubuntu修改镜像源
1,安装成功Liunx系统后,需要及时更新APT软件,否则,后续一些软件可能无法正常安装。打开一个终端(可以使用快捷键Ctrl+Alt+F4),进入Shell命令提示符状态,然后输入下面命令:
sudo apt-get update
2,ubuntu修改镜像源
在使用ubuntu操作系统时,需要去下载更新软件,但是系统默认的镜像源为国外的镜像源,下载速度比国内的慢,且部分软件还存在限制会导致下载失败。因此可以替换国内的镜像源来提高下载速度,国内的常用的镜像源像阿里,清华都是可以的。
①第一步:
打开虚拟机,并在右上角找到“设置”,点开
②第二步:
到“软件和更新”(Software Updates)界面,找到“Ubuntu软件”界面,在下面吧“源代码”勾上,并在“下载自”(Download from)中选择china列里是中国的镜像源,确定即可。生效后再去看/etc/apt/source.list会发现里面的镜像源地址已经改变。
六、安装Vim 编辑器
1,执行下面命令完成vim编辑器的安装:
sudo apt-get install vim
2,可以使用下面命令创建一个word.txt文件:
cd ~
vim word.txt
七、在Windows系统中使用SSH方式登录linux系统
前提:先在主机电脑上下载好PuTTy软件。用这个连接可以和你在虚拟机上后端输入命令是一样的效果,这个输入命令可以更好的使用中文输入和复制粘贴操作。
1.先在虚拟机执行ifconfig,查看当前IP地址:(192.168.1.3)
2,点击PuTTY y应用程序,在里面如图写入IP地址,虚拟机用户名(本章中要连接的用户名是hadoop)
Open
3,在过几秒后,后弹出如下界面:①输入你要连接的用户名②输入其密码,即可。
九、生成linux虚拟机镜像文件
1,导出生成镜像文件(当前虚拟机跟PuTTY y都是关闭状态)
找到“管理”-->“导出虚拟电脑”
选择当前“Ubuntu”——Master
虚拟机电脑导出设置:格式:“选择“开放式虚拟化格式1.0”选择“许可”
等待进度条完成,导出就成功了!!!
2. 导入Linux虚拟机镜像文件
等导出成功后,找到“管理”-->“导入虚拟电脑”
在导入虚拟机界面中“文件” 哪里的按钮,找到刚刚导入的虚拟机文件,并点击选择它(“Master.ova”)
点击“Finish” ,就可以顺利完成导入,生成一个可用的Linux虚拟机。然后,就可以启动这个虚拟机,登录Linux系统。