hadoop更适合在liunx环境下运行,会节省后期很多麻烦,而用虚拟器就太占主机内存了,因此后面我们将把hadoop安装到wsl后进行学习,后续学习的环境是Ubuntu-16.04 (windows上如何安装wsl)
千万强调,有的命令一定要加sudo!
千万强调,有的命令一定要加sudo!
千万强调,有的命令一定要加sudo!
一 wsl上安装Hadoop
关于安装时出现的部分问题
- 如何切换用户
su 用户名 #linux下切换用户
- ssh到本地时出现Permission denied (publickey).
sudo vim /etc/ssh/sshd_config #修改配置文件
将文件中的PasswordAuthentication 的值no改为yes
- SSH设置和密钥生成各步骤详解
$ ssh-keygen -t rsa #采用rst算法生成一对秘钥(公钥id_rsa.pub,私钥id_rsa)
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #本地ssh公钥复制到远程服务器的.ssh/authorized_keys中,这样就可以免密登录了
$ chmod 0600 ~/.ssh/authorized_keys #给足够的权限
- java配置到环境变量中
我选择的是jdkl1.8.0_411,用原先博客上的配置方法并不能检测到java,换成下面的方式即可:
export JAVA_HOME=/usr/java/jdk1.8.0_411
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
- 本地无法访问hadoop服务
按照博客的操作最后发现会连接失败,原因就是因为hadoop3.x之后将默认的端口50070改为了9870,才导致链接失败
参考文献
- SSH基础知识
- SSH中的各种keys是什么
- wsl换盘符