阿里云服务器大降价20%,简单拥有五年三台2h4gECS,组建公网集群

要在阿里云ECS上组建集群,您可以按照以下步骤进行操作:

  1. 创建ECS实例:登录阿里云控制台,选择ECS实例,点击“创建实例”按钮。根据实际需求选择实例的配置参数,例如实例规格、操作系统、网络等。根据需要选择购买数量。

  2. 配置实例网络:在实例创建过程中,选择合适的网络类型,例如VPC或经典网络。配置合适的VPC网络和子网,以及安全组。

  3. 安装软件:登陆ECS实例后,在实例上安装所需的软件,例如Hadoop、Kubernetes等。根据实际需求进行配置和调整。

  4. 配置节点:在集群中的每个ECS实例上进行相应的配置操作,例如将某个ECS实例标记为master节点,其他ECS实例标记为worker节点。

  5. 节点互通:配置ECS实例之间的网络互通,确保集群内各个节点能够相互通信。

  6. 配置负载均衡(可选):如果需要对集群进行负载均衡,可以在阿里云控制台配置负载均衡服务,并将集群中的节点添加到负载均衡服务中。

  7. 测试集群:通过测试集群的各项功能和性能,确保集群正常运行。

以上是基本的步骤,您可以根据自己的需求和具体的集群类型进行扩展和调整。一旦集群建立成功,您可以根据实际业务需求对集群进行相应的管理和维护操作。

搭建过程:

1. 获取linux环境

  •   本次租用了阿里云服务器(ContOS7.4)

2. 访问服务器

  •   在租用之后可以通过阿里云的管理控制台点击远程连接直接使用,在此之前需要设置好服务器的访问密码等等。
  •    除了直接通过阿里云提供的浏览器方式访问,我选择使用XShell工具对服务器进行操作,好处是可以直接通过Xttp上传文件。

3 .配置JDK环境

 - JDK(JDK1.8.0_linux)

   关于JDK直接在官网或者浏览器中可以找到相关的下载,由于是linux系统,那么安装肯定与windows安装方式不同。

   1、上传下载好的压缩包到服务器中,我选择的路径是/opt/software存放安装压缩包

/opt/module存放软件路径,目的是为了方便管理。

   2、使用tar命令解压压缩包,tar-zxvf xxx.tar -C /opt/module/

   3、配置JDK环境变量

指令:vim /etc/profile

打开文件,在文件最下方添加环境变量,保存退出(!wq)

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
# 注:本段不是xml文件,只是为了展示

3、加载文件 source /etc/profile

输入java -version 检查是否配置加载成功

image.png

4. 配置Hadoop

  1、同JDK一样,下载文件,上传到服务器中解压

  2、配置环境变量

同JDK一样配置 /etc/profile

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

3、配置Hadoop

  • 进入Hadoop解压后的文件路径下进入 配置文件路径  /hadoop/etc/hadoop/
  • vim hadoop-env.sh   配置JDK
# The java implementation to use.
export JAVA_HOME=/opt/module/jdk1.8.0_171
  • vim core-site.xml 配置
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://notting:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.6.5/data/tmp</value>
</property>

</configuration>
  • vim hdfs-site.xml  配置副本数量、主节点地址
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>aliyun101:50080</value>
</property>
             
<!-- 如果是通过公网IP访问阿里云上内网搭建的集群 -->
<property>
    <name>dfs.client.use.datanode.hostname</name>  
    <value>true</value>
    <description>only cofig in clients</description>
</property> 
<property>
    <name>dfs.hosts.exclude</name>
    <value>/opt/module/hadoop2.6.5/conf/exclude</value>
    <description>拒绝加入集群的节点列表</description>
</property>
</configuration>
  • vim yarn-env.sh    配置JDK
# some Java parameters
export JAVA_HOME=/opt/module/jdk1.8.0_171
  • vim yarn-site.xml 配置yran资源调度器
<configuration>
<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
 <!-- 指定YARN的ResourceManager的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>aliyun101</value>
</property>
</configuration>
#此处的aliyun101是我自己电脑的vm的虚拟机
  • (对mapred-site.xml.template重新命名为) mapred-site.xml
    • mv mapred-site.xml.template mapred-site.xml
    • vim mapred-site.xml
<configuration>
<!-- 指定MR运行在YARN上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>     
  • 执行格式化,hdfs namenode -format

执行完成之后,集群就可以通过命令的方式启动,不能随便进行多次格式化,可能导致节点的启动失败

重复以上步骤,在vm虚拟机中也配置一台这样的环境,到这里,集群就算是简单搭建完成。下面对集群进行启动和访问

输入集群启动命令:sbin/start-dfs.sh

启动Yarn:sbin/start-yarn.sh

输入JPS查看进程是否启动:

image.png

此时未启动aliyun101节点

进入ip:50070查看集群状态

image.png

自此。一个简单的单节点就完成了(实际上还有两台虚拟机未启动,单配置相同,在启动之后,可以在网页上查看到节点状态才算基本完成)

总结

虽然集群的简单搭建算是勉强完成,但是在实际的情况中还有以下问题未解决

集群服务器获取地址 

中小企业扶持权益为初创企业提供云资源和技术服务,助力初创企业开启智能时代创业新范式icon-default.png?t=N7T8https://t.aliyun.com/U/0CCCu1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/417156.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

如何利用IP代理高效采集产品数据,打造爆品?

文章目录 一、什么是网络爬虫&#xff1f;二、普通人如何通过网络爬虫赚钱&#xff1f;2.1、心得分享2.2、工具自动化收集信息 三、 动态IP代理3.1、覆盖范围3.2、性价比3.3、教程中心F&Q使用教程 3.4、在网络数据采集中的重要性 四、实战应用案例一&#xff1a;ebay电商【…

Achronix以创新FPGA技术推动智能汽车与先进出行创新

全球领先的高性能现场可编程门阵列&#xff08;FPGA&#xff09;和嵌入式FPGA&#xff08;eFPGA&#xff09;半导体知识产权&#xff08;IP&#xff09;提供商Achronix Semiconductor公司宣布&#xff0c;该公司将参加由私募股权和风险投资公司Baird Capital举办的“Baird车技术…

汽车后视镜反射率检测仪厂家

随着汽车工业的快速发展&#xff0c;汽车后视镜作为驾驶员观察车辆周围环境的重要工具&#xff0c;其性能和质量对于交通安全至关重要。汽车后视镜的反射率检测仪是一种用于检测汽车后视镜反射性能的专业设备&#xff0c;其重要性不言而喻。本文将重点介绍汽车后视镜反射率检测…

Linux|centos7|yum和编译安装ImageMagick记录

一&#xff0c; yum安装imagemagick imagemagick这个软件是图像文件的处理神器&#xff0c;可以文字转图像以及图像的剪辑等等工作&#xff0c;也是配合人工智能工程的不可或缺的工具&#xff0c;具体的用处和特点就不在这里废话了&#xff0c;有兴趣的百度就行了 本次是在…

40、网络编程/TCP和UDP通信模型练习20240229

一、使用TCP模型创建服务器和客户端完成简单通信。 服务器代码&#xff1a; #include<myhead.h> #define SER_IP "192.168.32.130" #define SER_PORT 8888 int main(int argc, const char *argv[]) {//1.创建监听的套接字int sfd-1;sfdsocket(AF_INET,SOCK_S…

Ubuntu系统下DPDK环境搭建

目录 一.虚拟机配置1.添加一个网卡(桥接模式)2.修改网卡类型3.修改网卡名称4.重启虚拟机5.查看网卡信息6.dpdk配置内存巨型页 三 DPDK源代码下载和编译1.下载源代码2.解压源代码3.安装编译环境4.编译5.设置dpdk的环境变量6.禁止多队列网卡7.加载igb_uio模块8.网卡绑定9.验证测试…

手把手-服务器免密配置

文章目录 介绍一、测试机器是否免密1、在A机器上输入ssh admin192.168.2.101&#xff0c;回车确认&#xff0c;需要输入密码 二 、生成公钥和私钥1、在A机器上输入ssh-keygen -t ecdsa&#xff08;连续三次回车&#xff0c;即可在本地生成公钥和私钥&#xff0c;不设置密码&…

【AIGC大模型】InstantID 赏析

论文地址&#xff1a;https://arxiv.org/abs/2401.07519 InstantID 主页&#xff1a;https://instantid.github.io/ Demo &#xff1a;https://huggingface.co/spaces/InstantX/InstantID code&#xff1a; InstantID/InstantID: InstantID : Zero-shot Identity-Preserving…

idea创建一个简单的maven项目

个人学习笔记&#xff08;整理不易&#xff0c;有帮助点个赞&#xff09; 笔记目录&#xff1a;学习笔记目录_pytest和unittest、airtest_weixin_42717928的博客-CSDN博客 添加-DarchetypeCataloginternal 运行参数 (ps:不填的话&#xff0c;maven 骨架生成速度缓慢) 其实我没…

复制策略深入探讨

在之前的博客中&#xff0c;我们讨论了复制最佳实践和不同类型的复制&#xff0c;例如批量、站点和存储桶。但是&#xff0c;随着所有这些不同类型的复制类型的出现&#xff0c;人们不得不想知道在哪里使用哪种复制策略&#xff1f;从现有 S3 兼容数据存储迁移数据时&#xff0…

WebCPM:首个开源的交互式网页搜索中文问答模型

论文题目&#xff1a;WEBCPM: Interactive Web Search for Chinese Long-form Question Answering   论文日期&#xff1a;2023/05/23(ACL 2023)   论文地址&#xff1a;https://arxiv.org/abs/2305.06849   GitHub地址&#xff1a;https://arxiv.org/abs/2305.06849 文章…

基于transform的scale属性,动态缩放整个页面,实现数据可视化大屏自适应,保持比例不变形,满足不同分辨率的需求

文章目录 一、需求背景&#xff1a;二、需求分析&#xff1a;三、选择方案&#xff1a;四、实现代码&#xff1a;五、效果预览&#xff1a;六、封装组件&#xff1a; 一、需求背景&#xff1a; 数据可视化大屏是一种将数据、信息和可视化效果集中展示在一块或多块大屏幕上的技…

云尚办公-0.0.3

5. controller层 import pers.beiluo.yunshangoffice.model.system.SysRole; import pers.beiluo.yunshangoffice.service.SysRoleService;import java.util.List;//RestController&#xff1a;1.该类是控制器&#xff1b;2.方法返回值会被写进响应报文的报文体&#xff0c;而…

arr与arr的区别

一、定义区别 arr表示数组首元素地址 &arr表示整个数组&#xff0c;取出的是整个数组的地址&#xff08;也叫数组指针&#xff09; 二、二者偏移量不同 arr与&arr都指向数组的首地址 arr偏移量为一个int的大小 arr1&#xff1a;指向下一个元素的地址 &arr偏移…

小而巧的数字压缩算法:zigzag

阅读facebook开源的 RPC&#xff08;Remote Procedure Call&#xff09; 框架thrift源代码的时候&#xff0c;本来是在阅读框架&#xff0c;却不小心被 zigzag 这个钻石般闪耀的代码吸引。后来去百度搜索zigzag&#xff0c;却得到满屏图像相关的一个算法&#xff08;看来起名字…

Google checkstyle实战

概述 CheckStyle检查代码是否符合制定的规范。CheckStyle检查是基于源码的&#xff0c;无需编译&#xff0c;执行速度快。 CheckStyle的主要流程是&#xff1a; 对Java文件进行词法语法分析&#xff0c;生成语法树。载入配置文件&#xff08;checkstyle-metadata.xml以及自定…

【C++】认识类和对象

&#x1f525;博客主页&#xff1a; 小羊失眠啦. &#x1f3a5;系列专栏&#xff1a;《C语言》 《数据结构》 《C》 《Linux》 《Cpolar》 ❤️感谢大家点赞&#x1f44d;收藏⭐评论✍️ 文章目录 一、什么是面向对象&#xff1f;二、类的引入三、类的定义四、类的访问限定符与…

(C语言)Sleep函数,system函数,数组练习,详解与运用

一维数组详解&#xff1a;http://t.csdnimg.cn/zahZF 二维数组详解&#xff1a;http://t.csdnimg.cn/h2mLe 我们看过可一维数组与二维数组&#xff0c;现在我们来进行简单的练习。 题目&#xff1a;编写代码&#xff0c;演⽰多个字符从两端移动&#xff0c;向中间汇聚 1. …

AI大模型 拍照搜题

最近&#xff0c;发现一款小程序【问智通】&#xff0c;实现了拍照搜题结合AI大模型&#xff0c;省去了打字和敲数学公式向AI提问&#xff0c;完美的补充了其它拍照搜题平台拍不到&#xff0c;没解析等不足&#xff01;&#xff01;&#xff01; 小程序码&#xff1a; APP下载…

Python:运算符、内置函数和序列基本用法

一、学习目标 1&#xff0e;熟练使用Python运算符。 2&#xff0e;熟练使用Python内置函数。 3&#xff0e;掌握输入、输出函数的使用方法。 4&#xff0e;了解列表、元组、字典、集合的概念和基本用法。 二、相关练习 1&#xff0e;输入一个自然数250&#xff0c;输出其…