“小白也能玩转!ES集群搭建零报错全攻略,轻松上手指南!”


🌐 全新的“Open开袁”官方网站现已上线!https://open-yuan.com,汇聚编程资源、深度技术文章及开源项目地址,助您探索技术新境界。

📱 关注微信公众号“全栈小袁”,随时掌握最新项目动态和技术分享,开启技术新篇章!

想要与更多志同道合的伙伴交流心得、分享经验吗?快来加入我们的技术交流社区吧!


环境

JDK版本对应关系:地址

系统环境

软件版本
JDK8
Ubuntu20
ES7.12.0

ES节点环境

主机IP对外服务的http端口
(默认9200)
节点间交互的tcp端口
(默认9300)
ES1192.168.31.10092029301
ES2192.168.31.10192029302
ES3192.168.31.10292029303

三台Linux服务器已经准备完毕
image.png

安装

下载

📢 Open开原官网地址有 ES 资源提供下载,访问 Open官网地址

切换至home目录,执行下载安装包命令(all)

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.0-linux-x86_64.tar.gz

解压

tar -zxvf elasticsearch-7.12.0-linux-x86_64.tar.gz

重命名

mv elasticsearch-7.12.0 es

创建日志目录

mkdir -p /home/es/logs

用户组

创建新用户,不允许root用户操作
useradd es
设置密码
passwd es
分配用户和用户组
chown -R es:es es/

增加内存大小限制

文件末尾追加配置,然后刷新

echo "vm.max_map_count=262144" >> /etc/sysctl.conf && sysctl -p

末尾加上这段内容,es为新添加的用户组

echo "es hard nofile 65536" >> /etc/security/limits.conf
echo "es soft nofile 65536" >> /etc/security/limits.conf

ES配置

配置文件

vi config/elasticsearch.yml
es-1节点
#集群名称
cluster.name: openyuan-cluster-es
#节点名称
node.name: es-1
#数据存储路径
path.data: /home/es/data
#日志存储路径
path.logs: /home/es/logs
#绑定的ip地址(“0.0.0.0”说明都可以访问)
network.host: 192.168.31.100
#对外服务的http端口,默认9200
http.port: 9202
#节点间交互的tcp端口,默认是9300
transport.tcp.port: 9301
#节点列表
discovery.zen.ping.unicast.hosts: ["192.168.31.100:9301", "192.168.31.101:9302","192.168.31.102:9303"]
# 初始主节点列表,用于选举主节点
cluster.initial_master_nodes: ["es-1", "es-2", "es-3"]
#至少两个节点在线
discovery.zen.minimum_master_nodes: 2
# 候选主节点,是否可以推举为主节点
node.master: true
#接入es-head插件
http.cors.enabled: true
http.cors.allow-origin: "*"
es-2节点
#集群名称
cluster.name: openyuan-cluster-es
#节点名称
node.name: es-2
#数据存储路径
path.data: /home/es/data
#日志存储路径
path.logs: /home/es/logs
#绑定的ip地址(“0.0.0.0”说明都可以访问)
network.host: 192.168.31.101
#对外服务的http端口,默认9200
http.port: 9202
#节点间交互的tcp端口,默认是9300
transport.tcp.port: 9302
#节点列表
discovery.zen.ping.unicast.hosts: ["192.168.31.100:9301", "192.168.31.101:9302","192.168.31.102:9303"]
# 初始主节点列表,用于选举主节点
cluster.initial_master_nodes: ["es-1", "es-2", "es-3"]
#至少两个节点在线
discovery.zen.minimum_master_nodes: 2
# 候选主节点,是否可以推举为主节点
node.master: true
#接入es-head插件
http.cors.enabled: true
http.cors.allow-origin: "*"
es-3节点
#集群名称
cluster.name: openyuan-cluster-es
#节点名称
node.name: es-3
#数据存储路径
path.data: /home/es/data
#日志存储路径
path.logs: /home/es/logs
#绑定的ip地址(“0.0.0.0”说明都可以访问)
network.host: 192.168.31.102
#对外服务的http端口,默认9200
http.port: 9202
#节点间交互的tcp端口,默认是9300
transport.tcp.port: 9303
#节点列表
discovery.zen.ping.unicast.hosts: ["192.168.31.100:9301", "192.168.31.101:9302","192.168.31.102:9303"]
# 初始主节点列表,用于选举主节点
cluster.initial_master_nodes: ["es-1", "es-2", "es-3"]
#至少两个节点在线
discovery.zen.minimum_master_nodes: 2
# 候选主节点,是否可以推举为主节点
node.master: true
#接入es-head插件
http.cors.enabled: true
http.cors.allow-origin: "*"

配置系统命令

通过systemctl操作ES的启动、停止、重启等,无需切换es用户

建立es服务文件

vi /lib/systemd/system/es.service

ps:指定es用户(根据自己情况修改),配置启动命令(根据自己情况修改)

配置文件
[Unit]
Description=elasticsearch
Documentation=https://www.elastic.co
After=network.target

[Service]
Type=simple
PrivateTmp=true
# 指定ES用户
User=es
Group=es
LimitNOFILE=100000
LimitNPROC=100000
Restart=yes
# 启动命令
ExecStart=/home/es/bin/elasticsearch
ExecRestart=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID

[Install]
WantedBy=multi-user.target
加载服务命令

重新加载systemctl服务,使其生效

sudo systemctl daemon-reload

测试服务命令

启动ES
sudo systemctl start es
结束ES
sudo systemctl stop es

或普通操作

ps aux | grep elasticsearch | grep -v grep | awk '{print $2}' | xargs kill
查看ES状态
sudo systemctl status es

image.png

ES命令

查看节点状况

以es-1为例

curl http://192.168.31.100:9202

image.png

查看集群状况

  • 表示为主节点
curl http://192.168.31.100:9202/_cat/nodes?v

image.png

集群一键脚本

📢 注意:我这里以es-1作为主节点,在es-1生成秘钥拷贝至es-2和es-3,在es-1中执行一键脚本命令。
可自行配置

免密登录

清空ssh秘钥信息(全部节点)
rm -r ~/.ssh
生成秘钥(全部节点)

一路回车

ssh-keygen -t rsa
重命名 && 拷贝秘钥(es-1)
mv /root/.ssh/id_rsa.pub /root/.ssh/id_rsa_es1.pub

拷贝到es-2es-3

scp /root/.ssh/id_rsa_es1.pub root@192.168.31.101:/root/.ssh/
scp /root/.ssh/id_rsa_es1.pub root@192.168.31.102:/root/.ssh/
写入秘钥(es-2和es-3)
cat /root/.ssh/id_rsa_es1.pub >> /root/.ssh/authorized_keys
ssh免密成功
ssh root@192.168.31.252

配置shell脚本

一键启动脚本
vi /home/es-start.sh
#!/bin/bash

systemctl start es
echo "节点: 192.168.31.100 ==> 启动ES...[ done ]"

esServers='192.168.31.101 192.168.31.102'

# 启动所有的ES
for es in $esServers
do
    ssh root@$es <<EOF
    systemctl start es
EOF
    echo "节点: $es ==> 启动ES...[ done ]"
    sleep 1
done
一键停止脚本
vi /home/es-stop.sh
#!/bin/bash

systemctl stop es
echo "节点: 192.168.31.100 ==> 停止ES...[ done ]"

esServers='192.168.31.101 192.168.31.102'

# 启动所有的ES
for es in $esServers
do
    ssh root@$es <<EOF
    systemctl stop es
EOF
    echo "节点: $es ==> 停止ES...[ done ]"
    sleep 1
done
一键重启脚本
vi /home/es-restart.sh
#!/bin/bash

systemctl restart es
echo "节点: 192.168.31.100 ==> 重启ES...[ done ]"

esServers='192.168.31.101 192.168.31.102'

# 启动所有的ES
for es in $esServers
do
    ssh root@$es <<EOF
    systemctl restart es
EOF
    echo "节点: $es ==> 重启ES...[ done ]"
    sleep 1
done
脚本权限授权
chmod u+x /home/es-start.sh /home/es-stop.sh /home/es-restart.sh

执行一键脚本

sh /home/es-startup.sh
sh /home/es-stop.sh
sh /home/es-restart.sh

image.png

配置集群安全验证

修改ES配置

📢 注意:是每个节点都要

vi config/elasticsearch.yml

末尾加上这段配置

# 开启安全验证
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
# 证书认证
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

生成证书

📌 在es-1节点操作,这个没要求

输入完命令,直接回车就行,在config目录下就有一个新的 elastic-certificates.p12 文件
📢 注意:需要将证书拷贝到其他节点的es目录的config目录下

/home/es/bin/elasticsearch-certutil \
cert -out \
/home/es/config/elastic-certificates.p12 -pass

提示输入密码,直接回车即可
image.png

拷贝证书到其他节点

scp /home/es/config/elastic-certificates.p12 root@192.168.31.101:/home/es/config/
scp /home/es/config/elastic-certificates.p12 root@192.168.31.102:/home/es/config/

image.png

证书授权(每个节点)

chown -R es:es /home/es/config/elastic-certificates.p12 && \
chmod 644 /home/es/config/elastic-certificates.p12

重启ES服务(每个节点)

配置了一键脚本的,可以直接一键stop然后一键start

sudo systemctl restart es

设置密码

📢 注意:这里是上面生成证书的那个节点,我这里是es-1

直接选择自动生成,输入y,记得自己保存好,一共七个用户

# 手动设置密码
/home/es/bin/elasticsearch-setup-passwords interactive

# 自动设置密码
/home/es/bin/elasticsearch-setup-passwords auto

image.png

Changed password for user apm_system
PASSWORD apm_system = VPnTuWixz5WQJo6zfhk7

Changed password for user kibana_system
PASSWORD kibana_system = jmgNNWkbG8mTo6hTNPCW

Changed password for user kibana
PASSWORD kibana = jmgNNWkbG8mTo6hTNPCW

Changed password for user logstash_system
PASSWORD logstash_system = rX9FTcgBAGB94pM0RWcJ

Changed password for user beats_system
PASSWORD beats_system = unQDJ4h4x4WwOl0Mta4X

Changed password for user remote_monitoring_user
PASSWORD remote_monitoring_user = A0hgS6Xve1nCcGIolOlf

Changed password for user elastic
PASSWORD elastic = VbAiNAUopcBojx79yrQ7

修改密码

curl -H "Content-Type:application/json" -XPOST \
-u elastic 'http://127.0.0.1:9202/_xpack/security/user/elastic/_password' \
-d '{ "password" : "123456" }'

验证

查看节点状态
curl http://192.168.31.100:9202

未授权401错误
image.png
新命令

curl http://192.168.31.100:9202 -u elastic:VbAiNAUopcBojx79yrQ7

image.png

查看集群状态
curl http://elastic:VbAiNAUopcBojx79yrQ7@192.168.31.100:9202/_cat/nodes?v

image.png

浏览器访问

image.png

其他说明

启动失败,无法再次启动

删除data数据目录和日志目录

rm -rf /home/es/data/* && rm -rf /home/es/logs/*
IP或ES配置变更后,秘钥问题

重新生成一次密码即可,无需其他操作

# 自动设置密码
/home/es/bin/elasticsearch-setup-passwords auto

后续拓展

Kibana

后续出…

ELK/EFK

后续出…


🌐 全新的“Open开袁”官方网站现已上线!https://open-yuan.com,汇聚编程资源、深度技术文章及开源项目地址,助您探索技术新境界。

📱 关注微信公众号“全栈小袁”,随时掌握最新项目动态和技术分享,开启技术新篇章!

想要与更多志同道合的伙伴交流心得、分享经验吗?快来加入我们的技术交流社区吧!


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/469682.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

2024地方门户源码运营版带圈子动态+加即时通讯(PC电脑端+WAP移动端+H5微信端+微信小程序+APP客户端)

2024地方门户源码运营版带圈子动态加即时通讯&#xff08;PC电脑端WAP移动端H5微信端微信小程序APP客户端&#xff09; 源码介绍&#xff1a; 包含5个端 PC电脑端WAP移动端H5微信端微信小程序APP客户端 功能介绍&#xff1a; 包含功能&#xff1a;信息资讯、二手信息、房产…

docker入门(四)—— docker常用命令详解

docker 常用命令 基本命令 # 查看 docker 版本 docker version # 查看一些 docker 的详细信息 docker info 帮助命令&#xff08;–help&#xff09;&#xff0c;linux必须要会看帮助文档 docker --help[rootiZbp15293q8kgzhur7n6kvZ /]# docker --helpUsage: docker [OPTI…

Grok ai——很牛叉的ai工具Grok-1大模型

Grok Grok 是一款仿照《银河系漫游指南》&#xff08;Hitchhikers Guide to the Galaxy&#xff09;设计的人工智能。它可以回答几乎任何问题&#xff0c;更难的是&#xff0c;它甚至可以建议你问什么问题&#xff01; Grok 是一个仿照《银河系漫游指南》设计的人工智能&#x…

数据结构:详解【顺序表】的实现

1. 顺序表的定义 顺序表是用一段物理地址连续的存储单元依次存储数据元素的线性结构&#xff0c;一般情况下采用数组存储。动态顺序表与数组的本质区别是——根据需要动态的开辟空间大小。 2. 顺序表的功能 动态顺序表的功能一般有如下几个&#xff1a; 初始化顺序表打印顺序…

计算机组成原理-3-系统总线

3. 系统总线 文章目录 3. 系统总线3.1 总线的基本概念3.2 总线的分类3.3 总线特性及性能指标3.4 总线结构3.5 总线控制3.5.1 总线判优控制3.5.2 总线通信控制 本笔记参考哈工大刘宏伟老师的MOOC《计算机组成原理&#xff08;上&#xff09;_哈尔滨工业大学》、《计算机组成原理…

spring suite搭建springboot操作

一、前言 有时候久了没开新项目了&#xff0c;重新开发一个新项目&#xff0c;搭建springboot的过程都有点淡忘了&#xff0c;所有温故知新。 二、搭建步骤 从0开始搭建springboot 1&#xff0e;创建work空间。步骤FileNewJava Working Set。 2.选择Java Working Set。 3.自…

微信小程序接口请求出错:request:fail url not in domain list:xxxxx

一、微信小程序后台和开发者工具配的不一样导致了这个错误 先说结论&#xff1a; 开发者工具配置了https://www.xxx.cn/prod-api/ 微信后台配置了 https://www.xxx.cn 一、最开始 开发者工具配置了https://www.xxx.cn:7500 微信后台配置了 https://www.xxx.cn 报错:reques…

OPTEE v3.20.0 FVP环境搭建

目录 一、前提条件 二、下载fvp代码 三、下载工具链 四、下载Foundation_Platform FVP平台 五、编译及运行 一、前提条件 1、安装如下的依赖工具 sudo apt-get install android-tools-adb android-tools-fastboot autoconf \ automake bc bison build-essential ccache c…

2024精灵传信系统支持电脑PC端+小程序双端源码

2024精灵传信系统支持电脑PC端小程序双端源码 精灵传信支持在线提交发送短信&#xff0c;查看回复短信&#xff0c;在线购买额度&#xff0c;自定义对接易支付&#xff0c;设置违禁词&#xff0c;支持网站小程序双端。 搭建环境&#xff1a; PHP > 73 MySQL>5.6 Nginx…

当两会热词碰上“人工智能+”,你知道哪些企业算是行业弄潮儿吗?

最近正值全国“两会”的召开&#xff0c;一大批新词热词涌现&#xff0c;聚焦了各行各业的发展&#xff0c;也一定程度上代表了未来的主要发展方向。“未来产业”、“人工智能”、“全国一体化算力体系”等热词的出圈充分表明了信息技术行业是一大发展重点&#xff0c;尤其是人…

护航容器安全:私有Registry在镜像审核中的关键角色与实战策略

在容器化技术日益普及的今天&#xff0c;Docker镜像的质量与安全性成为了构建稳定、可靠应用的关键要素。私有Registry作为镜像的集中存储和分发中心&#xff0c;不仅可以提供镜像的统一管理&#xff0c;还能通过集成镜像审核机制&#xff0c;确保进入生产环境的镜像符合安全与…

如何解决MySQL死锁(看懂MySQL锁日志)

有时候系统在生产运行着&#xff0c;会突然爆出 [40001][1213] Deadlock found when trying to get lock; try restarting transaction 这个时候每个人都会很紧张&#xff0c;因为死锁会影响DB性能&#xff0c;严重时甚至拖垮整个系统。在实际的环境中&#xff0c;很多服务会共…

【电路笔记】-达林顿晶体管

达林顿晶体管 文章目录 达林顿晶体管1、概述2、基本达林顿晶体管配置3、示例4、达林顿晶体管应用5、Sziklai 晶体管对6、ULN2003A 达林顿晶体管阵列7、总结两个双极晶体管的达林顿晶体管配置可针对给定基极电流提供更大的电流切换。 1、概述 达林顿晶体管以其发明者 Sidney Da…

文件包含漏洞之包含NGINX日志文件(常用)

条件&#xff1a;知道目标服务器的日志文件存贮路径&#xff0c;并且存在文件包含漏洞 首先对目标服务器发送一次含有木马的请求&#xff0c;目的是让目标服务器日志中生成含有木马的日志记录。因为发送过程中&#xff0c;使用了url编码&#xff0c;我们抓包进行更改成能够执行…

【Python爬虫】详解BeautifulSoup()及其方法

文章目录 &#x1f354;准备工作&#x1f339;BeautifulSoup()⭐代码实现✨打印标签里面的内容✨快速拿到一个标签里的属性✨打印整个文档&#x1f386;获取特定标签的特定内容 &#x1f339;查找标签&#x1f388;在文档查找标签 find_all&#x1f388;正则表达式搜索 &#x…

echarts geo地图加投影两种方法

方法1&#xff0c;geo中加多个地图图形&#xff0c;叠加。缩放时 可能会不一致&#xff0c;需要捕捉georoam事件&#xff0c;使下层的geo随着上层的geo一起缩放拖曳 geo: [{zlevel: 3,//geo显示级别&#xff0c;默认是0 【最顶层图形】map: BJ,//地图名roam: true,scaleLimit: …

虚拟机VMware上 centos7 的网络配置

第一步&#xff1a;权限的切换 由普通用户切换到管理者/超级用户 用户名为&#xff1a;root 密码为&#xff1a;自己安装 linux 时第一次设置的密码 su -root管理者/超级用户的命令提示符是“#”&#xff0c;普通用户的命令提示符是“$”。当看到你的命令提示符为“$”时&…

VScode 设置个性化背景(保姆级教程)

VS Code设置个性化背景的作用主要体现在以下几个方面&#xff1a; 提升编程体验&#xff1a;个性化背景能够让编程环境更符合个人的审美和习惯&#xff0c;使得长时间在VS Code中进行代码编辑时&#xff0c;能够保持愉悦的心情&#xff0c;从而提高编程效率。减少视觉疲劳&…

微隔离是什么,有什么作用

传统的网络安全架构通常是基于较大的安全区域&#xff08;如子网或虚拟局域网&#xff09;&#xff0c;在这些区域内的设备可以相互通信。然而&#xff0c;这也意味着一旦内部的设备被威胁或遭到入侵&#xff0c;攻击者可能会在整个安全区域内进行横向移动和渗透。 微隔离通过…

GNSS载波相位平滑伪距基本原理

相位平滑技术&#xff1a;削弱伪距欢测值的随机误差影响 差分技术&#xff1a;削弱欢测方程中的系统误差影响 相位平滑伪距原理&#xff1a; GPS接收机除了提供伪距测量外&#xff0c;可同时提供载波相位测量&#xff0c;由于载波相位测量的精度比码相位的测量精度高2个数量…