ElasticSearch7.7.1集群搭建 Kibana安装

前言

Elasticsearch（ES）是一个基于Apache Lucene的分布式、高扩展、近实时的搜索引擎，主要用于海量数据快速存储、实时检索、高效分析的场景。通过简单易用的RESTful API，Elasticsearch隐藏了Lucene的复杂性，使得全文搜索变得简单。

以下是Elasticsearch的主要特点：

  1. 分布式：由于其分布式特性，Elasticsearch可以将海量数据分散到多台服务器上存储、检索和分析。
  2. 高扩展性：Elasticsearch可以扩展到上百台服务器，支持大规模数据存储和检索。
  3. 近实时性：Elasticsearch提供了近乎实时的搜索和分析功能，数据写入后几乎可以立即进行搜索和分析。
  4. 全文检索：Elasticsearch支持全文检索，能够快速检索数据并返回匹配的结果。
  5. 分布式分析：通过分布式特性，可以在多台服务器上并行处理数据，提高分析效率。
  6. 数据丰富：无论数据是结构化还是非结构化，Elasticsearch都能高效地存储和索引数据，并提供快速检索和分析。
  7. 易于使用：通过RESTful API，Elasticsearch提供了简单易用的接口，方便开发人员进行数据检索和查询。

由于以上特点，Elasticsearch广泛应用于各种业务场景，如维基百科、Stack Overflow、GitHub等均有使用。此外，Elasticsearch也是Elastic Stack的核心组件之一，与其他组件如Logstash、Kibana等配合使用，可以更方便地进行数据收集、处理、分析和可视化等工作。

下面是操通过服务器 3 台实现集群的安装

一、Elasticsearch 集群安装

1、准备工作创建对应安装目录并下载 elasticsearch rpm包

1.1 创建安装目录并下载资源包

mkdir es-node-1-7.7.1
cd es-node-1-7.7.1
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.7.1-x86_64.rpm

效果如图：

1.2 部署前配置，修改limits.conf 文件

注：limits.conf 是 PAM (Pluggable Authentication Modules) 的配置文件，用于设置用户和组的资源限制。通过这个文件，你可以限制用户或组可以使用的系统资源，如 CPU、内存、磁盘空间等。

#修改limits.conf 文件，该文件为通过PAM登录的用户设置资源限制，它不影响系统服务的资源限制。
#这里的 * 标识所有用户
#noproc 是代表最大进程数
#nofile 是代表最大文件打开数
#memlock 最大锁定内存地址空间
#hard limit 严格的设定，必定不能超过这个设定的数值
#soft limit 警告的设定，可以超过这个设定值，但是若超过则有警告信息
#unlimited  无限制
[root@localhost es-node-1-7.7.1 ~] vim /etc/security/limits.conf
hard nofile 65536 # es要求文件数最小为65536
soft nproc 2048
hard nproc 4096
soft memlock unlimited
hard memlock unlimited

#修改sysctl.conf文件，Sysctl是一个允许您改变正在运行中的Linux系统的接口，用sysctl可以读取设置超过五百个系统变量。
[root@localhost es-node-1-7.7.1 ~] vim /etc/sysctl.conf
vm.max_map_count=655360 # 限制一个进程可以拥有的VMA(虚拟内存区域)的数量
fs.file-max=655360 # 系统级打开最大文件句柄的数量永久生效的修改

#使sysctl.conf 修改生效
[root@localhost es-node-1-7.7.1 ~] sysctl -p

2、开始安装

2.1 Root 用户安装

sudo rpm -ivh elasticsearch-7.7.1-x86_64.rpm

2.2 重新加载服务并启动

1、sudo systemctl daemon-reload

注意：sudo systemctl daemon-reload 用于重新加载 systemd 服务的命令。当你修改了 systemd 的服务文件后，需要运行这个命令来使修改生效。这是因为 systemd 服务文件中的配置在修改后并不会自动应用到已运行的服务上，需要通过重新加载来应用新的配置。

如果你在编辑完 systemd 服务文件后直接启动或重启服务，可能会因为配置错误而导致服务无法正常启动。因此，在修改完服务文件后，应该先运行 sudo systemctl daemon-reload 命令，然后再启动或重启服务，以确保配置正确。

请注意，运行 sudo systemctl daemon-reload 命令需要管理员权限，因此需要使用 sudo 命令来执行。

2、sudo systemctl enable elasticsearch.service

用于启用 systemd 服务单元的命令。当你安装了一个服务并将其配置为开机自启时，可以使用这个命令来使其在系统启动时自动启动。

3、sudo systemctl start elasticsearch.service 用于启动 systemd 服务单元的命令

3、创建对应的数据目录和日志目录

创建数据存储目录
mkdir -p /home/app_user/es-node-1-7.7.1/data
mkdir -p /home/app_user/es-node-1-7.7.1/logs/jvmlogs

修改ES目录权限
chown -R app_user:app_user  /etc/elasticsearch/
chown -R app_user:app_user  /usr/share/elasticsearch/
chown -R app_user:app_user  /home/app_user/es-node-1-7.7.1/data      
chown app_user:app_user /etc/sysconfig/elasticsearch
chown -R app_user:app_user /home/app_user/es-node-1-7.7.1/logs/jvmlogs
# 以上操作都是为了赋予app_user用户操作权限

4、安装完生成配置文件

安装完毕后会生成很多文件，包括配置文件日志文件等等，下面几个是最主要的配置文件路径 /etc/elasticsearch/elasticsearch.yml # els的配置文件

/etc/elasticsearch/jvm.options # JVM相关的配置，内存大小等等

/etc/elasticsearch/log4j2.properties # 日志系统定义

/usr/share/elasticsearch # elasticsearch 默认安装目录

/var/lib/elasticsearch # 数据的默认存放位置

5、修改集群配置

5.1 修改elasticsearch.yml配置文件

vim /etc/elasticsearch/elasticsearch.yml

cluster.name: es-7.7.1
node.name: node-1
path.data: /home/app_user/es-node-1-7.7.1/data
path.logs: /home/app_user/es-node-1-7.7.1/logs
network.host: 10.10.1.11
http.port: 9200
transport.port: 9300  # tcp的端口号，默认是9300
discovery.seed_hosts: ["10.10.1.11", "10.10.1.12","10.10.1.13"]
cluster.initial_master_nodes: ["node-1", "node-2"]
http.cors.enabled: true     #是否开启跨域访问
http.cors.allow-origin: "*" #开启跨域访问后的地址限制，*表示无限制

配置文件如图：

elasticsearch.yml 文件的配置本次配置是循环主节点

5.2 JVM的参数修改

$ vim /etc/elasticsearch/jvm.options

-XX:ErrorFile=/home/app_user/es-node-1-7.7.1/logs/jvmlogs/hs_err_pid%p.log

8:-Xloggc:/home/app_user/es-node-1-7.7.1/logs/jvmlogs/gc.log

9-:-Xlog:gc*,gc+age=trace,safepoint:file=/home/app_user/es-node-1-7.7.1/logs/jvmlogs/gc.log:utctime,pid,tags:filecount=32,filesize=64m

详细如图:

注意：JVM（Java虚拟机）的配置文件名为jvm.options，通常位于Java项目的根目录下。该文件用于设置JVM的参数，以优化Java应用程序的性能和行为。

在jvm.options文件中，可以设置各种JVM参数，包括堆内存大小、垃圾回收器选项、JIT编译器选项等。这些参数可以影响Java应用程序的启动速度、内存使用、运行性能等。

5.3 修改elasticsearch的默认启动用户

vim /usr/lib/systemd/system/elasticsearch.service User=app_user Group=app_user

6、启动Elasticsearch

Root用户下执行：

systemctl restart elasticsearch.service

6.1 浏览器访问：

直接在浏览器内输入：http://10.10.1.11:9200/

6.2 服务端直接 curl 请求

curl 请求：curl -i "http://10.10.1.12:9200/"

二、ElasticSearch7.7.1 集群安装 IK 和 pinyin 扩展插件

1、下载并安装扩展插件

1.1 下载 elasticsearch-analysis-ik

https://github.com/medcl/elasticsearch-analysis-ik/releases

1.2 下载 elasticsearch-analysis-pinyin

https://github.com/medcl/elasticsearch-analysis-pinyin/releases

详细如图：

cd /usr/local/tools/elasticsearch/elasticsearch-7.7.1
# 直接下载 ik 扩展插件
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.7.1/elasticsearch-analysis-ik-7.7.1.zip
# 直接下载 pinyin 扩展插件
wget https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v7.7.1/elasticsearch-analysis-pinyin-7.7.1.zip

#新建il文件夹
mkdir -P plugins/ik
# 解压到 插件 到ik目录
mv elasticsearch-analysis-ik-7.7.1.zip /ik/
unzip elasticsearch-analysis-ik-7.7.1.zip

# 拼音扩展同样的操作

#切换目录 cd /usr/share/elasticsearch
#查看是否安装完成
bin/elasticsearch-plugin list

1.3 查看安装扩展插件列表

2、重启es，让分词器生效，操作shell如下

2.1 Root用户下执行重启

systemctl restart elasticsearch.service

2.2 或者 jps 查看 elesticsearch 进程杀掉重启

$ kill -9 8448

#重启启动esbin/elasticsearch -d

确保整个es集群上的每台机器都操作了以上步骤后，就可以在kibana上测试了

三、ElasticSearch7.7.1 集群 kibana 看板

1、下载对应版本的 kibana 包

https://elasticsearch.cn/download/#seg-2 官方下载地址

https://artifacts.elastic.co/downloads/kibana/kibana-7.7.1-linux-x86_64.tar.gz

2、下载完kibana 包，直接解压并修改配置文件

kibana 运行用户 app_user

路径：/home/app_user/kibana-7.7.1-linux-x86_64

2.1 修改配置文件 kibana.yml

操作效果如图：

cd /home/app_user
#直接解压
$ tar -zxvf kibana-7.7.1-linux-x86_64.tar.gz
$ cd kibana-7.7.1-linux-x86_64/config/
$ vi kibana.yml

server.port: 5601
server.host: "0.0.0.0"
server.name: "Kibana"
elasticsearch.hosts: ["http://10.10.1.11:9200", "http://10.10.1.12:9200","http://10.10.1.13:9200"]
kibana.index: ".kibana"
kibana.defaultAppId: "home"

# 后台运行Kibana
$ nohup ./bin/kibana &
#或者
#nohup ./bin/kibana >logs/kibana.log 2>&1 &

#浏览器访问
http://10.10.1.11:5601/app/kibana. 
#/home

###
# 查看 kibana 
ps -ef|grep kibana
ps -ef|grep 5601
#都找不到
#使用 fuser -n tcp 5601 - 哎呀有了
kill -9  #端口
ps -ef|grep node 或 netstat -anltp|grep 5601
#启动即可 ./kibana
#后台启动：
nohup …/bin/kibana &

2.2 运行并访问

$ nohup /home/app_user/kibana-7.7.1-linux-x86_64/bin/kibana

最终执行是可以配置后台执行

就这样，Kibana安装完成，可以尝试配置一下吧。

参考文献：

https://blog.csdn.net/LXWalaz1s1s/article/details/111697177

https://www.likecs.com/show-306320469.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/358778.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

86.网游逆向分析与插件开发-物品使用-物品丢弃的逆向分析与C++代码的封装

86.网游逆向分析与插件开发-物品使用-物品丢弃的逆向分析与C++代码的封装

内容参考于：易道云信息技术研究院VIP课 上一个内容：物品使用的逆向分析与C代码的封装-CSDN博客 码云地址（ui显示角色数据 分支）：https://gitee.com/dye_your_fingers/sro_-ex.git 码云版本号：7563f86877c…
阅读更多...
JVM-类的生命周期

JVM-类的生命周期

类的生命周期概述 类的生命周期描述了一个类加载、使用、卸载的整个过程。整体可以分为： 加载 连接，其中又分为验证、准备、解析三个子阶段 初始化 使用 卸载 加载阶段 加载(Loading)阶段第一步是类加载器根据类的全限定名通过不同的渠道以二进制流的方…
阅读更多...
c++|类和对象(下)

c++|类和对象(下)

一、再谈构造函数 1.1初始化列表 在上一章节中，对于类我们可以形象的比喻为房子的图纸，而真正对于类的初始化可以比喻为建造了一个实体房子，即创建对象，对于房子中的各个房间都有特定的位置构造，那么对于类中的成员变…
阅读更多...
一张图搞清楚HTTP状态码

一张图搞清楚HTTP状态码

HTTP状态码的基本概念 在客户端和服务器连接交互的时候，一般是客户端先给服务器发送请求，然后服务器返回结果。客户端和服务器之间的交互非常频繁，涉及到很多种不同类型的操作，大多数的时候服务器能成功返回结果，有时…
阅读更多...
DC-磁盘配额（23国赛真题）

DC-磁盘配额（23国赛真题）

2023全国职业院校技能大赛网络系统管理赛项–模块B：服务部署（WindowServer2022） 文章目录 DC-磁盘配额题目配置步骤验证查看DC2驱动器C:\的磁盘配额，限制磁盘空间，警告等级等配置 DC-磁盘配额 题目 在DC2驱动器C:\上…
阅读更多...
全新魅思V20正规视频影视系统源码/APP+H5视频影视源码

全新魅思V20正规视频影视系统源码/APP+H5视频影视源码

全新魅思V20正规视频影视系统源码，APPH5视频影视源码。会员花费三千购入的，具体搭建教程放压缩包了！ 有兴趣的下载自行研究吧，搭建一共要用到3个域名，可以拿二级域名搭建。
阅读更多...
PMP重考流程与费用

PMP重考流程与费用

很多参加PMP考试的考生都经历过辛勤的学习过程，特别是那些在毕业几年后才开始备考的人。对大多数人来说，PMP考试都是一项艰难的任务。尽管PMP考试的平均通过率超过90%，但仍然有些人无法在首次尝试中通过考试。那么，如果一次没有通…
阅读更多...
Linux ---- Shell编程之正则表达式

Linux ---- Shell编程之正则表达式

一、正则表达式 ​ 由一类特殊字符及文本字符所编写的模式，其中有些字符（元字符）不表示字符字面意义，而表示控制或通配的功能，类似于增强版的通配符功能，但与通配符不同，通配符功能是用…
阅读更多...
Apache POI 处理excel文件 记录用法

Apache POI 处理excel文件 记录用法

Apache POI 写excel public static void write() throws IOException {//再内存中创建了一个Excel文件XSSFWorkbook excel new XSSFWorkbook();//创建一个sheet页XSSFSheet sheet excel.createSheet("info");//这里创建行对象,这里的rownum 是从0开始的,类似于数…
阅读更多...
Redis学习——高级篇①

Redis学习——高级篇①

Redis学习——高级篇① Redis7高级之单线程和多线程（一） 一、Redis单线程VS多线程1.Redis的单线程部分1.1 Redis为什么是单线程？1.2 Redis所谓的“单线程”1.3 Redis演进变化1.3.1 Redis 3.x 单线程时代性能很快的原因1.3.2…
阅读更多...
Python处理图片生成天际线（2024.1.29）

Python处理图片生成天际线（2024.1.29）

1、天际线简介 天际线（SkyLine）顾名思义就是天空与地面的边界线，人站在不同的高度，会看到不同的景色和地平线，天空与地面建筑物分离的标记线，不得不说，每天抬头仰望天空，相信大家都可…
阅读更多...
窥探向量乘矩阵的存内计算原理—基于向量乘矩阵的存内计算

窥探向量乘矩阵的存内计算原理—基于向量乘矩阵的存内计算

在当今计算领域中，存内计算技术凭借其出色的向量乘矩阵操作效能引起了广泛关注。本文将深入研究基于向量乘矩阵的存内计算原理，并探讨几个引人注目的代表性工作，如DPE、ISAAC、PRIME等，它们在神经网络和图计算应用中表现出色&…
阅读更多...
三维模型设计新纪元：3D开发工具HOOPS在机械加工行业的应用与优势

三维模型设计新纪元：3D开发工具HOOPS在机械加工行业的应用与优势

在当今快速发展的科技时代，机械加工行业正经历着巨大的变革，而HOOPS技术正是其中一项重要的创新。HOOPS技术不仅仅是一种用于处理和可视化计算机辅助设计（CAD）数据的工具，更是机械加工领域中提升效率、优化设计的利器。…
阅读更多...
SI3933 15k-125kHZ低频唤醒开发技术资料

SI3933 15k-125kHZ低频唤醒开发技术资料

SI3933完美兼容：AS3933.PAN3501,GC3933Si3933 是一款三通道的低功耗 ASK 接收机，可用于检测 15kHz-150kHz 低频载波频率的数字信号，并产生唤醒信号。内部集成的校验器用于检测 16 位或 32 位曼彻斯特编码的唤醒向量，且支持两次重复…
阅读更多...
超声波自动气象站是什么？

超声波自动气象站是什么？

TH-CQX12超声波自动气象站是一种利用超声波技术进行气象观测和数据采集的自动化设备。它能够实时监测温度、湿度、风速、风向、气压、雨量等多种气象要素，并通过无线传输方式将数据发送到数据中心进行分析和处理。 与传统气象站相比，超声波自动气象站具有…
阅读更多...
申万宏源：证券低时延交易系统全链路自主可控创新实践 |论坛实录

申万宏源：证券低时延交易系统全链路自主可控创新实践 |论坛实录

由中科驭数主办的第二届证券基金行业先进计算技术大会暨2024低时延技术创新实践论坛（上海站）在上海举行。会上各位嘉宾深入的分享，吸引了不少行业同仁对本次会议干货内容的关注。特此，中科驭数整理部分演讲者发言实录，…
阅读更多...
ARM汇编 2.arm常用指令

ARM汇编 2.arm常用指令

MOV 赋值操作 寄存器 < 寄存器/存储器/立即数 MOV{条件}{S} 目的寄存器&#xff0c;源操作数 没有S时指令不更新 CPSR 中条件标志位的值 立即数&#xff1a;由0-255之间的数据循环右移偶数位生成。(移动规则不用掌握) #0xfff不是立即数&#xff0c;而0x80000001是立即数 …
阅读更多...
Mysql-ReadView + MVCC-RR 与 RC

Mysql-ReadView + MVCC-RR 与 RC

实验准备 创建脚本 CREATE TABLE user (id int(11) NOT NULL AUTO_INCREMENT,name varchar(16) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL,age int(11) NULL DEFAULT NULL,addr varchar(256) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL,PRIMARY …
阅读更多...
3款最好用的tron钱包解读：TronLink，Ledger，Bitget钱包

3款最好用的tron钱包解读：TronLink，Ledger，Bitget钱包

电子钱包是用户连接到区块链网络的重要媒介。除了接收和发送功能外&#xff0c;它还可用于传输虚拟货币。它也是使用分散应用程序&#xff08;DApp&#xff09;的必要工具&#xff01;无论您是想在ON上使用以太坊&#xff0c;EOS还是任何DApp&#xff0c;您都必须先拥有钱包。因…
阅读更多...
vxe-table表格合并行和虚拟滚动冲突

vxe-table表格合并行和虚拟滚动冲突

项目一直用的vxe-table 2.0版本&#xff0c;支持表格的虚拟滚动&#xff0c;最近要做表格合并行功能&#xff0c;虚拟滚动便失效了&#xff0c;强行虚拟滚动&#xff0c;合并行会有错行现象。 vxe-table2.0给出的解释是&#xff1a;合并行不能和虚拟滚动一起使用。 目前找到两种…
阅读更多...
最新文章

Copyright @ 2022~2023