1 elasticsearch介绍
Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。可以很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性。Elasticsearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch 数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。
Elasticsearch是与Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成一个集成解决方案，称为“Elastic Stack”（以前称为“ELK stack”）。
Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。Elasticsearch是分布式的，这意味着索引可以被分成分片，每个分片可以有0个或多个副本。每个节点托管一个或多个分片，并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。相关数据通常存储在同一个索引中，该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引，就不能更改主分片的数量。
2 ES相关的术语介绍
**index：**也叫索引，一个索引最少要有一个分片。指的是逻辑的存储和读取单元。一个索引也可以叫做1个文档名
**shard：**分片，用于实际存储数据信息。索引数据可以分布到集群中的不同节点，每个索引可以分为多个分片。分片可以提高数据存储和查询的效率
**replica：**副本，用于索引分片冗余，以及提高数据的可靠性和查询性能。副本可以分布在不同的节点上，确保即使某些节点故障，数据也不会丢失
**primary shard：**主分片，负责数据的读写
**replica shard：**副本分片，从primary shard同步数据且，负责读的负载均衡。也就是说读数据时，会往多个副本读取。
**allocation：**把索引的不同分片分配到整个集群的过程
**document：**文档，用于的实际数据的载体，分为元数据和源数据
-
源数据：指的是用户实际的存储。数据存储在"_source"字段中
-
元数据：用于描述数据的数据，比如
_index,_id,_type,_source
ES集群颜色和含义：
-
green代表所有的主分片和副本分片都正常访问
-
yellow代码部分副本分片无法访问
- 例如，副本数量大于集群数量。导致没有可用节点分配
-
red代表部分主分片无法访问
ES相关端口：
- 9200，支持http|https协议，对外部提供服务访问
- 9300，支持tcp协议，对内部ES集群进行数据传输
2 elasticsearch的安装
01 单点方式部署
| IP | 主机名 | 内存 |
|---|---|---|
| 10.0.0.091 | elk91 | 2G |
提示：elasticsearch的deb安装包集成了java环境，因此安装包体积较大，也可以二进制部署，软件和java环境分开部署。
1.以7.17.22版本为例：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.22-amd64.deb
2.安装软件包
dpkg -i elasticsearch-7.17.22-amd64.deb
3.修改配置文件：vim /etc/elasticsearch/elasticsearch.yml
# 指定集群的名称，每个ES集群的名称要唯一
17 cluster.name: wzy-com
# 数据的存储路径，默认即可
33 path.data: /var/lib/elasticsearch
# 日志的存储路径，默认即可
37 path.logs: /var/log/elasticsearch
# 指定监听本地的地址，监听全部则写成 0.0.0.0
56 #network.host: 10.0.0.91
# 对外的访问端口
http.port: 9200
# 集群之间数据传输端口
61 #http.port: 9200
# 部署集群为单点类型
discovery.type: "single-node"
简化的配置为：
[root@elk91~]# yy /etc/elasticsearch/elasticsearch.yml
cluster.name: wzy-com
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
transport.port: 9300
discovery.type: "single-node"
3.启动es
systemctl restart elasticsearch.service
[root@elk91~]# netstat -antlp | grep 9[23]00
tcp6 0 0 :::9300 :::* LISTEN 3235/java
tcp6 0 0 :::9200 :::* LISTEN 3235/java
4.如果启动失败，就去看日志：/var/log/elasticsearch/wzy-com.log；或者journalctl -fu elasticsearch
5.访问es
[root@elk91~]# curl http://10.0.0.91:9200
{
"name" : "elk91",
"cluster_name" : "wzy-com",
"cluster_uuid" : "ypPsMv8WQOmQZ3H1VSF-Xw",
"version" : {
"number" : "7.17.22",
"build_flavor" : "default",
"build_type" : "deb",
"build_hash" : "38e9ca2e81304a821c50862dafab089ca863944b",
"build_date" : "2024-06-06T07:35:17.876121680Z",
"build_snapshot" : false,
"lucene_version" : "8.11.3",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
6.卸载es
dpkg命令说明：
-
dpkg -r 卸载
-
dpkg -P 卸载并移除配置文件
卸载后再使用rm -rf /tmp*
02 集群方式部署
1.环境准备
| IP地址 | 主机名 |
|---|---|
| 10.0.0.91 | elk91 |
| 10.0.0.92 | elk92 |
| 10.0.0.93 | elk93 |
- 所有节点设置正确的时间：
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime - 安装ES软件
1.所有节点修改配置文件为：
cat >/etc/elasticsearch/elasticsearch.yml <<EOF
cluster.name: elk-wzy
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
transport.port: 9300
# 配置ES集群的服务发现列表主机
discovery.seed_hosts: ["10.0.0.91","10.0.0.92","10.0.0.93"]
# 配置ES集群启动时参与master选举的节点
cluster.initial_master_nodes: ["10.0.0.91","10.0.0.92","10.0.0.93"]
EOF
最后启动es：systemctl enable elasticsearch --now
2.验证是否为集群还是脑裂。访问任意1个节点，看到主机列表为3个节点就是搭建成功了。否则卸载重新搭建
[root@elk91~]# curl -s 10.0.0.93:9200/_cat/nodes
10.0.0.91 29 96 5 0.66 0.53 0.44 cdfhilmrstw - elk91
10.0.0.93 25 96 2 0.60 0.43 0.22 cdfhilmrstw - elk93
10.0.0.92 48 96 3 0.47 0.57 0.32 cdfhilmrstw * elk92
# 卸载
systemctl disable elasticsearch --now
dpkg -P elasticsearch
rm -rf /tmp/* /var/{log,lib}/elasticsearch
# 安装
dpkg -i elasticsearch-7.17.22-amd64.deb
cat >/etc/elasticsearch/elasticsearch.yml <<EOF
cluster.name: efk-wzy
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
transport.port: 9300
discovery.seed_hosts: ["10.0.0.91","10.0.0.92","10.0.0.93"]
cluster.initial_master_nodes: ["10.0.0.91","10.0.0.92","10.0.0.93"]
EOF
systemctl enable elasticsearch --now
03 ES的堆内存设置
此操作为可选项：
-Xms 和 -Xmx 是 JVM（Java 虚拟机）启动参数，用于设置堆内存（Heap Memory）的初始大小和最大大小。这两个参数直接影响 Java 应用的性能和内存管理。建议设置为主机内存的一半
修改 /etc/elasticsearch/jvm.options ，
...
-Xms4096m
-Xmx4096m
...
