【数据库】elasticsearch

1、架构

es会为每个索引创建一定数量的主分片和副本分片。

分片（Shard）：

将索引数据分割成多个部分，每个部分都是一个独立的索引。
主要目的是实现数据的分布式存储和并行处理，从而提高系统的扩展性和性能。
在创建索引时，可以指定主分片的数量，一旦索引创建完成，主分片的数量就不能再更改。每个主分片负责存储索引数据的一部分，并可以独立地处理搜索请求。
副本（Replica）：
副本是主分片的完全复制，用于提供数据的冗余备份，增强数据的可用性和容错能力。
每个主分片可以有零个或多个副本分片。
副本分片与主分片分布在不同的节点上，当主分片所在的节点出现故障时，副本分片可以接管主分片的工作，确保服务的连续性。
此外，副本分片还可以用于提高搜索性能，因为搜索请求可以并行地在多个副本分片上执行。

此外，副本分片还可以用于提高搜索性能，因为搜索请求可以并行地在多个副本分片上执行。

2、存储

数据按照mapping序列化为json存储
倒排索引：相反于k-v结构，它从词（value）出发，记载了这个词在哪些文档中出现过

3、基本概念

mapping：相当于数据库定义、字段定义
index索引：相当于数据库
type类型：数据类型
document文档：一条数据
field：一个字段
shard：分片，多节点存储
replia：副本，用于故障恢复
分析器：预设分析器、自定义分析器

4、字段类型

keyword（关键词类型）：用于精确匹配，不会分词，es直接根据keyword构建倒排索引，一般与term结合使用
text（文本类型）：用于全文搜索，会被分词器处理，生成多个词条，支持模糊匹配
Numeric（数值类型）：integer/long/short/byte/double/float
Date（日期类型）：用于存储日期和时间数据，支持范围查询、日期格式化和日期计算等
Boolean（布尔类型）
Object（对象类型）：用于存储复杂结构的数据，可以嵌套其他字段。
Nested（嵌套类型）：用于存储对象数组，允许对数组中的每个对象进行独立的搜索。
IP：用于存储IPv4或IPv6地址，不会分词

5、查询方式

term精确查询：效率高，不会分词
match匹配查询：会分词，适用于text类型的字段
phrase短语查询：会分词，要求这些分词在文档中的顺序和间隔与查询短语一致，适用于保持短语顺序的搜索
wildcard通配符模糊查询：*?，性能低于phrase
fuzzy拼写错误模糊查询
prefix前缀查询
range范围查询
bool查询
nested嵌套查询：性能低于精确查询

6、搜索过程

query：定位到位置，但不取
请求打到每个shard，每个shard在本地搜索，并返回一个优先队列，包含docId, 打分值
返回队列数据给协调节点
协调节点进行数据合并、排序、分页
fetch：取数据
协调节点根据query结果，去各分片上查询docId的实际document内容，返回

7、索引优化

查询方面：
禁用wildcard通配符查询：会扫描大量文档，用高性能的term或phrase代替
对需要分词的字段，合理的设置分词器：中文分词，大小写等
充分利用倒排索引机制：对于需要精确匹配的字段，尽量用keyword（text会被分词器处理，适用于全文搜索）
减少动态索引：索引如果是基于时间动态生成，会越来越多
存储与部署：
冷热分离：热数据（如最近一周的数据），其余为冷数据。对于冷数据不会再写入新数据
增加sharding