官网地址: https:// lucene.apache.org/
重要特征:
- 分布式的实时文件存储,每个字段都被索引并可被搜索
- 实时分析的分布式搜索引擎
- 可以扩展到上百台服务器,处理PB级结构化或非结构化数据
1. 倒排索引概述
1.1 正向索引
如果是根据id查询,那么直接走索引,查询速度非常快。
但如果是基于title做模糊查询,只能是逐行扫描数据,流程如下:
- 用户搜索数据,条件是title符合 "%手机%"
- 逐行获取数据,比如id为1的数据
- 判断数据中的title是否符合用户搜索条件
- 如果符合则放入结果集,不符合则丢弃。回到步骤1
逐行扫描,也就是全表扫描,随着数据量增加,其查询效率也会越来越低。当数据量达到数百万时,就是一场灾难。
1.2 倒排索引
- 文档( Document ):用来搜索的数据,其中的每一条数据就是一个文档。例如一个网页、一个商品信息;
- 词条( Term ):对文档数据或用户搜索数据,利用某种算法分词,得到的具备含义的词语就是词 条。例如:我是中国人,就可以分为:我、是、中国人、中国、国人这样的几个词条;
创建倒排索引是对正向索引的一种特殊处理,流程如下:
- 将每一个文档的数据利用算法分词,得到一个个词条
- 创建表,每行数据包括词条、词条所在文档id、位置等信息
- 因为词条唯一性,可以给词条创建索引,例如hash表结构索引
如图:
倒排索引的搜索流程如下(以搜索"华为手机"为例):
- 用户输入条件 "华为手机" 进行搜索。
- 对用户输入内容分词,得到词条: 华为 、 手机 。
- 拿着词条在倒排索引中查找,可以得到包含词条的文档id:1、2、3。
- 拿着文档id到正向索引中查找具体文档。
如图:
虽然要先查询倒排索引,再查询倒排索引,但是无论是词条、还是文档 id 都建立了索引,查询速度非常快!无需全表扫描。
1.3 正向和倒排
- 正向索引是最传统的,根据id索引的方式。但根据词条查询时,必须先逐条获取每个文档,然后判断文档中是否包含所需要的词条,是根据文档找词条的过程。
- 而倒排索引则相反,是先找到用户要搜索的词条,根据词条得到保护词条的文档的id,然后根据id 获取文档。是根据词条找文档的过程。
正向索引:
- 优点:
-
可以给多个字段创建索引
-
根据索引字段搜索、排序速度非常快
-
- 缺点:
-
根据非索引字段,或者索引字段中的部分词条查找时,只能全表扫描。
-
- 优点:
- 根据词条搜索、模糊搜索时,速度非常快
- 缺点:
- 只能给词条创建索引,而不是字段
- 无法根据字段做排序
2. es的一些概念
2.1 文档与字段
而Json文档中往往包含很多的字段(Field),类似于数据库中的列。
2.2 索引和映射
- 所有用户文档,就可以组织在一起,称为用户的索引;
- 所有商品的文档,可以组织在一起,称为商品的索引;
- 所有订单的文档,可以组织在一起,称为订单的索引;
因此,我们可以把索引当做是数据库中的表。
2.3 MySQL 与 elasticsearch
MySQL | Elasticsearch | 说明 |
Table | Index |
索引
(index)
,就是文档的集合,类似数据库的表
(table)
|
Row
|
Document
|
文档(
Document
),就是一条条的数据,类似数据库中的行(Row
),文档都是
JSON
格式
|
Column
|
Field
|
字段(
Field
),就是
JSON
文档中的字段,类似数据库中的列(Column
)
|
Schema
|
Mapping
|
Mapping
(映射)是索引中文档的约束,例如字段类型约束。类似数据库的表结构(Schema
)
|
SQL
|
DSL
|
DSL
是
elasticsearch
提供的
JSON
风格的请求语句,用来操作elasticsearch,实现
CRUD
|
两者各有自己的擅长支出:
- Mysql:擅长事务类型操作,可以确保数据的安全和一致性
- Elasticsearch:擅长海量数据的搜索、分析、计算
因此在企业中,往往是两者结合使用:
- 对安全性要求较高的写操作,使用mysql实现
- 对查询性能要求较高的搜索需求,使用elasticsearch实现
- 两者再基于某种方式,实现数据的同步,保证一致性
2.4 环境安装
- 运行 elasticsearch.bat
- 访问localhost:9200能看到json代表启动成功
2.5 IK分词器
- 创建倒排索引时对文档分词
- 用户搜索时,对输入的内容分词
IK分词器有几种模式?
- ik_smart:智能切分,粗粒度
- ik_max_word:最细切分,细粒度
安装
下载:https://github.com/medcl/elasticsearch-analysis-ik/releases
- 在ES安装目录下找到plugins目录创建ik文件夹
- 将ik分词器解压缩在此目录并重启ES即可
2.6 索引库操作
2.6.1 mapper映射属性
- type:字段数据类型,常见的简单类型有:
- 字符串:text(可分词的文本)、keyword(精确值,例如:品牌、国家、ip地址)
- 数值:long、integer、short、byte、double、flfloat
- 布尔:boolean
- 日期:date
- 对象:object
- index:是否创建索引,默认为true
- analyzer:使用哪种分词器
- properties:该字段的子字段
{
"age": 18,
"weight": 70.2,
"isMarried": false,
"info": "apesourceJavaEE王讲师",
"email": "wangls@163.com",
"score": [99.1, 99.5, 98.9],
"name": {
"firstName": "师傅",
"lastName": "王"
}
}
- age:类型为 integer;参与搜索,因此需要index为true;无需分词器
- weight:类型为flfloat;参与搜索,因此需要index为true;无需分词器
- isMarried:类型为boolean;参与搜索,因此需要index为true;无需分词器
- info:类型为字符串,需要分词,因此是text;参与搜索,因此需要index为true;分词器可以用 ik_smart
- email:类型为字符串,但是不需要分词,因此是keyword;不参与搜索,因此需要index为false;无需分词器
- score:虽然是数组,但是我们只看元素的类型,类型为flfloat;参与搜索,因此需要index为true;无需分词器
- name:类型为object,需要定义多个子属性
- name.fifirstName;类型为字符串,但是不需要分词,因此是keyword;参与搜索,因此需要 index为true;无需分词器
- name.lastName;类型为字符串,但是不需要分词,因此是keyword;参与搜索,因此需要 index为true;无需分词器
2.6.2 创建索引库和映射
基本语法:
- 请求方式:PUT
- 请求路径:/索引库名,可以自定义
- 请求参数:mapping映射
格式:
PUT /索引库名称
{
"mappings": {
"properties": {
"字段名":{
"type": "text",
"analyzer": "ik_smart"
},
"字段名2":{
"type": "keyword",
"index": "false"
},
"字段名3":{
"properties": {
"子字段": {
"type": "keyword"
}
}
},
// ...略
}
}
}
2.6.3 查询索引库
基本语法:
- 请求方式:GET
- 请求路径:/索引库名
- 请求参数:无
格式:GET /索引库名
2.6.3 修改索引库
PUT /索引库名/_mapping
{
"properties": {
"新字段名":{
"type": "integer"
}
}
}
2.6.4 删除索引库
语法:
- 请求方式:DELETE
- 请求路径:/索引库名
- 请求参数:无
格式:DELETE /索引库名
2.6.5 总结
- 创建索引库:PUT /索引库名
- 查询索引库:GET /索引库名
- 删除索引库:DELETE /索引库名
- 添加字段:PUT /索引库名/_mapping
2.7 文档操作
2.7.1 新增文档
语法:
POST /索引库名/_doc/文档id
{
"字段1": "值1",
"字段2": "值2",
"字段3": {
"子属性1": "值3",
"子属性2": "值4"
},
// ...
}
响应:result:created
2.7.2 查询文档
2.7.3 删除文档
2.7.4 修改文档
- 全量修改:直接覆盖原来的文档
- 增量修改:修改文档中的部分字段
2.7.4.1 全量修改
- 根据指定的id删除文档
- 新增一个相同id的文档
注意 :如果根据 id 删除时, id 不存在,第二步的新增也会执行,也就从修改变成了新增操作了。
PUT /{索引库名}/_doc/文档id
{
"字段1": "值1",
"字段2": "值2",
// ... 略
}
2.7.4.2 增量修改
POST /{索引库名}/_update/文档id
{
"doc": {
"字段名": "新的值",
}
}
2.7.5 总结
- 创建文档:POST /{索引库名}/_doc/文档id { json文档 }
- 查询文档:GET /{索引库名}/_doc/文档id
- 删除文档:DELETE /{索引库名}/_doc/文档id
- 修改文档:
- 全量修改:PUT /{索引库名}/_doc/文档id { json文档 }
- 增量修改:POST /{索引库名}/_update/文档id { "doc": {字段}}
3. ResrAPI
- Java Low Level Rest Client
- Java High Level Rest Client
我们学习的是Java HighLevel Rest Client客户端API
3.1 初始化RestClient
<dependency>
<groupId>org.elasticsearch.client</groupId>
<artifactId>elasticsearch-rest-high-level-client</artifactId>
</dependency>
2、因为SpringBoot默认的ES版本是7.6.2,所以我们需要覆盖默认的ES版本:
<properties>
<java.version>1.8</java.version>
<elasticsearch.version>7.12.0</elasticsearch.version>
</properties>
3、初始化RestHighLevelClient:
初始化的部分代码如下:
RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(
HttpHost.create("http://localhost:9200")
));
private RestHighLevelClient client;
@BeforeEach
public void setUp(){
this.client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://localhost:9200")));
}
@AfterEach
void tearDown() throws IOException {
this.client.close();
}
3.2 创建索引库
package com.itzhi.common;
/**
* @author lizhihui
* @version 1.0
* @since 2023/8/11
*/
public class HotelConstants {
public static final String MAPPING_TEMPLATE = "{\n" +
" \"mappings\": {\n" +
" \"properties\": {\n" +
" \"id\": {\n" +
" \"type\": \"keyword\"\n" +
" },\n" +
" \"name\":{\n" +
" \"type\": \"text\",\n" +
" \"analyzer\": \"ik_max_word\",\n" +
" \"copy_to\": \"all\"\n" +
" },\n" +
" \"address\":{\n" +
" \"type\": \"keyword\",\n" +
" \"index\": false\n" +
" },\n" +
" \"price\":{\n" +
" \"type\": \"integer\"\n" +
" },\n" +
" \"score\":{\n" +
" \"type\": \"integer\"\n" +
" },\n" +
" \"brand\":{\n" +
" \"type\": \"keyword\",\n" +
" \"copy_to\": \"all\"\n" +
" },\n" +
" \"city\":{\n" +
" \"type\": \"keyword\",\n" +
" \"copy_to\": \"all\"\n" +
" },\n" +
" \"starName\":{\n" +
" \"type\": \"keyword\"\n" +
" },\n" +
" \"business\":{\n" +
" \"type\": \"keyword\"\n" +
" },\n" +
" \"location\":{\n" +
" \"type\": \"geo_point\"\n" +
" },\n" +
" \"pic\":{\n" +
" \"type\": \"keyword\",\n" +
" \"index\": false\n" +
" },\n" +
" \"all\":{\n" +
" \"type\": \"text\",\n" +
" \"analyzer\": \"ik_max_word\"\n" +
" }\n" +
" }\n" +
" }\n" +
"}";
}
// 创建索引库
@Test
public void createHotelIndex() throws IOException {
CreateIndexRequest request = new CreateIndexRequest("hotels");
request.source(HotelConstants.MAPPING_TEMPLATE, XContentType.JSON);
client.indices().create(request,RequestOptions.DEFAULT);
}
3.3 删除索引库
// 删除索引库
@Test
public void testDeleteHotelIndex() throws IOException {
DeleteIndexRequest request = new DeleteIndexRequest("hotels");
client.indices().delete(request,RequestOptions.DEFAULT);
}
3.4 判断索引库是否存在
// 查找索引是否存在
@Test
public void testExistsHotelIndex() throws IOException {
// 1、创建request对象
GetIndexRequest request = new GetIndexRequest("hotels");
boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);
System.err.println(exists ? "索引库已经存在!" : "索引库不存在!");
}
3.5 总结
- 初始化RestHighLevelClient
- 创建XxxIndexRequest。XXX是Create、Get、Delete
- 准备DSL( Create时需要,其它是无参)
- 发送请求。调用RestHighLevelClient#indices().xxx()方法,xxx是create、exists、delete
4. RestClient操作文档
4.1 新增文档
/**
* @author lizhihui
* @version 1.0
* @since 2023/8/11
*/
@Data
@AllArgsConstructor
@NoArgsConstructor
@ToString
@TableName("tb_hotel")
public class Hotel {
@TableId(value = "id",type = IdType.INPUT)
private Long id;
@TableField("name")
private String name;
@TableField("address")
private String address;
@TableField("price")
private Integer price;
@TableField("score")
private Integer score;
@TableField("brand")
private String brand;
@TableField("city")
private String city;
@TableField("starName")
private String starName;
@TableField("business")
private String business;
@TableField("longitude")
private String longitude;//经度
@TableField("latitude")
private String latitude;//纬度
@TableField("pic")
private String pic;
}
- longitude和latitude需要合并为location
/**
* @author lizhihui
* @version 1.0
* @since 2023/8/11
*/
@Data
@NoArgsConstructor
@ToString
public class HotelDoc {
private Long id;
private String name;
private String address;
private Integer price;
private Integer score;
private String brand;
private String city;
private String starName;
private String business;
private String location;
private String pic;
public HotelDoc(Hotel hotel) {
this.id = hotel.getId();
this.name = hotel.getName();
this.address = hotel.getAddress();
this.price = hotel.getPrice();
this.score = hotel.getScore();
this.brand = hotel.getBrand();
this.city = hotel.getCity();
this.starName = hotel.getStarName();
this.business = hotel.getBusiness();
this.location = hotel.getLatitude() + ", " + hotel.getLongitude();
this.pic = hotel.getPic();
}
}
// 添加一个文档到es
@Test
public void testAddDocument() throws IOException {
Hotel hotel = service.getById(197837109);
HotelDoc hotelDoc = new HotelDoc(hotel);
String json = JSON.toJSONString(hotelDoc);
IndexRequest request = new IndexRequest("hotels").id(hotelDoc.getId().toString());
request.source(json, XContentType.JSON);
client.index(request, RequestOptions.DEFAULT);
}
4.2 查询文档
// 根据id查找一个文档
@Test
public void testGetDocument() throws IOException {
GetRequest request = new GetRequest("hotels", "197837109");
GetResponse response = client.get(request, RequestOptions.DEFAULT);
String json = response.getSourceAsString();
HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
System.out.println(hotelDoc);
}
4.3 删除文档
// 根据id删除一个文档
@Test
public void testDeleteDocument() throws IOException {
DeleteRequest request = new DeleteRequest("hotels", "197837109");
client.delete(request, RequestOptions.DEFAULT);
}
4.4 修改文档
- 全量修改:本质是先根据id删除,再新增
- 增量修改:修改文档中的指定字段值
- 在RestClient的API中,全量修改与新增的API完全一致
在hotel-demo的HotelDocumentTest测试类中,编写单元测试:
// 根据id修改文档
@Test
public void testUpdateDocument() throws IOException {
UpdateRequest request = new UpdateRequest("hotels", "197837109");
request.doc("name", "W酒店",
"city", "西安",
"price", "2000",
"starName", "五星级");
client.update(request, RequestOptions.DEFAULT);
}
4.5 批量导入文档
// 批量添加文档
@Test
public void testBulkRequest() throws IOException {
List<Hotel> list = service.list();
BulkRequest request = new BulkRequest();
for (Hotel hotel : list) {
HotelDoc hotelDoc = new HotelDoc(hotel);
request.add(new IndexRequest("hotels")
.id(hotelDoc.getId().toString())
.source(JSON.toJSONString(hotelDoc), XContentType.JSON));
}
client.bulk(request,RequestOptions.DEFAULT);
}
4.6 总结
- 初始化RestHighLevelClient
- 创建XxxRequest。XXX是Index、Get、Update、Delete、Bulk
- 准备参数(Index、Update、Bulk时需要)
- 发送请求。调用RestHighLevelClient#.xxx()方法,xxx是index、get、update、delete、bulk
- 解析结果(Get时需要)
5. ElasticSearch查询
elasticsearch的查询依然是基于JSON风格的DSL来实现的。
5.1 DSL查询文档
- 查询所有:查询出所有数据,一般测试用(不会显示出所有,自带分页功能)。例如:match_all
- 全文检索(full text)查询:利用分词器对用户输入内容分词,然后去倒排索引库中匹配。例如:
- match_query:单字段查询
- multi_match_query:多字段查询,任意一个字段符合条件就算符合查询条件
- 精确查询:根据精确词条值查找数据,一般是查找keyword、数值、日期、boolean等类型字段。例如:
- ids
- range根据值的范围查询
- term根据词条精确值查询
- 地理(geo)查询:根据经纬度查询。例如:
- geo_distance
- geo_bounding_box
- 复合(compound)查询:复合查询可以将上述各种查询条件组合起来,合并查询条件。例如:
- bool
- function_score
5.2 RestClient查询文档
- 准备Request对象
- 准备请求参数
- 发起请求
- 解析响应
// 查询所有
@Test
public void testMatchAll() throws IOException {
SearchRequest request = new SearchRequest("hotels");
request.source().query(QueryBuilders.matchAllQuery());
SearchResponse response = client.search(request,RequestOptions.DEFAULT);
show(response);
}
//查询all字段内容中有如家的(or拼接多条件)
@Test
public void testMatch() throws IOException {
SearchRequest request = new SearchRequest("hotels");
request.source().query(QueryBuilders.matchQuery("all","如家"));
SearchResponse response = client.search(request,RequestOptions.DEFAULT);
show(response);
}
//查询name,business字段内容中有如家的
@Test
void testMultiMatch() throws IOException {
// 1.准备Request
SearchRequest request = new SearchRequest("hotels");
// 2.准备DSL 参数1:字段 参数2:数据
request.source()
.query(QueryBuilders.multiMatchQuery("如家", "name","business"));
// 3.发送请求
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
// 4.解析响应
show(response);
}
// 词条查询
@Test
public void testTermQuery() throws IOException{
SearchRequest request = new SearchRequest("hotels");
request.source().query(QueryBuilders.termQuery("city","上海"));
SearchResponse response = client.search(request,RequestOptions.DEFAULT);
show(response);
}
//范围查询
@Test
void testRangeQuery() throws IOException {
// 1.准备Request
SearchRequest request = new SearchRequest("hotels");
// 2.准备DSL,QueryBuilders构造查询条件
request.source()
.query(QueryBuilders.rangeQuery("price").gte(100).lte(150));
// 3.发送请求
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
show(response);
}
@Test
void testBool() throws IOException {
// 1.准备request
SearchRequest request = new SearchRequest("hotels");
// 布尔查询是一个或多个查询子句的组合,子查询的组合方式有:
// must:必须匹配每个子查询,类似“与”
// should:选择性匹配子查询,类似“或”
// must_not:必须不匹配,不参与算分,类似“非”
// filter:必须匹配,类似“与”,不参与算分
// 一般搜索框用must,选择条件使用filter
// 2.准备请求参数(and拼接)
// BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
// // 2.1.must
// boolQuery.must(QueryBuilders.termQuery("city", "上海"));
// // 2.2.filter小于等于
// boolQuery.filter(QueryBuilders.rangeQuery("price").lte(260));
//
// request.source().query(boolQuery);
//方式2
request.source().query(
QueryBuilders.boolQuery()
.must(QueryBuilders.termQuery("city", "上海"))
.filter(QueryBuilders.rangeQuery("price").lte(260))
);
// 3.发送请求,得到响应
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
// 4.结果解析
show(response);
}
@Test
void testPageAndSort() throws IOException {
// 页码,每页大小
int page = 1, size = 20;
// 查询条件
String searchName = "如家";
// String searchName = null;
// 1.准备Request
SearchRequest request = new SearchRequest("hotels");
// 2.准备DSL
// 2.1.query
if(searchName == null){
request.source().query(QueryBuilders.matchAllQuery());
}else{
request.source().query(QueryBuilders.matchQuery("name", searchName));
}
// 2.2.分页 from、size
request.source().from((page - 1) * size).size(size);
//2.3.排序
request.source().sort("price", SortOrder.DESC);
// 3.发送请求
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
// 4.解析响应
show(response);
}
// 解析响应对象
public void show(SearchResponse response){
// 解析响应
SearchHits searchHits = response.getHits();
// 获取总条数
long total = searchHits.getTotalHits().value;
System.out.println("共搜到" + total + "条数据");
// 文档数组
SearchHit[] hits = searchHits.getHits();
// 遍历
for (SearchHit s : hits){
String json = s.getSourceAsString();
HotelDoc hotelDoc = JSON.parseObject(json,HotelDoc.class);
System.out.println("HotelDoc = " + hotelDoc);
}
}