ElasticSearch下

DSL查询

  1. 叶子查询：在特定字段里查询特定值，属于简单查询，很少单独使用
  2. 复合查询：以逻辑方式组合多个叶子查询或更改叶子查询的行为方式
    • 在查询后还可以对查询结果做处理：
      • 排序：按照1个或多个字段做排序
      • 分页：根据from或size做分页，类似MySQL
      • 高亮：对搜索结果中的关键字添加特殊样式
      • 聚合：对搜索结果做数据统计以形成报表

基本语法

GET /{索引库名}/_search
{
  "query": {
    "查询类型": {
      "查询条件": "条件值"
    }
  }
}

【例】：

GET /items/_search 
{
  "query": {
    "match_all": {}
  }
}

在这里插入图片描述

叶子查询

1. 全文检索查询

利用分词器对用户输入内容分词，然后去词条列表中匹配，默认按照匹配度排序。例如：match_query、multi_match_query

match查询（常用）：会对用户输入的内容分词，然后去倒排索引检索，语法：

GET /{索引库名}/_search
{
  "query": {
    "match": {
      "字段名": "搜索条件"
    }
  }
}

【例】：搜索“脱脂牛奶”

GET /items/_search
{
  "query": {
    "match": {
      "name": "脱脂牛奶"
    }
  }
}

multi_match查询：与match查询类似，只不过允许查询多个字段，参与查询的字段越多，性能越差。语法：

GET /{索引库名}/_search
{
  "query": {
    "multi_match": {
      "query": "搜索条件",
      "fields": ["字段1", "字段2"]
    }
  }
}

2. 精确查询

不对用户输入的内容做分词，直接精确匹配，一般是查找keyword、数值、日期、布尔等类型。例如：ids、range、term

term查询（常用）：

GET /{索引库名}/_search
{
  "query": {
    "term": {
      "字段名": {
        "value": "搜索条件"
      }
    }
  }
}

【例】：查询“牛奶”分类下的商品

GET /items/_search
{
  "query": {
    "term": {
      "category": {
        "value": "牛奶"
      }
    }
  }
}

range查询：

GET /{索引库名}/_search
{
  "query": {
    "range": {
      "字段名": {
        "gte": {最小值},
        "lte": {最大值}
      }
    }
  }
}

【例】：查询价格≥5k，≤1w

GET /items/_search
{
  "query": {
    "range": {
      "price": {
        "gte": 500000,
        "lte": 1000000
      }
    }
  }
}

ids查询：
【例】：查询id为1861099和1861100的商品

GET /items/_search
{
  "query": {
    "ids": {
      "values": ["1861099", "1861100"]
    }
  }
}

3. 地理查询

用于搜索地理位置。例如：geo_distance、geo_bounding_box

复合查询

1. bool查询

基于逻辑运算组合叶子查询，实现组合条件，例如：bool

  1. must：必须匹配每个子查询（“与”）
  2. should：选择性匹配子查询（“或”）
  3. must_not：必须不匹配，不参与算分（“非”）
  4. filter：必须匹配，不参与算分（“与”）
GET /索引库名/_search {
	"query": {
		bool查询条件: {
			叶子查询
		}
	}
}

用户在输入框搜索“手机”，在底下：品牌选择“华为”，价格选择“1600以上元”。
在这里插入图片描述

GET /items/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "name": "手机"
          }
        }
      ],
      "filter": [
        {
          "term": {
            "brand": "华为"
          }
        },
        {
          "range": {
            "price": {
              "gte": 160000
            }
          }
        }
      ]
    }
  }
}

2. 算分函数查询

基于某种算法修改查询时的文档相关性算分，从而改变文档排名。例如：function_score、dis_max

排序和分页

排序

es默认根据相关度算分（_score）来排序，也可以指定字段排序。可以排序的类型有：keyword、数值、地理坐标、日期。

GET /索引库名/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "排序字段": {
        "order": "排序方式asc和desc"
      }
    }
  ]
}

【例】：搜索“脱脂牛奶”，结果按照销量排序，销量一样按照价格升序排列

GET /items/_search
{
  "query": {
    "match": {
      "name": "脱脂牛奶"
    }
  },
  "sort": [
    {
      "sold": "desc"
    },
    {
      "price": "asc"
    }
  ]
}

分页

es默认只返回前10的数据，如果查询更多数据就需要修改分页参数。

  • from：从第几个文档开始
  • size：总共查询几个文档
    【例】：搜索“脱脂牛奶”，查询出销量前10的商品，销量一样时按照价格升序
GET /items/_search
{
  "query": {
    "match": {
      "name": "脱脂牛奶"
    }
  },
  "from": 0, // 分页开始的位置，默认为0
  "size": 10, // 每页文档数量，默认10
  "sort": [
    {
      "sold": "desc"
    },
    {
      "price": "asc"
    }
  ]
}
深度分页问题

es中from + size不能超过1w条，因为太深了会有深度分页问题。
【产生原因】因为es存储的数据很多，所以es数据一般会采用分片存储，把一个索引中的数据分成N份，存储到不同的节点上。查询时需要汇总各个分片的数据。查询的页码越深，从每个分片差的数据量越多，内存压力越大，性能越差。
【解决办法】search after模式：分页时需要排序，原理是在上一次排序后，会记住上一次的排序值，下一次排序时，就会直接从上一次排序值开始，查询下一页数据。

  • 优点：没有查询上限，支持深度分页
  • 缺点：只能向后逐页查询，不能随即翻页
  • 场景：数据迁移，手机滚动查询

高亮显示

在搜索结果中，把搜索结果突出显示
【原理】：
1. 高亮词条都加了<em>标签，标签上都添加了红色样式
2. 倒排索引在分词的时候，会把词条列表进行分词，还会记录词条在文档中的位置
在这里插入图片描述

GET /{索引库名}/_search
{
  "query": {
    "match": {
      "搜索字段": "搜索关键字"
    }
  },
  "highlight": {
    "fields": {
      "高亮字段名称": {
        "pre_tags": "<em>", // 高亮的前置标签
        "post_tags": "</em>" // 高亮的后置标签
      }
    }
  }
}

一般搜哪个字段，就对哪个字段做高亮，标签可以不加，默认是em

【例】：

GET /items/_search
{
  "query": {
    "match": {
      "name": "脱脂牛奶"
    }
  },
  "highlight": {
    "fields": {
      "name": {}
    }
  }
}

在这里插入图片描述

JavaRestClient查询

基本语法

  1. 构建并发起请求
    在这里插入图片描述
  2. 解析查询结果
    在这里插入图片描述
@Test
void testSearch() throws IOException {
    // 1. 创建Request对象
    SearchRequest request = new SearchRequest("items");
    // 2. 配置Request参数
    request.source()
            .query(QueryBuilders.matchAllQuery());
    // 3. 发送请求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4. 解析结果
    SearchHits searchHits = response.getHits();
    long total = searchHits.getTotalHits().value; // 查询的总条数
    SearchHit[] hits = searchHits.getHits(); // 查询的结果数组
    for(SearchHit hit : hits) {
        String json = hit.getSourceAsString();// 得到source
        System.out.println(json);
    }
}

叶子查询

全文检索查询

在这里插入图片描述

精确查询

在这里插入图片描述

复合查询

布尔查询

在这里插入图片描述
【例】：搜索关键字为“脱脂牛奶”，品牌为“德亚”，价格低于300元

@Test
void testSearch() throws IOException {
    // 1. 创建Request对象
    SearchRequest request = new SearchRequest("items");
    // 2. 配置Request参数
    request.source().query(
            QueryBuilders.boolQuery()
                    .must(QueryBuilders.matchQuery("name", "脱脂牛奶"))
                    .filter(QueryBuilders.termQuery("brand", "德亚"))
                    .filter(QueryBuilders.rangeQuery("price").lt(30000))
    );
    // 3. 发送请求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4. 解析结果
    parseResponseResult(response); // 对上边解析response的步骤进行了封装
}

排序和分页

在这里插入图片描述

@Test 
void testSortAndPage() throws IOException {
    SearchRequest request = new SearchRequest("items");
    int pageNo = 1, pageSize = 5;
    request.source().query(QueryBuilders.matchAllQuery()) // query条件
            .from((pageNo - 1) * pageSize).size(pageSize) // 分页条件(分页开始的位置, 每页文档数量)
            .sort("sold", SortOrder.DESC)
            .sort("price", SortOrder.ASC); // 排序条件(排序字段, 排序方式)
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    parseResponseResult(response);
}

高亮显示

在这里插入图片描述
高亮显示的结果解析：
在这里插入图片描述

@Test
void testHighLight() throws IOException {
    SearchRequest request = new SearchRequest("items");
    request.source().query(QueryBuilders.matchQuery("name", "脱脂牛奶")) // 查询条件
            .highlighter(SearchSourceBuilder.highlight().field("name")); // 高亮条件
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    parseResponseResult(response);
}

由于高亮的结果不是在source里的，所以parseResponseResult()方法需要添加对高亮的处理：

private static void parseResponseResult(SearchResponse response) {
   SearchHits searchHits = response.getHits();
   long total = searchHits.getTotalHits().value; // 查询的总条数
   SearchHit[] hits = searchHits.getHits(); // 查询的结果数组
   for(SearchHit hit : hits) {
       String json = hit.getSourceAsString();// 得到source
       ItemDoc itemDoc = BeanUtil.copyProperties(json, ItemDoc.class);

       // ===处理高亮结果===
       Map<String, HighlightField> hfs = hit.getHighlightFields();
       if(hfs != null && !hfs.isEmpty()) {
           // 根据高亮字段名获取高亮结果
           HighlightField hf = hfs.get("name");
           // 获取高亮结果后，用高亮结果覆盖非高亮结果
           String hfName = hf.getFragments()[0].string(); // 高亮结果
           itemDoc.setName(hfName); // 覆盖非高亮结果
       }
       System.out.println(itemDoc);
   }
}

数据聚合

聚合可以实现对文档数据的统计、分析、运算，聚合常见的有：

  1. 桶聚合：用来对文档做分组
    • TermAggregation（term）：按照文档字段值分组
    • Date Histogram：按照日期阶梯分组，例如：一周为一组，或一月为一组
  2. 度量聚合：用来计算一些值，如：最大值、最小值、平均值
    • Avg：求平均值
    • Max：求最大值
    • Min：求最小值
    • Stats：同时求max、min、avg、sum
  3. 管道聚合：其他聚合结果为基础做聚合，聚合的数据是其他聚合的结果

参与聚合的字段必须是Keyword、数值、日期、布尔类型的字段

DSL聚合

【例1】：统计所有商品中的商品分类

# select count(1) "categroyAgg" from items group by category
GET /items/_search
{
  "query": {"match_all": {}}, // 如果使用"match_all"，可以省略
  "size": 0, // 如果不设置size，默认为10，不仅会返回聚合结果，还会返回搜索结果，增加网络传输的负担
  "aggs": { // 定义聚合
    "categroyAgg": { // 给聚合起个名字
      "terms": { // 聚合的类型，按照分类聚合，所以选择term
        "field": "category", // 参与聚合的字段
        "size": 5 // 希望获取的聚合结果数量
      }
    }
  }
}

在这里插入图片描述
【例2】：统计手机的品牌，每个品牌价格的最小值、最大值、平均值

GET /items/_search
{
  "query": {
    "term": {
      "category": "手机"
    }
  },
  "size": 0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand"
      },
      "aggs": {
        "price_stats": {
          "stats": {
            "field": "price"
          }
        }
      }
    }
  }
}

在这里插入图片描述

JavaRestClient聚合

在这里插入图片描述
解析聚合结果：
在这里插入图片描述

@Test
void testAgg() throws IOException {
    SearchRequest request = new SearchRequest("items");
    String brandAggName = "brandAgg";
    request.source()
            .size(0) // 不返回文段，只返回聚合结果
            .aggregation(AggregationBuilders.terms(brandAggName) // 聚合类型、聚合名称
                    .field("brand") // 聚合字段
                    .size(20) // 聚合返回结果
            );
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 解析结果
    Aggregations aggregations = response.getAggregations();
    // 根据聚合名称获取对应的聚合
    Terms terms = aggregations.get(brandAggName); // 这里用了向下转型（Aggregation：父、Terms：子）
    // 获取buckets
    List<? extends Terms.Bucket> buckets = terms.getBuckets();
    // 遍历每一个bucket
    for (Terms.Bucket bucket : buckets) {
        System.out.println("brand:" + bucket.getKeyAsString());
        System.out.println("count:" + bucket.getDocCount());
    }
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/955488.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【个人开发】nginx域名映射及ssl证书配置踩坑记录

【个人开发】nginx域名映射及ssl证书配置踩坑记录

1. 背景 买了个域名&#xff0c;申请了ssl证书&#xff0c;买都买了&#xff0c;不得部署点东西。于是开始一堆踩坑之旅。 2. 踩过的坑 2.1 报错1:域名访问 Invalid Host header 项目是一个简单的vue项目&#xff0c;启动方式如下 npm run serve但浏览器出现报错&#xff…
阅读更多...
Go-Zero整合Goose实现MySQL数据库版本管理

Go-Zero整合Goose实现MySQL数据库版本管理

推荐阅读 【系列好文】go-zero从入门到精通&#xff08;看了就会&#xff09; 教程地址&#xff1a;https://blog.csdn.net/u011019141/article/details/139619172 Go-Zero整合Goose实现MySQL数据库版本管理的教程 在开发中&#xff0c;数据库迁移和版本管理是必不可少的工作。…
阅读更多...
每日一题洛谷P1427 小鱼的数字游戏c++

每日一题洛谷P1427 小鱼的数字游戏c++

#include<iostream> using namespace std; int main() {long long s[100] { 0 };int i 0;while (1) {cin >> s[i];if (s[i]0) {break;}i;}for (i; i > 0;i--) {if(s[i]!0)cout << s[i] << " ";}return 0; }
阅读更多...
力扣 子集

力扣 子集

回溯基础&#xff0c;一题多解&#xff0c;不同的回朔过程。 题目 求子集中&#xff0c;数组的每种元素有选与不选两种状态。因此在使用dfs与回溯时把每一个元素分别进行选与不选的情况考虑即可。可以先用dfs跳过当前元素即不选然后一直深层挖下去&#xff0c;直到挖到最深了即…
阅读更多...
宇泰串口卡驱动在Ubuntu22.04编译、安装汇总

宇泰串口卡驱动在Ubuntu22.04编译、安装汇总

从官网下载驱动官网地址 上传到Ubuntu, 目录结构如下&#xff1a; 驱动源代码: 驱动代码是基于开源项目编译来的 编译路径不能有中文路径&#xff0c;否则可能有类似错误 源码是基于Linux2.3内核编译&#xff0c;我当前是6.8.0-51&#xff0c;数据结构有升级&#xff0c;需要调…
阅读更多...
LSA更新、撤销

LSA更新、撤销

LSA的新旧判断&#xff1a; 1.seq&#xff0c;值越大越优先 2.chksum&#xff0c;值越大越优先 3.age&#xff0c;本地的LSA age和收到的LSA age作比较 如果差值<900s&#xff0c;认为age一致&#xff0c;保留本地的&#xff1a;我本地有一条LSA是100 你给的是400 差值小于…
阅读更多...
运行fastGPT 第四步 配置ONE API 添加模型

运行fastGPT 第四步 配置ONE API 添加模型

上次已经装好了所有的依赖和程序。 下面在网页中配置One API &#xff0c;这个是大模型的接口。配置好了之后&#xff0c;就可以配置fastGPT了。 打开 OneAPI 页面 添加模型 这里要添加具体的付费模型的API接口填进来。 可以通过ip:3001访问OneAPI后台&#xff0c;**默认账号…
阅读更多...
强化学习-蒙特卡洛方法

强化学习-蒙特卡洛方法

强化学习-数学理论 强化学习-基本概念强化学习-贝尔曼公式强化学习-贝尔曼最优公式强化学习-值迭代与策略迭代强化学习-蒙特卡洛方法 文章目录 强化学习-数学理论一、蒙特卡洛方法理论(Monte Carlo, MC)二、MC Basic2.1 算法拆解2.2 MC Basic算法 三、MC Exploring Starts3.1 …
阅读更多...
【专题一 递归】21. 合并两个有序链表

【专题一 递归】21. 合并两个有序链表

1.题目解析 2.讲解算法原理 解法:递归-> 重复的子问题 重复子问题 ->函数头的设计 合并两个有序链表--->Node dfs(l1&#xff0c;l2) 只关心某一个子问题在做什么事情 ->函数体的设计 比大小l1→next dfs( l1.next, l2)return l1 递归的出口 if(l1null)return l2…
阅读更多...
企业级NoSQL数据库Redis

企业级NoSQL数据库Redis

1.浏览器缓存过期机制 1.1 最后修改时间 last-modified 浏览器缓存机制是优化网页加载速度和减少服务器负载的重要手段。以下是关于浏览器缓存过期机制、Last-Modified 和 ETag 的详细讲解： 一、Last-Modified 头部 定义：Last-Modified 表示服务器上资源的最后修改时间。 作…
阅读更多...
FPGA车牌识别

FPGA车牌识别

基于FPGA的车牌识别主要包含以下几个步骤&#xff1a;图像采集、颜色空间转换、边缘检测、形态学处理&#xff08;腐蚀和膨胀&#xff09;、特征值提取、模板匹配、结果显示。先用matlab对原理进行仿真&#xff0c;后用vivado和modelsim进行设计和仿真。 一、1.图像采集采用ov…
阅读更多...
客户案例：致远OA与携程商旅集成方案

客户案例：致远OA与携程商旅集成方案

一、前言 本项目原型客户公司创建于1992年,主要生产并销售包括糖果系列、巧克力系列、烘焙系列、卤制品系列4大类,200多款产品。公司具有行业领先的生产能力,拥有各类生产线100条,年产能超过10万吨。同时,经过30年的发展,公司积累了完善的销售网络,核心经销商已经超过1200个,超…
阅读更多...
怎么修复损坏的U盘？而且不用格式化的方式！

怎么修复损坏的U盘？而且不用格式化的方式！

当你插入U盘时&#xff0c;若电脑弹出“需要格式化才能使用”提示&#xff0c;且无法打开或读取其中的数据&#xff0c;说明U盘极有可能已经损坏。除此之外&#xff0c;若电脑在连接U盘后显示以下信息&#xff0c;也可能意味着U盘出现问题&#xff0c;需要修复损坏的U盘&#x…
阅读更多...
贪心算法（题1）区间选点

贪心算法（题1）区间选点

输出 2 #include <iostream> #include<algorithm>using namespace std;const int N 100010 ;int n; struct Range {int l,r;bool operator <(const Range &W)const{return r<W.r;} }range[N];int main() {scanf("%d",&n);for(int i0;i&l…
阅读更多...
2.使用Spring BootSpring AI快速构建AI应用程序

2.使用Spring BootSpring AI快速构建AI应用程序

Spring AI 是基于 Spring Boot3.x 框架构建&#xff0c;Spring Boot官方提供了非常便捷的工具Spring Initializr帮助开发者快速的搭建Spring Boot应用程序,IDEA也集成了此工具。本文使用的开发工具IDEASpring Boot 3.4Spring AI 1.0.0-SNAPSHOTMaven。 1.创建Spring Boot项目 …
阅读更多...
【Linux】Socket编程-TCP构建自己的C++服务器

【Linux】Socket编程-TCP构建自己的C++服务器

&#x1f308; 个人主页&#xff1a;Zfox_ &#x1f525; 系列专栏&#xff1a;Linux 目录 一&#xff1a;&#x1f525; Socket 编程 TCP &#x1f98b; TCP socket API 详解&#x1f98b; 多线程远程命令执行&#x1f98b; 网络版计算器&#xff08;应用层自定义协议与序列化…
阅读更多...
森林网络部署，工业4G路由器实现林区组网远程监控

森林网络部署，工业4G路由器实现林区组网远程监控

在广袤无垠的林区&#xff0c;每一片树叶的摇曳、每一丝空气的流动&#xff0c;都关乎着生态的平衡与安宁。林区监控正以强大的力量&#xff0c;为这片绿色家园筑起一道坚固的防线。 工业 4G 路由器作为林区监控组网的守护者&#xff0c;凭借着卓越的通讯性能&#xff0c;突破…
阅读更多...
数据库管理-第284期 奇怪的sys.user$授权（20250116）

数据库管理-第284期 奇怪的sys.user$授权（20250116）

数据库管理284期 20245-01-16 数据库管理-第284期 奇怪的sys.user$授权&#xff08;20250116&#xff09;1 问题2 CDB与PDB3 跨实例3.1 通过scanip访问数据库3.2 通过节点1的VIP访问数据库3.3 通过节点3的VIP访问数据库3.4 在节点3赋权后测试3.5 小结 总结 数据库管理-第284期 …
阅读更多...
vue2配置跨域后请求的是本机

vue2配置跨域后请求的是本机

这个我来说明一下&#xff0c;因为我们公司的后端设置解决了跨域问题&#xff0c;所以我有很久没有看相关的内容了&#xff0c;然后昨天请求了需要跨域的接口&#xff0c;请求半天一直不对&#xff0c;浏览器显示的是本机地址&#xff0c;我以为是自己配置错了&#xff0c;后面…
阅读更多...
从玩具到工业控制--51单片机的跨界传奇【3】

从玩具到工业控制--51单片机的跨界传奇【3】

在科技的浩瀚宇宙中&#xff0c;51 单片机就像一颗独特的星辰&#xff0c;散发着神秘而迷人的光芒。对于无数电子爱好者而言&#xff0c;点亮 51 单片机上的第一颗 LED 灯&#xff0c;不仅仅是一次简单的操作&#xff0c;更像是开启了一扇通往新世界的大门。这小小的 LED 灯&am…
阅读更多...
最新文章

Copyright @ 2022~2023