es 3期 第18节-分页查询使用避坑的一些事

#### 1.Elasticsearch是数据库，不是普通的Java应用程序，传统数据库需要的硬件资源同样需要，提升性能最有效的就是升级硬件。
#### 2.Elasticsearch是文档型数据库，不是关系型数据库，不具备严格的ACID事务特性，任何企图直接替代严格事务性场景的应用项目都会失败!!!

##### 索引字段与属性都属于静态设置，若后期变更历史数据需要重建索引才可生效
##### 对历史数据无效！！！！
##### 一定要重建索引！！！！

### 1、分页查询原理概要

## 分页查询需求
# 分页需求海量数据：动辄数据量千万级别、亿级别，无法在一页内展示
# 数据排序:查询数据需要排序，按顺序展示

## 分页查询过程
# 按条件扫描数据
# 按条件排列数据
# 取回数据

## ES分片查询阶段
# ES是分布式的，相比传统数据库多了分片机制，查询一次，要查询多个分片;
# 分页查询相比传统数据库增加了复杂度。

## ES分片合并阶段
# 服务端协调节点从各分片取回数据ID按照条件排序合并得到最终的数据ID列表

## 分页查询问题
# 分页查询大小，决定了查询的响应
# 分页查询深度，决定了查询的效率
# 分页查询体验，决定了鱼与熊掌兼得

## 查询便利
# 查询优点
# 查询数据时，可同时返回数据量总条数与分页的明细数据;避免了传统数据库查询2次的问题，大大提升了查询效率

## 数据准备

POST _reindex
{
  "source": {
    "index": "kibana_sample_data_logs"
  },
  "dest": {
    "index": "kibana_sample_data_logs_page"
  }
}

## From Size查询
# 起始页查询介绍
# from:设定起始数据位置
# size:设定单页数据量大小

GET kibana_sample_data_logs_page/_search
{
  "track_total_hits":true,
  "from":10,
  "size":20
}

## 查询限制
# 查询窗口大小限制
# From+size<=10000，默认不能超过此值，es的安全限制，会报错
# Window=10000，重排序窗口不能超过此值
# 查询超过10000的语句，报错

GET kibana_sample_data_logs_page/_search
{
  "track_total_hits":true,
  "from":10000,
  "size":20
}

## 但是实际场景中还是会有深分页需求，可以通过修改配置实现
# 修改索引配置

PUT kibana_sample_data_logs_page/_settings
{
  "index":{
    "max_result_window":20000
  }
}

# 再次查询，不报错了

GET kibana_sample_data_logs_page/_search
{
  "track_total_hits":true,
  "from":10000,
  "size":20
}

## 单页大小设置
# 单页大小
# Size设置多大合适，不同的大小性能不一
# _source控制在1kb以内
# 每次查询返回数据控制在1M以内
# 尽量不要深分页和大页数
# 分片数也不要过多，请求会分发到所有分片在做聚合

### 3、Search After查询实战
## 参照点分页查询
# 概念介绍
# Search after，基于排序字段，查询下一页，基于上一页最后一条数据的排序字段值，作为参照可以保证数据查询量大大减少
## 注意事项
# 1.分页会导致数据跳跃
# 2.数据新增或者变更refresh造成错误

# 查询根据timestamp 倒序，使用的数据离散度要高，否则容易跳页

GET kibana_sample_data_logs_page/_search
{
  "track_total_hits":true,
  "from":0,
  "size":20,
  "query":{
    "match_all": {}
  },
  "sort":{
    "timestamp":{
      "order":"desc"
    }
  }
}

# 跳过第一条数据的sort值，原第二条数据变成了现在的第一条

GET kibana_sample_data_logs_page/_search
{
  "track_total_hits":true,
  "from":0,
  "size":20,
  "query":{
    "match_all": {}
  },
  "sort":{
    "timestamp":{
      "order":"desc"
    }
  },
  // 跳过第一条数据的sort值
  "search_after":[
    "1721339126749"
    ]
}

# 查询数据离散度低的排序跳页

GET kibana_sample_data_logs_page/_search
{
  "track_total_hits":true,
  "from":0,
  "size":20,
  "query":{
    "term": {
      "response": {
        "value": "200"
      }
    }
  }
}

# 跳过200没有数据了

GET kibana_sample_data_logs_page/_search
{
  "track_total_hits":true,
  "from":0,
  "size":20,
  "query":{
    "match_all": {}
  },
  "sort":[{
    "response":{
      "order":"desc"
    }
  }
  ],
  // 跳过第一条数据的sort值
  "search_after":[
    "200"
    ]
}

# 可以使用多个字段排序，防止跳页

GET kibana_sample_data_logs_page/_search
{
  "track_total_hits":true,
  "from":0,
  "size":20,
  "query":{
    "match_all": {}
  },
  "sort":[{
    "response":{
      "order":"desc"
    }
  },
  {
    "timestamp":{
      "order":"desc"
    }
  }
  ],
  // 跳过第一条数据的sort值
  "search_after":[
    "200","1721339126749"
    ]
}

## search_after 与 from 一起使用会报错，不支持

GET kibana_sample_data_logs_page/_search
{
  "track_total_hits":true,
  "from":10,
  "size":20,
  "query":{
    "match_all": {}
  },
  "sort":[{
    "response":{
      "order":"desc"
    }
  }
  ],
  // 跳过第一条数据的sort值
  "search_after":[
    "200"
    ]
}

### 4、Point in time查询实战
## Point in time查询
# 概念介绍
# Search after,基于排序字段，查询下一页，基于上一页最后一条数据的排序字段值，作为参照，可以保证数据查询量大大减少
# 注意事项
# 1.分页会导致数据跳跃
# 2.数据新增或者变更refresh造成错误

# 业务上数据是在不停的新增的，找不到原来的数据，这里相当于一个快照
# 生成分钟的快照

POST kibana_sample_data_logs_page/_pit?keep_alive=1m

# 使用pit id查询,不能显示的指定索引名称，因为pit中带了索引信息

GET _search
{
  "track_total_hits":true,
  "from":10,
  "size":20,
  "query":{
    "match_all": {}
  },
  "pit":{
    "id": "i_vrAwEca2liYW5hX3NhbXBsZV9kYXRhX2xvZ3NfcGFnZRZ0MnRXYnZrc1RacWdoUjJBWFdpazJ3ABZDZnVtY0x0QlI0Ry13VUNoZ3BwOU53AAAAAAAABazOFkNtYjBkU0E5VGF5Q3hBOFJuMHh6QVEAARZ0MnRXYnZrc1RacWdoUjJBWFdpazJ3AAA="
  },
  "sort":[
  {
    "timestamp":{
      "order":"desc"
    }
  }
  ]
}

### 5、Search Scroll 查询实战
## scroll快照查询
# 概念解释
# 快照查询基于缓存机制，将查询的所有数据ID缓存起来，下次查询，从缓存中直接找寻，避免重复执行查询，是目前业界做深度查询最佳的方式;
# 注意事项
# 局限性也明显，实时性支持弱;
# 不支持修改页数，不支持跳页
# 占用内存，使用完要清理掉

# 查询条件，并生成1分钟的快照
# 同时预设查询条数和条件

POST kibana_sample_data_logs_page/_search?scroll=1m
{
  "track_total_hits":true,
  // 预设每次查100条
  "size":100,
  // 预设查询条件
  "query":{
    "term": {
      "response": {
        "value": "503"
      }
    }
  }
}

# 使用scroll id查询,不能显示的指定索引名称，因为scroll id中带了索引信息和条件
# 数据一共有441条，查询5次就没结果了

GET _search/scroll
{
  "scroll_id":"FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFkNtYjBkU0E5VGF5Q3hBOFJuMHh6QVEAAAAAAAY4TRZDZnVtY0x0QlI0Ry13VUNoZ3BwOU53",
  "scroll":"1m"
}

### 6、分页查询建议与经验分享
# 技术尽量满足业务需求
# 技术不能无限制满足业务
# 平衡业务与技术
# 深度翻页真的需要这么多吗？有十万条数据的时候，真是场景下用户不会每页100条翻到最后一页
# 分页性能问题？from和size，size大了性能就不会高，数据量大了从es取出来快，但是带宽不行

  
# 查询DSL语法
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/search-search.html
# 分⻚查询
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/paginate-search-results.html
# scroll-api
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/scroll-api.html
# point-in-time-api
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/point-in-time-api.html
# # time-units 时间参数
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/common-options.html#time-units

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/943899.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

FFmpeg在python里推流被处理过的视频流

FFmpeg在python里推流被处理过的视频流

链式算法处理视频流 视频源是本地摄像头 # codinggbk # 本地摄像头直接推流到 RTMP 服务器 import cv2 import mediapipe as mp import subprocess as sp# 初始化 Mediapipe mp_drawing mp.solutions.drawing_utils mp_drawing_styles mp.solutions.drawing_styles mp_holis…
阅读更多...
【工具】—— SpringBoot3.x整合swagger

【工具】—— SpringBoot3.x整合swagger

Swagger 是一个规范和完整的框架&#xff0c;用于生成、描述、调用和可视化 RESTful 风格的 Web 服务的接口文档。Swagger简单说就是可以帮助生成接口说明文档&#xff0c;操作比较简单添加注解说明&#xff0c;可以自动生成格式化的文档。 项目环境 jdk17SpringBoot 3.4.0Sp…
阅读更多...
Docker 部署 plumelog 最新版本 实现日志采集

Docker 部署 plumelog 最新版本 实现日志采集

1.配置plumelog.yml version: 3 services:plumelog:#此镜像是基于plumelog-3.5.3版本image: registry.cn-hangzhou.aliyuncs.com/k8s-xiyan/plumelog:3.5.3container_name: plumelogports:- "8891:8891"environment:plumelog.model: redisplumelog.queue.redis.redi…
阅读更多...
图像处理-Ch5-图像复原与重建

图像处理-Ch5-图像复原与重建

Ch5 图像复原 文章目录 Ch5 图像复原图像退化与复原(Image Degradation and Restoration)噪声模型(Noise Models)i.i.d.空间随机噪声(Generating Spatial Random Noise with a Specified Distribution)周期噪声(Periodic Noise)估计噪声参数(Estimating Noise Parameters) 在仅…
阅读更多...
在vscode的ESP-IDF中使用自定义组件

在vscode的ESP-IDF中使用自定义组件

以hello-world为例&#xff0c;演示步骤和注意事项 1、新建ESP-IDF项目 选择模板 从hello-world模板创建 2、打开项目 3、编译结果没错 正在执行任务: /home/azhu/.espressif/python_env/idf5.1_py3.10_env/bin/python /home/azhu/esp/v5.1/esp-idf/tools/idf_size.py /home…
阅读更多...
WordPress网站中如何修复504错误

WordPress网站中如何修复504错误

504网关超时错误是非常常见的一种网站错误。这种错误发生在上游服务器未能在规定时间内完成请求的情况下&#xff0c;对访问者而言&#xff0c;出现504错误无疑会对访问体验大打折扣&#xff0c;从而对网站的转化率和收入造成负面影响。 504错误通常源于服务器端或网站本身的问…
阅读更多...
C++——运算符重载

C++——运算符重载

一、运算符重载 ①含义 函数重载或函数多态&#xff1a;同名函数完成相同的基本操作 C将重载的概念扩展到运算符上&#xff0c;于是出现了运算符重载 C中有很多运算符已经被重载 *运算符&#xff0c;运用于地址&#xff0c;可以得到存储在这个地址的值&#xff1b;运用于两个…
阅读更多...
抖去推碰一碰系统技术源码/open SDK转发技术开发

抖去推碰一碰系统技术源码/open SDK转发技术开发

抖去推碰一碰系统技术源码/open SDK转发技术开发 碰一碰智能系统#碰碰卡系统#碰一碰系统#碰一碰系统技术源头开发 碰碰卡智能营销系统开发是一种集成了人工智能和NFC技术的工具&#xff0c;碰碰卡智能营销系统通过整合数据分析、客户关系管理、自动化营销活动、多渠道整合和个…
阅读更多...
【Unity3D】ECS入门学习（六）状态组件 ISystemStateComponentData

【Unity3D】ECS入门学习（六）状态组件 ISystemStateComponentData

当需要获知组件是否被销毁时&#xff0c;ECS是没有回调告知的&#xff0c;因此可以将组件继承于ISystemStateComponentData接口&#xff0c;这样即使组件的实体被销毁了&#xff0c;该组件本身是不会消失的&#xff0c;所以可以通过在组件实体销毁后&#xff0c;去设置状态组件…
阅读更多...
期权懂|如何计算期权卖方平仓后的盈利？

期权懂|如何计算期权卖方平仓后的盈利？

锦鲤三三每日分享期权知识&#xff0c;帮助期权新手及时有效地掌握即市趋势与新资讯&#xff01; 如何计算期权卖方平仓后的盈利&#xff1f; 期权卖方平仓后的盈利计算涉及多个因素&#xff0c;包括期权的交易价格、平仓价格以及权利金的变动等。 交易价格&#xff1a;期权卖…
阅读更多...
ARM64 Windows 10 IoT工控主板运行x86程序效率测试

ARM64 Windows 10 IoT工控主板运行x86程序效率测试

ARM上的 Windows 10 IoT 企业版支持仿真 x86 应用程序&#xff0c;而 ARM上的 Windows 11 IoT 企业版则支持仿真 x86 和 x64 应用程序。英创推出的名片尺寸ARM64工控主板ESM8400&#xff0c;可预装正版Windows 10 IoT企业版操作系统&#xff0c;x86程序可无需修改而直接在ESM84…
阅读更多...
【Ubuntu 20.4安装截图软件 flameshot 】

【Ubuntu 20.4安装截图软件 flameshot 】

步骤一&#xff1a; 安装命令&#xff1a; sudo apt-get install flameshot 步骤二&#xff1a; 设置快捷方式&#xff1a; Ubuntu20.4 设置菜单&#xff0c;点击 号 步骤三&#xff1a; 输入软件名称&#xff0c; 软件快捷命令&#xff08;flameshot gui&#xff09;&am…
阅读更多...
NAT 技术如何解决 IP 地址短缺问题？

NAT 技术如何解决 IP 地址短缺问题？

NAT 技术如何解决 IP 地址短缺问题&#xff1f; 前言 这是我在这个网站整理的笔记,有错误的地方请指出&#xff0c;关注我&#xff0c;接下来还会持续更新。 作者&#xff1a;神的孩子都在歌唱 随着互联网的普及和发展&#xff0c;IP 地址的需求量迅速增加。尤其是 IPv4 地址&…
阅读更多...
算法题（17）：删除有序数组中的重复项

算法题（17）：删除有序数组中的重复项

审题&#xff1a; 需要我们原地删除数组中的重复数据&#xff0c;并输出有效数据个数 思路&#xff1a; 方法一&#xff1a;原地解法&#xff08;双指针&#xff09; 设置left指针指向当前的非重复数据&#xff0c;right负责遍历数组&#xff0c;遇到和left指向的数据不同的数据…
阅读更多...
LaTeXChecker：使用 Python 实现以主 TEX 文件作为输入的 LaTeX 检查和统计工具

LaTeXChecker：使用 Python 实现以主 TEX 文件作为输入的 LaTeX 检查和统计工具

使用 Python 实现以主 TEX 文件作为输入的 LaTeX 检查和统计工具&#xff0c;适用于包括但不限于一稿多模板的复杂排版方式&#xff0c;工具以只读模式运行。 Github 链接&#xff1a;https://github.com/BatchClayderman/LaTeXChecker import os from sys import argv, exec…
阅读更多...
Web API和Web Services的区分

Web API和Web Services的区分

前些年一提及自动化测试&#xff0c;大多是指UI界面层的自动化测试。近几年&#xff0c;随着分层自动化测试概念的兴起&#xff0c;以及自动化测试自身的发展与细分&#xff0c;自动化测试包含了更多的内容。 API(Application ProgrammingInterface&#xff0c;应用程序编程接…
阅读更多...
基于深度学习(HyperLPR3框架)的中文车牌识别系统-前言

基于深度学习(HyperLPR3框架)的中文车牌识别系统-前言

参考链接&#xff1a; GitHub - szad670401/HyperLPR: 基于深度学习高性能中文车牌识别 High Performance Chinese License Plate Recognition Framework.基于深度学习高性能中文车牌识别 High Performance Chinese License Plate Recognition Framework. - szad670401/HyperL…
阅读更多...
RAGFlow 基于深度文档理解构建的开源 RAG引擎 - 安装部署

RAGFlow 基于深度文档理解构建的开源 RAG引擎 - 安装部署

RAGFlow 基于深度文档理解构建的开源 RAG引擎 - 安装部署 flyfish 1. 确保 vm.max_map_count ≥ 262144 这是指要调整Linux内核参数vm.max_map_count&#xff0c;以确保其值至少为262144。这个参数控制着进程可以映射的最大内存区域数量。对于某些应用程序&#xff08;如Ela…
阅读更多...
QT:一个TCP客户端自动连接的测试模型

QT:一个TCP客户端自动连接的测试模型

版本 1:没有取消按钮 测试效果&#xff1a; 缺陷&#xff1a; 无法手动停止 测试代码 CMakeLists.txt cmake_minimum_required(VERSION 3.19) project(AutoConnect LANGUAGES CXX)find_package(Qt6 6.5 REQUIRED COMPONENTS Core Widgets Network)qt_standard_project_setup(…
阅读更多...
（亲测）frp对外提供简单的文件访问服务-frp静态文件效果

（亲测）frp对外提供简单的文件访问服务-frp静态文件效果

话说有一天&#xff0c;希望将软件安装包放到网上&#xff0c;希望类似如下效果&#xff0c;正好在调试frp docker版&#xff0c;看到frp有个【对外提供简单的文件访问服务】功能&#xff0c;网上搜索也没相关效果图&#xff0c;所以顺手测试一下&#xff0c;截了几张图&#x…
阅读更多...
最新文章

Copyright @ 2022~2023