Elasticsearch跨集群检索配置

跨集群检索字面意思，同一个检索语句，可以检索到多个ES集群中的数据，ES集群默认是支持跨集群检索的，只需要动态的增加入节点即可，下面跟我一起来体验下ES的跨集群检索的魅力。

Elasticsearch 跨集群检索推荐的是不同集群版本是相同的。

对于 Elasticsearch 的 8.1.3 版本，跨集群检索对应的 Elasticsearch 的版本信息如下，通过看图可以知道，Elasticsearch 的 8.1 版本最多支持到 7.17 版本。

alt

图片来源：https://www.elastic.co/guide/en/elasticsearch/reference/8.1/modules-cross-cluster-search.html

跨集群检索语句等实际操作跳过环境这一节，直接跳转文章底部查看。

环境

集群一：es-docker-cluster

集群一为IP:192.168.160.245这台机器上面以docker形式部署的ES 8.1.3集群，集群名为es-docker-cluster

version: '3.8'
services:
  cerebro:
    image: lmenezes/cerebro:0.8.3
    container_name: cerebro
    ports:
     - "9000:9000"
    command:
     - -Dhosts.0.host=http://eshot:9200
    networks:
     - elastic
  kibana:
    image: docker.elastic.co/kibana/kibana:8.1.3
    container_name: kibana
    environment:
      - I18N_LOCALE=zh-CN
      - XPACK_GRAPH_ENABLED=true
      - TIMELION_ENABLED=true
      - XPACK_MONITORING_COLLECTION_ENABLED="true"
      - ELASTICSEARCH_HOSTS=http://eshot:9200
      - server.publicBaseUrl=http://192.168.160.245:5601
    ports:
      - "5601:5601"
    networks:
      - elastic
  eshot:
    image: elasticsearch:8.1.3
    container_name: eshot
    environment:
      - node.name=eshot
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=hot
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\eshot\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\eshot\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    ports:
      - 9200:9200
      - 9300:9300
    networks:
      - elastic
  eswarm:
    image: elasticsearch:8.1.3
    container_name: eswarm
    environment:
      - node.name=eswarm
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=warm
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\eswarm\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\eswarm\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    networks:
      - elastic
  escold:
    image: elasticsearch:8.1.3
    container_name: escold
    environment:
      - node.name=escold
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=cold
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\escold\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\escold\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    networks:
      - elastic

# volumes:
#   eshotdata:
#     driver: local
#   eswarmdata:
#     driver: local
#   escolddata:
#     driver: local

networks:
  elastic:
    driver: bridge

集群二：zuiyu-application

集群二为IP:192.168.160.31机器上面部署的ES8.1.3集群，集群名称为zuiyu-application他们三个的配置分别如下

node1

cluster.name: zuiyu-application
node.name: node-1
path.data: D:\elasticsearch-8.1.3-windows-x86_64\elasticsearch-8.1.3/813/data
path.logs: D:\elasticsearch-8.1.3-windows-x86_64\elasticsearch-8.1.3/813/logs
network.host: 192.168.160.31
http.port: 9200
transport.port: 9300
cluster.initial_master_nodes: ["node-1"]
discovery.seed_hosts: ["192.168.160.31:9300", "192.168.160.31:9302","192.168.160.31:9303"]
xpack.security.enabled: false
xpack.security.enrollment.enabled: false
xpack.security.http.ssl:
  enabled: false
  keystore.path: certs/http.p12
xpack.security.transport.ssl:
  enabled: false
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12

node2

cluster.name: zuiyu-application
node.name: node-2
path.data: D:\elasticsearch-8.1.3-windows-x86_64\node2/813/data
path.logs: D:\elasticsearch-8.1.3-windows-x86_64\node2/813/logs
network.host: 192.168.160.31
http.port: 9202
transport.port: 9302
cluster.initial_master_nodes: [node-2"]
discovery.seed_hosts: ["192.168.160.31:9300", "192.168.160.31:9302","192.168.160.31:9303"]
xpack.security.enabled: false
xpack.security.enrollment.enabled: false
xpack.security.http.ssl:
  enabled: false
  keystore.path: certs/http.p12
xpack.security.transport.ssl:
  enabled: false
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12

node3

cluster.name: zuiyu-application
node.name: node-3
path.data: D:\elasticsearch-8.1.3-windows-x86_64\node3/813/data
path.logs: D:\elasticsearch-8.1.3-windows-x86_64\node3/813/logs
network.host: 192.168.160.31
http.port: 9203
transport.port: 9303
cluster.initial_master_nodes: ["node-3"]
discovery.seed_hosts: ["192.168.160.31:9300", "192.168.160.31:9302","192.168.160.31:9303"]
xpack.security.enabled: false
xpack.security.enrollment.enabled: false
xpack.security.http.ssl:
  enabled: false
  keystore.path: certs/http.p12
xpack.security.transport.ssl:
  enabled: false
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12

现在环境已经搭建好了，下面 进入实验环节，首先打开集群es-docker-cluster所对应的kibana

Kibana 自行安装

跨集群检索

  • 先对集群 es-docker-cluster设置跨集群检索的集群信息

    PUT _cluster/settings
{
  "persistent": {
    "cluster": {
      "remote": {
        "zuiyu-application": {
          "seeds": [
            "192.168.160.31:9300"
          ]
        }
      }
    }
  }
}

    其中zuiyu-application 为自定义的跨集群检索的名称

  • 在当前集群es-docker-cluster 中插入一条数据

    POST zfc-doc-000011/_doc/1
{
  "name":"zuiyu",
  "content":"test cluster doc 1"
}

  • 打开集群 zuiyu-application对应的Kibana，同样进行增加一条数据，使他们的 name 的值都是 zuiyu

    # 集群 zuiyu-application 中插入
POST zfc-doc-000011/_doc/1
{
  "name":"zuiyu",
  "content":"test cluster doc 2,this doc in cluster zuiyu-application"
}

    到这，基础的测试数据已经完成，开始跨集群检索

  • 指定集群进行检索

    GET /集群名:索引名/_search

    GET /zuiyu-application:zfc-doc-000011/_search
{
  "query": {
    "term": {
      "name": "zuiyu"
    }
  },
  "_source": ["name", "content"]
}

    响应结果如下，可以看到已经在集群 zuiyu-application中查询出来数据了

alt

  • 跨集群检索

    同时检索es-docker-cluster与zuiyu-application两个集群中索引为zfc-doc-000011中的内容

    GET zfc-doc-000011,zuiyu-application:zfc-doc-000011/_search
{
  "query": {
    "term": {
      "name": "zuiyu"
    }
  },
  "_source": ["name", "content"]
}

    响应结果如下

alt

因为我们是在 es-docker-cluster集群对应的Kibana中执行的，所以本集群的名称可以不用指定。如果想查询多个索引，只需要追加集群名:索引名即可。

基础的跨集群配置与检索就到此， 实际的使用中查询语句的条件等各个方法都会有限制，这个需要根据实际使用场景来进行修改了，反正现在怎么操作你会了，比着葫芦画瓢还不简单吗。

集群不可用时的处理

默认情况下，如果请求的远程集群返回错误或者不可用，跨集群检索将失败。此时我们可以使用 skip_unavailable ，设置该参数为 true，可以在远程集群不可用时跳过该集群。

修改语句如下，该语句设置将在集群 zuiyu-application 不可用时跳过该集群。

PUT _cluster/settings
{
  "persistent": {
    "cluster.remote.zuiyu-application.skip_unavailable": false
  }
}

处理网络延迟的方式

  • 最小化网络往返次数

    默认情况下，Elasticsearch 会减少与远程集群之间的网络往返次数。这就减少了网络延迟对搜索速度的影响。但是Elasticsearch 无法减少大型检索请求的网络往返次数，例如包含 scroll 或者 inner_hits 的请求。 ccs_minimize_roundtrips 的值为 true 时来使用此选项。

  • 不要最小化网络往返次数

    对于 scroll 或者 inner_hits 的请求，Elasticsearch 会向每个远程集群发送多个传入传出请求。我们可以通过修改 ccs_minimize_roundtrips 的值为 false 来使用此选项。虽然说速度会较慢，但是对于低延迟网络还是很适用的。

    对于该参数ccs_minimize_roundtrips 不了解的可以参考这篇文章

    枯燥无味的Elasticsearch检索参数字典

    打不开的复制链接地址到浏览器打开即可: https://mp.weixin.qq.com/s/DC_2sv5icjR63wZ6XmK6MA

最小化网络往返次数

图片来自官网，可点击左下角原文链接

1、向本地集群中发送跨集群检索请求，该集群中的协调节点接收并解析请求。

alt

2、协调节点向每个集群包括本地集群发送单个搜索请求。每个集群独立执行搜索请求。

alt

3、每个远程集群响应检索结果给协调节点。

alt

4、从每个集群收集结果之后，协调节点在跨集群检索请求响应中返回最终的结果。

alt

不使用最小化网络往返次数

图片来自官网，可点击左下角原文链接

1、向本地集群中发送跨集群检索请求，该集群中的协调节点接收并解析请求。

alt

2、协调节点向每个集群发送分片检索请求。

alt

3、每个远程集群将其响应发送回协调节点。此响应包含跨集群检索请求将在其集群上执行的索引和分片的信息。

alt

4、协调节点向每个分片发送检索请求，包括自己本身集群的分片。每个分片独立执行检索请求。

当网络的往返没有最小化时，因为会发送所有的分片进行检索，所以搜索的结果就好比全在协调节点中保存中一样。所以我们可以修改集群的检索设置，比如action.search.shard_count.limit, pre_filter_shard_size, max_concurrent_shard_requests，如果这些限制太低的话，检索请求可能会被直接拒绝。

对于该参数不了解的可以参考这篇文章

枯燥无味的Elasticsearch检索参数字典

打不开的复制链接地址到浏览器打开即可: https://mp.weixin.qq.com/s/DC_2sv5icjR63wZ6XmK6MA

alt

5、每个分片将检索结果返回给协调节点。

alt

6、协调节点收集所有的结果后，在跨集群检索请求响应中返回最终的响应结果。

alt

Kibana 中远程集群查看

创建完成之后的远程集群可以在Kibana中查看

alt

本文由 mdnice 多平台发布

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/108494.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

linux中nginx配置https

linux中nginx配置https

一、版本适配 版本一定要适配，否则会报错各种参数定位不到不识别的错误，以下是版本适配信息，各位观客自行按照以下信息匹配版本。 Nginx 1.11.5及以上版本与OpenSSL 1.0.2及以上版本兼容。Nginx 1.15.2及以上版本与OpenSSL 1.1.1及以上版本兼…
阅读更多...
redis的bitmap（面试题，待补充）

redis的bitmap（面试题，待补充）

位图简介 如果我们需要记录某一用户在一年中每天是否有登录我们的系统这一需求该如何完成呢？如果使用KV存储，每个用户需要记录365个，当用户量上亿时，这所需要的存储空间是惊人的。 Redis 为我们提供了位图这一数据结构&#xff…
阅读更多...
图神经网络及其在知识图谱的应用

图神经网络及其在知识图谱的应用

一 应用领域 道路交通，动态预测 自动驾驶，无人机场景 化学，医疗等场景 物理模型相关 二 图基本模块定义 V Vertex点 E Edge 边（向量） U Global 图 （例如：全局向量） 无论事…
阅读更多...
msigdbr hallmarks gsea broad研究所

msigdbr hallmarks gsea broad研究所

使用msigdbr r包 #BiocManager::install("msigdb") #https://www.gsea-msigdb.org/gsea/msigdb #https://cran.r-project.org/web/packages/msigdbr/vignettes/msigdbr-intro.html #https://bioconductor.org/packages/release/data/experiment/vignettes/msigdb/ins…
阅读更多...
RPC远程调用加密方法获取返回值

RPC远程调用加密方法获取返回值

前言 从混淆的加密JS中还原了加密参数的具体生成流程，结果想从JS转python的过程中第一步就卡住了。开头密钥JS代码如下，但是水平有限不知道如何转为python实现(如果有大佬知道希望可以评论指点)。利用execjsjsdom来执行简化还原后的JS代码依旧无法实现。…
阅读更多...
MGRE环境下的OSPF

MGRE环境下的OSPF

实验拓扑 需求 1 R6为ISP只能配置IP地址，R1-R5的环回为私有网段 2 R1/4/5为全连的MGRE结构，R1/2/3为星型的拓扑结构，R1为中心站点 3 所有私有网段可以互相通讯，私有网段使用OSPF完成。 IP规划 配置IP R1 # interface GigabitEt…
阅读更多...
Flutter FittedBox

Flutter FittedBox

🔥 英文单词FittedBox 🔥 Fitted 通过有道翻译如下 ： Box 通过有道翻译如下 ： 对 FittedBox 的理解 我们可以将 FittedBox 理解为合适的盒子，将其它布局放到FittedBox这样一个盒子中，从而实现 盒子里面的…
阅读更多...
C++ list 的使用

C++ list 的使用

目录 1. 构造函数 1.1 list () 1.2 list (size_t n, const T& val T()) 1.3 list (InputIterator first, InputIterator last) 2. bool empty() const 3. size_type size() const 4. T& front() 4. T& back() 5. void push_front (const T& val) 6.…
阅读更多...
Elasticsearch核心技术与实战-05-elasticsearch的安装与简单配置-Windows

Elasticsearch核心技术与实战-05-elasticsearch的安装与简单配置-Windows

首先下载elasticsearch的zip包：下载地址 网络不通的解决方法：国内镜像站 es、kibana、logstash均可在华为云开元镜像站自行选择版本下载：下载地址 下载插件包： .\bin\elasticsearch-plugin install analysis-icu .\bin\elasti…
阅读更多...
pgbackrest归档目录满，清理后写入仍报错，分析及处理

pgbackrest归档目录满，清理后写入仍报错，分析及处理

一、 背景 pgbackrest配置的归档目录/backup被写满 归档报错 No space left on device，wal日志堆积 解决方法直接查看第三部分 二、 问题分析及处理 1. 目录清理 首先想到的就是清理/backup目录，清理后剩余6T空间 但发现pgbackrest归档依旧在报错 No …
阅读更多...
dc-5 靶机

dc-5 靶机

1.扫描ip地址 2.网页 3.dirb 爆破目录 没有用 4.爆破端口 没有用 5. 文件上传漏洞 上传点 写一句话木马 蚁剑连接 1.shell反弹 蚁剑反弹 提权 使用命令 命令"find / -perm -us -type f 2>/dev/null"在整个文件系统 ("/") 中搜索设置了SUID权…
阅读更多...
基于白鲸优化算法BWO优化的VMD-KELM光伏发电短期功率预测MATLAB代码（含详细算法介绍）

基于白鲸优化算法BWO优化的VMD-KELM光伏发电短期功率预测MATLAB代码（含详细算法介绍）

微❤关注“电气仔推送”获得资料（专享优惠） VMD适用于处理非线性和非平稳信号，例如振动信号、生物信号、地震信号、图像信号等。它在信号处理、振动分析、图像处理等领域有广泛的应用，特别是在提取信号中的隐含信息和去除噪声方面…
阅读更多...
Capacitor 打包 h5 到 Android 应用，uniapp https http net::ERR_CLEARTEXT_NOT_PERMITTED

Capacitor 打包 h5 到 Android 应用，uniapp https http net::ERR_CLEARTEXT_NOT_PERMITTED

Capacitor 打包 h5 到 Android 应用，uniapp https http net::ERR_CLEARTEXT_NOT_PERMITTED capacitor 官网： https://capacitorjs.com/docs/ 项目上需要做一个 app，而这个 app 是用 uniapp 做的，里面用到了一个依赖 dom 的库&…
阅读更多...
【Mysql】数据库三大范式

【Mysql】数据库三大范式

数据库三范式 ：数据库三范式是指关系型数据库设计中的三种规范化设计原则，旨在减少数据冗余、提高数据一致性和可维护性。 第一范式：规定表中的每一列都应该是不可分割的最小单元。 为什么要这样实现呢？ ：举个栗子…
阅读更多...
Kotlin(八) 数据类、单例

Kotlin(八) 数据类、单例

目录 一：创建数据类 二：单例类 一：创建数据类 和Java的不同，kotlin的数据类比较简单，New→Kotlin File/Class，在弹出的对话框中输入“Book”，创建类型选择“Data”。如图： 然后编…
阅读更多...
VMware Horizon 8 2309 Enterprise虚拟桌面

VMware Horizon 8 2309 Enterprise虚拟桌面

VMware Horizon 8 2309 Enterprise虚拟桌面 一、虚拟桌面二、产品发布三、VMware Horizon 8 2309 Enterprise1.VMware Horizon 8 2309 Enterprise产品清单2.安装部署3. 优化工具总结 一、虚拟桌面 利用虚拟桌面和应用随时随地进行访问。 从云端进行管理 使用云端控制台和 Saa…
阅读更多...
Docker swarm集群之compose启动多服务

Docker swarm集群之compose启动多服务

Docker swarm集群之compose启动多服务 本篇文章是在搭建过Swarm集群基础上进行的，如未搭建过请移步 ： [Docker swarm 集群搭建 - Wanwan’s Blog (wanwancloud.cn)] 环境信息 主机名IP主机配置master10.10.10.32c2gnode0110.10.10.42c2gnode0210.10.…
阅读更多...
所有电商API接口，淘宝API接口分类，1688API、拼多多API、京东API

所有电商API接口，淘宝API接口分类，1688API、拼多多API、京东API

前往接入API 淘宝API item_get 获取商品详情 根据商品ID查询商品标题价格描述等详情数据 淘宝API item_search 按关键字搜索商品 搜索关键字，显示商品总数，标题，图片，优惠价等数据 淘宝API item_fee 获取商品快递费用 输入商品…
阅读更多...
Java JVM垃圾回收确定垃圾的两种方式，GC Root

Java JVM垃圾回收确定垃圾的两种方式，GC Root

文章目录 前言一、如何确定是垃圾？引用计数法根可达路径法 二、GC Root1、以下可作为GC Root对象2、判断可回收：GC Root不可达3、真正宣告对象死亡需经过两次标记过程（重要） 前言 对于Java两种确定对象为可回收的两种方式&#x…
阅读更多...
加解密原理（HCIA）

加解密原理（HCIA）

一、加密技术 1、加密的两个核心组件 2、加密技术作用： 二、加解密技术原理 1、对称加密 2、非对称加密 （1）思考问题？ 1）、有了非对称加密为什么还用对称加密？ 2）、如何传递秘钥呢&…
阅读更多...
最新文章

Copyright @ 2022~2023