【Elasticsearch】Elasticsearch快速入门，掌握这些刚刚好！(官网入门案例)

文章目录

  • 1. 简介
  • 2. 相关概念
  • 3. 安装
  • 4. 集群状态查看
  • 5. 索引操作
  • 6. 文档操作
  • 7. 数据搜索
    • 数据准备
    • 搜索入门(match_all)
    • 条件搜索(match)
    • 组合搜索(bool)
    • 过滤搜索(filter)
    • 搜索聚合(aggs)
  • 8. 参考资料

本文的主要功能是带领从0到1入门Elasticsearch的基础使用，重点是Elasticsearch中的"数据搜索"，即 _search

1. 简介

Elasticsearch是一个近乎实时的搜索平台。它提供了一个分布式的全文搜索引擎，提供了REST API接口与用户交互。Elasticsearch是用Java语言开发的，基于Apache协议的开源项目，是目前最受欢迎的企业搜索引擎。Elasticsearch广泛运用于云计算中，能够达到实时搜索，具有稳定，可靠，快速的特点。

如何与Elasticsearch交流，Elasticsearch提供了一个非常全面和强大的REST API，您可以使用它

  • Check your cluster, node, and index health, status, and statistics
  • Administer your cluster, node, and index data and metadata
  • Perform CRUD (Create, Read, Update, and Delete) and search operations against your indexes
  • Execute advanced search operations such as paging, sorting, filtering, scripting, aggregations, and many others

2. 相关概念

官网说明了以下概念。

  • Near Realtime（近实时）：Elasticsearch是一个近乎实时的搜索平台，这意味着从索引文档到可搜索文档之间只有一个轻微的延迟(通常是一秒钟)。
  • Cluster（集群）：群集是一个或多个节点的集合，它们一起保存整个数据，并提供跨所有节点的联合索引和搜索功能。每个群集都有自己的唯一群集名称，节点通过名称加入群集。
  • Node（节点）：节点是指属于集群的单个Elasticsearch实例，存储数据并参与集群的索引和搜索功能。
  • Index（索引）：Index相当于**“某类数据”**。索引是一些具有相似特征的文档集合。
  • Document（文档）：Document相当于Index中的**“某条数据”**。文档是可被索引的基本信息单位，以JSON形式表示
  • Shards（分片）：分片概念类似Kafka中的分区。分片机制赋予了索引水平扩容的能力，提高性能和吞吐量。
  • Replicas（副本）：副本在某些节点失效的情况下提供高可用性。

3. 安装

注：

  • 尽管作者前面写过Docker安装Elasticsearch、Kibana的文章，但是后期分析Docker方式体验很差，这里并不适用Docker安装，没有给我们带来方便，所以这里不推荐Docker安装方式而是使用安装包方式。

  • Elasticsearch和Kibana的版本要求保持一致。

Elasticsearch是近乎实时的搜索平台，提供了REST API接口与用户交互，所以后面的案例本可以只安装Elasticsearch就够了。但是为了方便起见，我们选择多安装一个Elasticsearch的可视化平台Kibana来操作后面的案例。以Elasticsearch6.6.2为例：

  • Elasticsearch下载安装
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.2.tar.gz
tar -xvf elasticsearch-6.6.2.tar.gz
cd elasticsearch-6.6.2
./bin/elasticsearch
  • 浏览器访问http://localhost:9200检查Elasticsearch是否安装成功

  • Kibana下载安装
curl -O https://artifacts.elastic.co/downloads/kibana/kibana-6.6.2-darwin-x86_64.tar.gz
tar -xzf kibana-6.6.2-darwin-x86_64.tar.gz
cd kibana-6.6.2-darwin-x86_64/
./bin/kibana
  • 浏览器访问http://localhost:5601检查Kibana是否安装成功

能正常点击左侧菜单就没有问题，zipkin是我测试zipkin时的索引，可忽略

  • 使用Kibana的可视化平台操作界面，后续案例的操作都在这里进行

4. 集群状态查看

  • 查看集群健康状态；
GET /_cat/health?v
  • 查看节点状态；
GET /_cat/nodes?v
  • 查看所有索引信息；
GET /_cat/indices?v

5. 索引操作

  • 创建索引并查看；
PUT /customer
GET /_cat/indices?v
  • 删除索引并查看；
DELETE /customer
GET /_cat/indices?v

6. 文档操作

  • 在索引中添加文档；
PUT /customer/_doc/1
{
  "name": "John Doe"
}
  • 查看索引中的文档；
GET /customer/_doc/1
  • 替换索引中的文档
PUT /customer/_doc/1?pretty
{
  "name": "John Doe"
}
  • 修改索引中的文档：
POST /customer/_doc/1/_update?pretty
{
  "doc": { "name": "Jane Doe" }
}

POST /customer/_doc/1/_update?pretty
{
  "doc": { "name": "Jane Doe", "age": 20 }
}

POST /customer/_doc/1/_update?pretty
{
  "script" : "ctx._source.age += 5"
}

修改跟替换是不同的

  • 删除索引中的文档；
DELETE /customer/doc/1
  • 对索引中的文档执行批量操作
POST /customer/doc/_bulk
{"index":{"_id":"1"}}
{"name": "John Doe" }
{"index":{"_id":"2"}}
{"name": "Jane Doe" }

7. 数据搜索

查询表达式(Query DSL)是一种非常灵活又富有表现力的查询语言，Elasticsearch使用它可以以简单的JSON接口来实现丰富的搜索功能，下面的搜索操作都将使用它。

数据搜索才是Elasticsearch的重点内容。

数据准备

  • 首先我们需要导入一定量的数据用于搜索，使用的是银行账户表的例子，数据结构schema如下：
{
    "account_number": 0,
    "balance": 16623,
    "firstname": "Bradshaw",
    "lastname": "Mckenzie",
    "age": 29,
    "gender": "F",
    "address": "244 Columbus Place",
    "employer": "Euron",
    "email": "bradshawmckenzie@euron.com",
    "city": "Hobucken",
    "state": "CO"
}
  • 下载官方准备好的数据数据，数据地址：https://github.com/elastic/elasticsearch/blob/6.6/docs/src/test/resources/accounts.json。备用地址：https://gitee.com/firefish985/article-list/blob/master/%E5%A4%A7%E6%95%B0%E6%8D%AE/Elasticsearch/accounts.json

  • 导入数据到Elasticsearch

可以在当前目录用命令导入

curl -H "Content-Type: application/json" -XPOST "localhost:9200/bank/_doc/_bulk?pretty&refresh" --data-binary "@accounts.json"

也可以在Kibana的Dev Tools中批量导入。

  • 导入完成后查看索引信息，可以发现bank索引中已经创建了1000条文档
GET /_cat/indices?v

搜索入门(match_all)

  • 最简单的搜索，使用match_all来表示，例如搜索全部；
GET /bank/_search
{
  "query": { "match_all": {} }
}
  • 分页搜索，from表示偏移量，从0开始，size表示每页显示的数量；
GET /bank/_search
{
  "query": { "match_all": {} },
  "from": 0,
  "size": 10
}

  • 搜索排序，使用sort表示，例如按balance字段降序排列；
GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } }
}
  • 搜索并返回指定字段内容，使用_source表示，例如只返回account_number和balance两个字段内容：
GET /bank/_search
{
  "query": { "match_all": {} },
  "_source": ["account_number", "balance"]
}

条件搜索(match)

  • 条件搜索，使用match表示匹配条件，例如搜索出account_number为20的文档：
GET /bank/_search
{
  "query": { "match": { "account_number": 20 } }
}
  • 文本类型字段的条件搜索，例如搜索address字段中包含mill的文档，对比上一条搜索可以发现，对于数值类型match操作使用的是精确匹配，对于文本类型使用的是模糊匹配；
GET /bank/_search
{
  "query": { "match": { "address": "mill" } },
  "_source": ["address", "account_number"]
}
  • 短语匹配搜索，使用match_phrase表示，例如搜索address字段中包含mill lane的文档
GET /bank/_search
{
  "query": { "match_phrase": { "address": "mill lane" } }
}

组合搜索(bool)

  • 组合搜索，使用bool来进行组合，must表示同时满足，例如搜索address字段中同时包含mill和lane的文档；
GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
  • 组合搜索，should表示满足其中任意一个，搜索address字段中包含mill或者lane的文档；
GET /bank/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
  • 组合搜索，must_not表示同时不满足，例如搜索address字段中不包含mill且不包含lane的文档；
GET /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
  • 组合搜索，组合must和must_not，例如搜索age字段等于40且state字段不包含ID的文档；
GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}

过滤搜索(filter)

  • 搜索过滤，使用filter来表示，例如过滤出balance字段在20000~30000的文档；
GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}

搜索聚合(aggs)

  • 对搜索结果进行聚合，使用aggs来表示，类似于MySql中的group by，例如对state字段进行聚合，统计出相同state的文档数量；
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      }
    }
  }
}

类似于SQL语句中的

SELECT state, COUNT(*) FROM bank GROUP BY state ORDER BY COUNT(*) DESC LIMIT 10;

"size": 0只要聚合结果

  • 嵌套聚合，例如对state字段进行聚合，统计出相同state的文档数量，再统计出balance的平均值；
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}
  • 对聚合搜索的结果进行排序，例如按balance的平均值降序排列；
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword",
        "order": {
          "average_balance": "desc"
        }
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}
  • 按字段值的范围进行分段聚合，例如分段范围为age字段的[20,30] [30,40] [40,50]，之后按gender统计文档个数和balance的平均值；
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "group_by_gender": {
          "terms": {
            "field": "gender.keyword"
          },
          "aggs": {
            "average_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        }
      }
    }
  }
}

8. 参考资料

官网入门案例：https://www.elastic.co/guide/en/elasticsearch/reference/6.6/getting-started.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/59580.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

python机器学习（六）决策树(上) 构造树、信息熵的分类和度量、信息增益、CART算法、剪枝

python机器学习（六）决策树(上) 构造树、信息熵的分类和度量、信息增益、CART算法、剪枝

决策树算法 模拟相亲的过程，通过相亲决策图，男的去相亲，会先选择性别为女的，然后依次根据年龄、长相、收入、职业等信息对相亲的另一方有所了解。 通过决策图可以发现，生活中面临各种各样的选择，基于我们的…
阅读更多...
招投标系统简介 企业电子招投标采购系统源码之电子招投标系统 —降低企业采购成本 tbms

招投标系统简介 企业电子招投标采购系统源码之电子招投标系统 —降低企业采购成本 tbms

​功能模块： 待办消息，招标公告，中标公告，信息发布 描述： 全过程数字化采购管理，打造从供应商管理到采购招投标、采购合同、采购执行的全过程数字化管理。通供应商门户具备内外协同的能力，为外…
阅读更多...
视频汇聚平台EasyCVR视频广场侧边栏支持拖拽

视频汇聚平台EasyCVR视频广场侧边栏支持拖拽

为了提升用户体验以及让平台的操作更加符合用户使用习惯，我们在EasyCVR v3.3版本中，支持面包屑侧边栏的广场视频、分组列表、收藏这三个模块拖拽排序，并且该操作在视频广场、视频调阅、电子地图、录像回放等页面均能支持。 TSINGSEE青犀视频…
阅读更多...
python解析帆软cpt及frm文件（xml）获取源数据表及下游依赖表

python解析帆软cpt及frm文件（xml）获取源数据表及下游依赖表

#!/user/bin/evn python import os,re,openpyxl 输入：帆软脚本文件路径输出：帆软文件检查结果Excel#获取来源表 def table_scan(sql_str):# remove the /* */ commentsq re.sub(r"/\*[^*]*\*(?:[^*/][^*]*\*)*/", "", sql_str)# r…
阅读更多...
探索硬件王国：计算机硬件信息一览（使用powershell获得计算机硬件信息）

探索硬件王国：计算机硬件信息一览（使用powershell获得计算机硬件信息）

获得运行权限： 请确保在运行脚本文件之前，设置了适当的执行策略。如果需要，可以使用 Set-ExecutionPolicy 命令更改执行策略。例如，可以使用以下命令将执行策略设置为 RemoteSigned： Set-ExecutionPolicy RemoteSign…
阅读更多...
云真机调研

云真机调研

1. 主流云真机 目前市面上主流的远程真机服务商有:Testin云测、百度MTC、TestBird、精灵云测、腾讯Wetest、泽众云等,设备上基本覆盖Android、iOS和鸿蒙等主流设备,通过远程真机可以进行手工测试、代码调试、自动化脚本录制及执行等 2. testin 登录-云测，助力产业…
阅读更多...
通用指令（汇编）

通用指令（汇编）

一、数据处理指令1）数学运算数据运算指令的格式数据搬移指令立即数伪指令加法指令带进位的加法指令减法指令带借位的减法指令逆向减法指令乘法指令数据运算指令的扩展 2）逻辑运算按位与指令按位或指令按位异或指令左移指令右移指令位清零指令 3&#xff…
阅读更多...
【枚举+trie+dfs】CF514 C

【枚举+trie+dfs】CF514 C

Problem - 514C - Codeforces 题意： 思路： 其实是trie上dfs的板题 先把字符串插入到字典树中 对于每次询问，都去字典树上dfs 注意到字符集只有3，因此如果发现有不同的字符，去枚举新的字符 Code： #in…
阅读更多...
学习单片机的秘诀：实践与坚持

学习单片机的秘诀：实践与坚持

在学习单片机时，将实践与学习结合起来是一个很好的方法。不要一上来就死磕指令和名词，而是边学边做实验，循序渐进地理解和应用指令。通过实验，你能亲身感受到指令的控制效果，增强对单片机的理解和兴趣。 学习单片机不…
阅读更多...
【iOS】App仿写--天气预报

【iOS】App仿写--天气预报

文章目录 前言一、首页二、搜索界面三、添加界面四、浏览界面总结 前言 最近完成了暑假的最后一个任务——天气预报，特此记录博客总结。根据iPhone中天气App的功能大致可以将仿写的App分为四个界面——首页，搜索界面，添加界面，浏…
阅读更多...
dflow工作流使用1——架构和基本概念

dflow工作流使用1——架构和基本概念

对于容器技术、工作流等概念完全不懂的情况下理解dflow的工作方式会很吃力，这里记录一下个人理解。 dflow涉及的基本概念 工作流的概念很好理解，即某个项目可以分为多个步骤，每个步骤可以实现独立运行，只保留输入输出接口&#x…
阅读更多...
WebGL Shader着色器GLSL语言

WebGL Shader着色器GLSL语言

在2D绘图中的坐标系统，默认情况下是与窗口坐标系统相同，它以canvas的左上角为坐标原点，沿X轴向右为正值，沿Y轴向下为正值。其中canvas坐标的单位都是’px’。 WebGL使用的是正交右手坐标系，且每个方向都有可使用的值的…
阅读更多...
c语言野指针int*p、空指针int*p = NULL、万能指针void* p

c语言野指针int*p、空指针int*p = NULL、万能指针void* p

1、野指针&#xff0c;既没有初始化的指针&#xff0c;//如果没有给指针初始化&#xff0c;则指针p的内容为随机地址&#xff0c;会随机指向&#xff0c;故成为野指针&#xff0c;不可以操作野指针 #include "stdio.h" #include <stdlib.h>int main() {//1、野…
阅读更多...
ORACLE常用基础

ORACLE常用基础

. 1.oracle开机启动流程 su - oracle lsnrctl start lsnrctl status sqlplus / as sysdba startup 2、如何查看数据库版本 select * from v$version; 3.如何查看用户从那个设备连接的数据库 SELECT DISTINCT machine , terminal FROM V$SESSION; 4.如何查看表结构 selec…
阅读更多...
FANUC机器人SRVO-300机械手断裂故障报警原因分析及处理办法

FANUC机器人SRVO-300机械手断裂故障报警原因分析及处理办法

FANUC机器人SRVO-300机械手断裂故障报警原因分析及处理办法 首先，我们查看报警说明书上的介绍： 总结：即在机械手断裂设置为无效时，机器人检测出了机械手断裂信号（不该有的信号，现在检测到了，所以报警） 使机械手断裂设定为无效/有效的具体方法：  按下示教器的MENU菜单…
阅读更多...
Vue前端框架入门

Vue前端框架入门

文章目录 Vue快速入门Vue指令生命周期 Vue 经过一小段时间学习 我认为vue就是在原js上进行的一个加强 简化JS中的DOM操作 vue是分两个层的 一个叫做视图层(View)&#xff0c;你可以理解为展现出来的前端页面 一个叫数据模型层(Model),包含数据和一些数据的处理方法 MVVM就是实…
阅读更多...
数据结构10 -查找_树表查找

数据结构10 -查找_树表查找

创建二叉搜索树 二叉搜索树 二叉搜索树是有数值的了&#xff0c;二叉搜索树是一个有序树。 若它的左子树不空&#xff0c;则左子树上所有结点的值均小于它的根结点的值&#xff1b; 若它的右子树不空&#xff0c;则右子树上所有结点的值均大于它的根结点的值&#xff1b; 它…
阅读更多...
从0到1开发go-tcp框架【2-实现Message模块、解决TCP粘包问题、实现多路由机制】

从0到1开发go-tcp框架【2-实现Message模块、解决TCP粘包问题、实现多路由机制】

从0到1开发go-tcp框架【2-实现Message模块、解决TCP粘包问题、实现多路由机制】 1 实现\封装Message模块 zinx/ziface/imessage.go package zifacetype IMessage interface {GetMsdId() uint32GetMsgLen() uint32GetMsgData() []byteSetMsgId(uint32)SetData([]byte)SetData…
阅读更多...
组合总和——力扣39

组合总和——力扣39

文章目录 题目描述回溯 题目描述 回溯 class Solution { public:vector<vector<int>> res;vector<int> seq; void dfs(vector<int>& nums, int pos, int target){if(target0){res.emplace_back(seq);return;}if(posnums.size()){return;}//直接跳过…
阅读更多...
2023上半年手机及数码行业分析报告（京东销售数据分析）

2023上半年手机及数码行业分析报告（京东销售数据分析）

2023年上半年&#xff0c;手机市场迎来复苏&#xff0c;同环比来看&#xff0c;销量销额纷纷上涨。 而数码市场中&#xff0c;各个热门品类表现不一。微单相机及智能手表同比去年呈现增长态势&#xff0c;而笔记本电脑市场则出现下滑。 基于此现状&#xff0c;鲸参谋发布了20…
阅读更多...
最新文章

Copyright @ 2022~2023