ELK(四)—els基本操作

目录

  • elasticsearch基本概念
    • RESTful API
    • 创建非结构化索引
      • (增)创建空索引
      • (删)删除索引
      • (改)插入数据
      • (改)数据更新
      • (查)搜索数据(id)
      • (查)搜索数据(全部)
      • (查)关键字搜索数据
      • (查)DSL搜索
      • 其他(聚合)

elasticsearch基本概念

Elasticsearch 是一个分布式搜索引擎,用于全文搜索、分析和可视化大规模数据。以下是 Elasticsearch 中一些基本概念:

  1. 索引(Index)
    • Elasticsearch 中的数据存储单元,类似于传统数据库中的数据库。每个索引包含一组相关的文档。
  2. 文档(Document)
    • 索引中的基本信息单元,可以是 JSON、XML、或其他格式的数据。文档是 Elasticsearch 中可被索引和搜索的基本数据单元。
  3. 类型(Type)(在7.x版本之前):
    • Elasticsearch 6.x及更早版本中,索引可以包含一个或多个类型,每个类型定义了文档的结构。从 Elasticsearch 7.x 开始,不再支持多类型,一个索引只有一个默认类型 “_doc”。
  4. 映射(Mapping)
    • 定义了索引中的文档结构,包括每个字段的类型和属性。映射在创建索引时自动创建,也可以手动定义。
  5. 节点(Node)
    • Elasticsearch 集群中的单个服务器,用于存储数据和执行数据操作。每个节点属于一个集群,并且有唯一的名称。
  6. 集群(Cluster)
    • 由一个或多个节点组成的集合,共同存储数据并提供联合的搜索能力。集群有一个唯一的名称。
  7. 分片(Shard)
    • 索引可以被分割成多个分片,每个分片是一个独立的索引。分片允许数据水平扩展,提高并发性能。
  8. 副本(Replica)
    • 每个分片可以有零个或多个副本。副本是分片的精确拷贝,用于提高高可用性和故障恢复。
  9. 查询(Query)
    • 用于搜索 Elasticsearch 中文档的条件。可以通过查询DSL(Domain Specific Language)来构建各种类型的查询。
  10. 聚合(Aggregation)
    • 用于分析和统计数据的机制,可以计算平均值、总和、最小值等。
  11. 索引别名(Index Alias)
    • 为索引提供一个可读的名称,可以用于简化索引操作和在查询中引用多个索引。
  12. 分析器(Analyzer)
    • 用于在索引和查询阶段处理文本数据的组件,包括分词、小写化、去停用词等。
  13. 倒排索引(Inverted Index)
    • Elasticsearch 使用倒排索引来加速搜索,它记录了每个词项出现在哪些文档中。

这些是 Elasticsearch 中一些基本的概念,了解它们有助于更好地理解和使用 Elasticsearch 进行数据存储和检索。

RESTful API

在Elasticsearch中,提供了功能丰富的RESTful API的操作,包括基本的CRUD、创建索引、删除索引等操作。

创建非结构化索引

在Lucene中,创建索引是需要定义字段名称以及字段的类型的,在Elasticsearch中提供了非结构化的索引,就是不需要创建索引结构,即可写入数据到索引中,实际上在Elasticsearch底层会进行结构化操作,此操作对用户是透明的。

(增)创建空索引

PUT /elk
{
    "settings":{
        "index":{
            "number_of_shards":"2",
            "number_of_replicas":"0"
        }
    }
}

这里我选择postman进行测试。

image.png

去elasticsearch-head看是否索引创建是否成功。

image.png

可以看到索引已经创建成功了。

(删)删除索引

DELETE /elk
{
	"acknowledged": true
}

在postman中进行删除操作

image.png

检查是否删除成功

image.png

可以看到已经删除成功了

(改)插入数据

上面我们已经学会了如何创建好删除索引,现在我们进行数据的添加操作。

URL规则:
POST /{索引}/{类型}/{id}

插入如下数据。

{
"id":1001,
"name":"王五",
"age":18,
"sex":"男"
}

image.png

postman中显示插入成功了。

浏览器上是否也是插入成功呢?

image.png

可以看到数据已经成功插入了。

(改)数据更新

在Elasticsearch中,文档数据是不为修改的,但是可以通过覆盖的方式进行更新。

{
"id":1001,
"name":"王老五",
"age":55,
"sex":"男"
}

image.png

image.png

服务器中的数据也成功更新了。

问题与探究问题与探究问题与探究

可以看到数据已经被覆盖了。问题来了,可以局部更新吗? – 可以的。前面不是说,文档数据不能更新吗?
其实是这样的:在内部,依然会查询到这个文档数据,然后进行覆盖操作,步骤如下:

  1. 从旧文档中检索JSON
  2. 修改它
  3. 删除旧文档
  4. 索引新文档
#注意:这里多了_update标识

POST /haoke/_update/1001
{
"doc":{
"age":66
}
}

image.png

image.png

可以看到数据已经成功更新了。

我们需要id存在,否则会报错,也就是404

image.png

当id存在,我们可以往数据添加原先没有的数据。

image.png

image.png

(查)搜索数据(id)

GET /elk/_doc/id

image.png

我们也可以直接在elasticsearch中进行搜索

image.png

(查)搜索数据(全部)

GET  /elk/_search

image.png

同样的,查询全部也可以直接在elasticsearch-head中的基本查询中进行搜索。

image.png

(查)关键字搜索数据

#格式
GET /elk/_search?q=字段名:对应值



#查询年龄等于13的用户
GET /elk/_search?q=age:20

image.png

#查询年龄等于13的用户
GET /elk/_search?q=address:湖南

image.png

(查)DSL搜索

Elasticsearch的DSL(Domain-Specific Language)是一种查询语言,用于在Elasticsearch中执行搜索操作。DSL允许用户以结构化的方式构建复杂的查询,以满足不同的搜索需求。DSL查询通常以JSON格式表示,并包含各种查询和过滤条件。

以下是一些常见的DSL查询语法和查询类型的详细解释:

  1. Match Query:
    Match查询用于执行全文本搜索,它会在指定的字段中查找包含特定词语的文档。

    {
      "query": {
        "match": {
          "field_name": "search_term"
        }
      }
    }
    
    
    

    匹配年龄为20的数据

    POST /elk/_search
    #请求体
    {
     "query" : {
         "match" : {
         	"age" : 23
         }
     }
    }
    

    image.png

    匹配多个姓名数据

    POST /elk/_search
    #请求数据
    {
     "query" : {
         "match" : {
         	"name" : "张四 李三 王老五"
         }
     }
    }
    

    image.png

    高亮显示

    POST /elk/_search
    #请求数据
    {
     "query": {
         "match": {
             "name": "王老五"
         }
     },
     "highlight": {
         "fields": {
             "name": {}
         }
     }
    }
    

    image.png

  2. Term Query:
    Term查询用于匹配确切的词语。它通常用于精确匹配,而不进行全文本搜索。

    {
      "query": {
        "term": {
          "field_name": "exact_term"
        }
      }
    }
    
  3. Bool Query: Bool查询允许将多个查询组合在一起,并使用逻辑运算符(must、must_not、should)来定义查询逻辑。

    {
      "query": {
        "bool": {
          "must": [
            { "match": { "field1": "value1" } },
            { "term": { "field2": "value2" } }
          ],
          "must_not": [
            { "range": { "field3": { "gte": "2022-01-01" } } }
          ],
          "should": [
            { "term": { "field4": "value3" } }
          ]
        }
      }
    }
    

    查询年龄大于18岁的男性用户。

    POST /elk/user/_search
    #请求数据
    {
     "query": {
         "bool": {
             "filter": {
                     "range": {
                         "age": {
                         "gt": 18
                     }
                 }
             },
             "must": {
                 "match": {
                 	"sex": "男"
                 }
             }
         }
     }
    }
    
  4. Range Query:
    Range查询用于匹配指定范围内的值。

    {
      "query": {
        "range": {
          "field_name": {
            "gte": "min_value",
            "lte": "max_value"
          }
        }
      }
    }
    
  5. Wildcard Query:
    通配符查询允许使用通配符进行模糊匹配。

    {
      "query": {
        "wildcard": {
          "field_name": "search*term"
        }
      }
    }
    
  6. Nested Query:
    Nested查询用于在嵌套文档中执行查询。

    {
      "query": {
        "nested": {
          "path": "nested_field",
          "query": {
            "match": {
              "nested_field.property": "value"
            }
          }
        }
      }
    }
    

这些是一些基本的DSL查询示例。在实际应用中,可以将这些查询类型组合使用,以满足特定的搜索需求。此外,Elasticsearch还支持聚合(Aggregation)、排序(Sorting)、分页(Pagination)等高级功能,可以进一步扩展查询的能力。

其他(聚合)

在Elasticsearch中,支持聚合操作,类似SQL中的group by操作。

POST /elk/_search
{
    "aggs": {
        "all_interests": {
            "terms": {
                "field": "age"
            }
        }
    }
}

image.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/227012.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

查看端口号是否被占用

windows10查看端口号是否被占用及解除占用的常用命令 netstat -ano:查看所有端口号占用情况 netstat -ano |findstr “XXX”:查看端口号为XXX的占用情况,如下: 得到进程号为12160的进程正在占用本地的9090端口号(如果只…

Python+requests+unittest+excel实现接口自动化测试框架

在刚刚进入测试行业的时候,最开始也是做功能测试,我想很多伙伴和我一样,觉得自动化测试都很高端,很神秘。迫不及待的想去学习作自动化测试。 以前比较常用数据库python做自动化,后面发现excel个人觉得更加适合&#x…

flex布局的flex为1到底是什么

参考博客:flex:1什么意思_公孙元二的博客-CSDN博客 flex:1即为flex-grow:1,经常用作自适应布局,将父容器的display:flex,侧边栏大小固定后,将内容区flex:1,内…

算术运算(这么简单?进来坐坐?)

先热热身 算术运算,也称为四则运算,包括加法、减法、乘法和除法。此外,算术运算还包括乘方和开方。 在算术中,加减被视为一级运算,乘除被视为二级运算,乘方和开方被视为三级运算。在一道算式中,…

GDPU 数据结构 天码行空13

文章目录 一、【实验目的】二、【实验内容】三、实验源代码四、实验结果五、实验总结 一、【实验目的】 (1) 理解插入排序算法的实现过程; (2)理解不同排序算法的时间复杂度及适用环境; (3)了解算法性能…

华为数通---配置Smart Link负载分担案例

定义 Smart Link,又叫做备份链路。一个Smart Link由两个接口组成,其中一个接口作为另一个的备份。Smart Link常用于双上行组网,提供可靠高效的备份和快速的切换机制。 目的 下游设备连接到上游设备,当使用单上行方式时&#x…

算能 MilkV Duo开发板实战——opencv-mobile (迷你版opencv库)的移植和应用

前言 OpenCV是一种开源的计算机视觉和机器学习软件库,旨在提供一组通用的计算机视觉工具。它用于图像处理、目标识别、人脸识别、机器学习等领域,广泛应用于计算机视觉任务。 OpenCV-Mobile是OpenCV库的轻量版本,专为移动平台(A…

服务器感染了.DevicData-D-XXXXXXXX勒索病毒,如何确保数据文件完整恢复?

引言: 勒索病毒成为网络安全的严峻挑战,而最新的.DevicData-D-XXXXXXXX勒索病毒更是引起广泛关注。本文将深入介绍.DevicData-D-XXXXXXXX勒索病毒的特征,提供恢复被其加密的数据文件的方法,并分享预防措施,以确保您的数…

单细胞seurat-细胞比例分析-画图详细教程

大家好,今天我们来画单细胞中最简单的细胞比例图~ 1.老规矩,先加载pbmc数据 dir.create("~/gzh/细胞比例") setwd("~/gzh/细胞比例")subset_datareadRDS("~/gzh/pbmc3k_final.rds") table(stringr::str_split(string c…

Bounding boxes augmentation for object detection

Different annotations formats Bounding boxes are rectangles that mark objects on an image. There are multiple formats of bounding boxes annotations. Each format uses its specific representation of bouning boxes coordinates 每种格式都使用其特定的边界框坐标…

TCP聊天

一、项目创建 二、代码 Client类 package tcp; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.net.Socket; import java.util.Scanner; public class Client { public sta…

Elasticsearch- 环境-Windows集群部署和环境-Linux单节点部署和Linux集群部署-03

Elasticsearch环境 环境-简介 单机 & 集群 单台 Elasticsearch 服务器提供服务,往往都有最大的负载能力,超过这个阈值,服务器性能就会大大降低甚至不可用,所以生产环境中,一般都是运行在指定服务器集群中。除了…

STM32 cubeMX 呼吸灯实验

文章代码使用 HAL 库。 文章目录 一、1.PWM原理二、LED 原理图三、使用cubemx 配置 led四、PWM 相关函数五、PWM占空比占空比计算六、PWM 呼吸灯重要代码总结 呼吸灯 一、1.PWM原理 PWM全称为脉冲宽度调制(Pulse Width Modulation),是一种常…

软著项目推荐 深度学习验证码识别 - 机器视觉 python opencv

文章目录 0 前言1 项目简介2 验证码识别步骤2.1 灰度处理&二值化2.2 去除边框2.3 图像降噪2.4 字符切割2.5 识别 3 基于tensorflow的验证码识别3.1 数据集3.2 基于tf的神经网络训练代码 4 最后 0 前言 🔥 优质竞赛项目系列,今天要分享的是 &#x…

php循环遍历删除文件下文件和目录

前言 今天在写一个demo的时候需要循环删除目录下文件。如下想删temp下文件和目录。 具体实现 private function deleteDir($dirPath){if (is_dir($dirPath)) {$contents scandir($dirPath);// 如果是空目录if (count($contents) 2) {rmdir($dirPath);return;}// 不是空目录f…

windows MYSQL下载和自定路径安装,以及解决中文乱码问题。

文章讲的很详细,请耐心往下看。 一、mysql下载 下载网址:https://www.mysql.com/downloads/ 表示不登录,直接下载。 以上就把安装包下载完了。下载是8.0.35版本。 二、接下来看怎么安装 1.双击安装包,进行安装。 注意&#x…

【论文阅读笔记】M3Care: Learning with Missing Modalities in Multimodal Healthcare Data

本文介绍了一种名为“MCare”的模型,旨在处理多模态医疗保健数据中的缺失模态问题。这个模型是端到端的,能够补偿病人缺失模态的信息,以执行临床分析。MCare不是生成原始缺失数据,而是在潜在空间中估计缺失模态的任务相关信息&…

【web安全】文件包含漏洞详细整理

前言 菜某的笔记总结,如有错误请指正。 本文用的是PHP语言作为案例 文件包含漏洞的概念 开发者使用include()等函数,可以把别的文件中的代码引入当前文件中执行,而又没有对用户输入的内容进行充分的过滤&#xff0…

算法通关村第十八关-青铜挑战回溯是怎么回事

大家好我是苏麟 , 今天聊聊回溯是怎么个事 . 回溯是最重要的算法思想之一,主要解决一些暴力枚举也搞不定的问题,例如组合、分割、子集、排列,棋盘等。从性能角度来看回溯算法的效率并不高,但对于这些暴力都搞不定的算法能出结果就…

区分node,npm,nvm

目录 一,nodejs二,npm三,nvm 区分node,npm,nvm 几年前学习前端的时候学习的就是htmlcssjs 三件套。 现在只学习这些已经不能满足需要了。 一,nodejs nodejs是编程语言javascript运行时环境。(比…