ES API 批量操作 Bulk API

bulk 是 elasticsearch 提供的一种批量增删改的操作API。

bulk 对 JSON串 有着严格的要求。每个JSON串 不能换行 ，只能放在同一行，同时， 相邻的JSON串之间必须要有换行 （Linux下是\n；Window下是\r\n）。bulk的每个操作必须要 一对JSON串 （delete语法除外）。

action必须是以下几种：

行为解释
create如果文档不存在就创建，但如果文档存在就返回错误 包含 。POSt和PUT 两种操作
index如果文档不存在就创建，如果文档存在就更新，版本_version 会加1
update更新一个文档，如果文档不存在就返回错误
delete删除一个文档，如果要删除的文档id不存在，就返回错误

其实可以看得出来 index 是比较常用的。 bulk 请求不是原子操作，它们不能实现事务。每个请求操作时分开的，所以每个请求的成功与否不干扰其它操作。

Bulk一次最大处理多少数据量？
Bulk会把将要处理的数据载入内存中，所以数据量是有限制的，最佳的数据量不是一个确定的数值，它取决于你的硬件，你的文档大小以及复杂性，你的索引以及搜索的负载。
一般建议是1000-5000个文档，大小建议是5-15M，默认不能超过100M，可以在es的配置文件（即$ES_HOME下的config下的elasticsearch.yml）中

# bulk批量的混合操作，一般不推荐这种使用，项目中也用的极少。
PUT /_bulk
{ "create" : { "_index" : "ad", "_id" : "6" }}
{ "doc" : {"name" : "bulk"}}
{ "index" : { "_index" : "ad", "_id" : "6" }}
{ "doc" : {"name" : "bulk"}}
{ "delete":{ "_index" : "ad", "_id" : "1"}}
{ "update":{ "_index" : "ad", "_id" : "3"}}
{ "doc" : {"name" : "huawei p20"}}

# 输出结果
{
"took" : 77,
# 如果任意一个文档出错，这里返回true,
"errors" : true,
# items数组，它罗列了每一个请求的结果，结果的顺序与我们请求的顺序相同
"items" : [
{
   # create这个文档已经存在，所以异常
    "create":{
        "_index":"ad",
        "_type":"_doc",
        "_id":"6",
        "status":409,
        "error":{
            "type":"version_conflict_engine_exception",
            "reason":"[6]: version conflict, document already exists (current version [1])",
            "index_uuid":"90zLKRHyT02kyN148mQpqg",
            "shard":"0",
            "index":"ad"
        }
    }
},
# index这个文档已经存在，会覆盖
{
    "index":{
        "_index":"ad",
        "_type":"_doc",
        "_id":"6",
        "_version":2,
        "result":"updated",
        "_shards":{
            "total":2,
            "successful":1,
            "failed":0
        },
        "_seq_no":11,
        "_primary_term":3,
        "status":200
    }
},
{
    "delete":{
        "_index":"ad",
        "_type":"_doc",
        "_id":"1",
        "_version":2,
        "result":"deleted",
        "_shards":{
            "total":2,
            "successful":1,
            "failed":0
        },
        "_seq_no":12,
        "_primary_term":3,
        "status":200
    }
},
{
    "update":{
        "_index":"ad",
        "_type":"_doc",
        "_id":"3",
        "_version":2,
        "result":"updated",
        "_shards":{
            "total":2,
            "successful":1,
            "failed":0
        },
        "_seq_no":13,
        "_primary_term":3,
        "status":200
    }
}
]
}
测试数据准备

# 测试数据准备
PUT example
PUT example/_mapping
{
    "mapping":{
        "id":{
            "type":"long"
        },
        "name":{
            "type":"text"
        },
        "counter":{
            "type":"integer"
        },
        "tags":{
            "type":"text"
        }
    }
}
批量插入

# 批量插入
POST /example/_bulk
{"index": {"_id": 1}}
{"id":1, "name":"admin", "counter":10, "tags":["red", "black"]}
{"index": {"_id": 2}}
{"id":2, "name":"张三", "counter":20, "tags":["green", "purple"]}
{"index": {"_id": 3}}
{"id":3, "name":"李四", "counter":30, "tags":["red", "blue"]}
{"index": {"_id": 4}}
{"id":4, "name":"tom", "counter":40, "tags":["orange"]}

# 输出结果
{
    "took":7,
    "errors":false,
    "items":[
        {
            "index":{
                "_index":"example",
                "_type":"_doc",
                "_id":"1",
                "_version":1,
                "result":"created",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":0,
                "_primary_term":1,
                "status":201
            }
        },
        {
            "index":{
                "_index":"example",
                "_type":"_doc",
                "_id":"2",
                "_version":1,
                "result":"created",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":1,
                "_primary_term":1,
                "status":201
            }
        },
        {
            "index":{
                "_index":"example",
                "_type":"_doc",
                "_id":"3",
                "_version":1,
                "result":"created",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":2,
                "_primary_term":1,
                "status":201
            }
        },
        {
            "index":{
                "_index":"example",
                "_type":"_doc",
                "_id":"4",
                "_version":1,
                "result":"created",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":3,
                "_primary_term":1,
                "status":201
            }
        }
    ]
}

批量修改

# 批量修改
POST /example/_bulk
{"update": {"_id": 1}}
{"doc": {"id":1, "name": "admin-02", "counter":11}}
{"update": {"_id": 2}}
{"script":{"lang":"painless","source":"ctx._source.counter += params.num","params":
{"num":2}}}
{"update":{"_id": 3}}
{"doc": {"name": "test3333name", "counter": 999}}
{"update":{"_id": 4}}
{"doc": {"name": "test444name", "counter": 888}, "doc_as_upsert" : true}

# 输出结果
{
    "took":149,
    "errors":false,
    "items":[
        {
            "update":{
                "_index":"example",
                "_type":"_doc",
                "_id":"1",
                "_version":2,
                "result":"updated",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":4,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "update":{
                "_index":"example",
                "_type":"_doc",
                "_id":"2",
                "_version":2,
                "result":"updated",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":5,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "update":{
                "_index":"example",
                "_type":"_doc",
                "_id":"3",
                "_version":2,
                "result":"updated",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":6,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "update":{
                "_index":"example",
                "_type":"_doc",
                "_id":"4",
                "_version":2,
                "result":"updated",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":7,
                "_primary_term":1,
                "status":200
            }
        }
    ]
}
批量删除

# 批量删除
POST /example/_bulk
{"delete": {"_id": 1}}
{"delete": {"_id": 2}}
{"delete": {"_id": 3}}
{"delete": {"_id": 4}}

# 输出结果
{
    "took":7,
    "errors":false,
    "items":[
        {
            "delete":{
                "_index":"example",
                "_type":"_doc",
                "_id":"1",
                "_version":3,
                "result":"deleted",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":8,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "delete":{
                "_index":"example",
                "_type":"_doc",
                "_id":"2",
                "_version":3,
                "result":"deleted",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":9,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "delete":{
                "_index":"example",
                "_type":"_doc",
                "_id":"3",
                "_version":3,
                "result":"deleted",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":10,
                "_primary_term":1,
                "status":200
            }
        },
        {
            "delete":{
                "_index":"example",
                "_type":"_doc",
                "_id":"4",
                "_version":3,
                "result":"deleted",
                "_shards":{
                    "total":2,
                    "successful":1,
                    "failed":0
                },
                "_seq_no":11,
                "_primary_term":1,
                "status":200
            }
        }
    ]
}

另外在定义存储数据的时候，不预先定义mapping ES 也可以存储数据
在这里插入图片描述

数据在存放第一个数据的时候数据类型已经确定下来了

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/321251.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【AUTOSAR】--01 AUTOSAR网络管理基础

【AUTOSAR】--01 AUTOSAR网络管理基础

AUTOSAR网络管理做了几个项目了，但发现还是有些理解不够深入的地方，最近趁着有个新项目也要做AUTOSAR网络管理，再从头梳理一下AUTOSAR网络管理，预计用2-3篇文章，把AUTOSAR网络重新梳理完成。 这是第一篇，主…
阅读更多...
鸿蒙开发-UI-组件-状态管理

鸿蒙开发-UI-组件-状态管理

鸿蒙开发-序言 鸿蒙开发-工具 鸿蒙开发-初体验 鸿蒙开发-运行机制 鸿蒙开发-运行机制-Stage模型 鸿蒙开发-UI 鸿蒙开发-UI-组件 文章目录 前言 一、什么是状态管理 二、管理组件拥有的状态 1.组件内状态 State装饰器 2.父子组价单向同步 Prop装饰器 3.父子双向同步 Link装…
阅读更多...
yolov5模型Detection输出内容与源码详细解读

yolov5模型Detection输出内容与源码详细解读

文章目录 前言一、Detiction类源码说明二、Detection类初始化参数解读三、Detection的训练输出源码解读四、Detection的预测输出源码解读1、self.grid内容解读2、xy/wh内容解读3、推理输出解读 总结 前言 最近，需要修改yolov5推理结果，通过推理特征添加…
阅读更多...
青动CRM-E售后 售后工单CRM系统 erp系统 带前端小程序全开源可二开

青动CRM-E售后 售后工单CRM系统 erp系统 带前端小程序全开源可二开

应用介绍 一款基于FastAdminThinkPHP和uniapp开发的CRM售后管理系统，旨在助力企业销售售后全流程精细化、数字化管理，主要功能：客户、合同、工单、任务、报价、产品、库存、出纳、收费，适用于：服装鞋帽、化妆品、机械机…
阅读更多...
change事件传递多个参数

change事件传递多个参数

1.传递value页面参数 change"handleChange($event,123)" 2.传递选中的keyvalue或是选中的item 我用的是a-auto-complete，试验了用a-select也可以 就是在option里面，:value"JSON.stringify(d)" 然后在eval(( value ))转化就可…
阅读更多...
zepplin记录1

zepplin记录1

zepplin记录1 文章目录 zepplin记录1前言一、配置python环境二、测试可用性1.配置interpreter2.测试代码 总结 前言 Apache Zeppelin是一个开源的数据分析和可视化的交互式笔记本，类似于Jupyter Notebook。它支持多种编程语言（如Scala、Python、R、SQL等…
阅读更多...
智慧园区数字孪生智能可视运营平台解决方案：PPT全文82页，附下载

智慧园区数字孪生智能可视运营平台解决方案：PPT全文82页，附下载

关键词：智慧园区解决方案，数字孪生解决方案，数字孪生应用场景及典型案例，数字孪生可视化平台，数字孪生技术，数字孪生概念，智慧园区一体化管理平台 一、基于数字孪生的智慧园区建设目标 1、实现…
阅读更多...
【技术选型】Doris vs starRocks

【技术选型】Doris vs starRocks

比对结论 仅从当前能看到的数据中，相比于doris，starRocks在性能方面具备优势，且更新频率高（降低维护成本）。 目标诉求 并发性不能太低——相比于clickhouse不到100的QPS支持大表关联——降低数据清洗的压力&#xf…
阅读更多...
【PlantUML】- 时序图

【PlantUML】- 时序图

写在前面 本篇文章，我们来介绍一下PlantUML的时序图。这个相对类图来讲，比较简单，也不需要布局。读完文章，相信你就能实际操作了。 目录 写在前面一、基本概念二、具体步骤1.环境说明2.元素3.语法4.示例 三、参考资料写在后面系列…
阅读更多...
Spring Boot 3 + Vue 3实战：引入数据库实现用户登录功能

Spring Boot 3 + Vue 3实战：引入数据库实现用户登录功能

文章目录 一、实战概述二、实战步骤（一）创建数据库（二）创建用户表（三）后端项目引入数据库1、添加相关依赖2、用户实体类保持不变3、编写应用配置文件4、创建用户映射器接口5、创建用户服务类6、修改登录控制…
阅读更多...
【Fiddler抓包】微信扫码访问链接打不开网页

【Fiddler抓包】微信扫码访问链接打不开网页

又来每天进步一点点~~~ 背景：某天发版的时候，手机连接电脑抓包查看用户登录之前的sessionID，由于业务需要，是需要用户登录微信扫码跳转至某一页面的，微信（分身）扫码成功，跳转时打不…
阅读更多...
HarmonyOS 通过 animateTo讲解尺寸动画效果

HarmonyOS 通过 animateTo讲解尺寸动画效果

上文 HarmonyOS讲解并演示 animateTo 动画效果 我们已经做出了基本的动画效果 也对 animateTo 的使用比较熟悉了 第一个参数是 配置动画参数的json 第二个参数 则是改变我们元素属性值的事件 但属性值 远远不止位置属性 本文 我们来说 通过尺寸变化 完成动画效果 如果你有看过…
阅读更多...
指针理解C部分

指针理解C部分

目录 1.二级指针 2.指针数组 2.1指针数组的定义和表现形式 2.2指针数组模拟实现二维数组 2.2.1二维数组 2.2.2使用指针数组模拟实现二维数组 3.字符指针 2.数组指针 3.二维数组传参 4.函数指针 4.1函数指针变量的定义和创建 4.2函数指针变量的使用 4.3两段有趣的代码 4.…
阅读更多...
【NI国产替代】USB‑7846 Kintex-7 160T FPGA，500 kS/s多功能可重配置I/O设备

【NI国产替代】USB‑7846 Kintex-7 160T FPGA，500 kS/s多功能可重配置I/O设备

Kintex-7 160T FPGA，500 kS/s多功能可重配置I/O设备 USB‑7846具有用户可编程FPGA，可用于高性能板载处理和对I/O信号进行直接控制，以确保系统定时和同步的完全灵活性。 您可以使用LabVIEW FPGA模块自定义这些设备，开发需要精确定时…
阅读更多...
NLP论文阅读记录 - 2022 | WOS 一种新颖的优化的与语言无关的文本摘要技术

NLP论文阅读记录 - 2022 | WOS 一种新颖的优化的与语言无关的文本摘要技术

文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.前提三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 A Novel Optimized Language-Independent Text Summarization Techni…
阅读更多...
Linux系统编程（十）：线程同步（下）

Linux系统编程（十）：线程同步（下）

参考引用 UNIX 环境高级编程 (第3版)嵌入式Linux C应用编程-正点原子 1. 为什么需要线程同步？ 线程同步是为了对共享资源的访问进行保护 共享资源指的是多个线程都会进行访问的资源（如：全局变量） 保护的目的是为了解决数据一致性…
阅读更多...
前端对接电子秤、扫码枪设备serialPort 串口使用教程

前端对接电子秤、扫码枪设备serialPort 串口使用教程

因为最近工作项目中用到了电子秤，需要对接电子秤设备。以前也没有对接过这种设备，当时也是一脸懵逼，脑袋空空。后来就去网上搜了一下前端怎么对接，然后就发现了SerialPort串口。 Serialport 官网地址：https://serialpo…
阅读更多...
C# 静态代码织入AOP组件之肉夹馍

C# 静态代码织入AOP组件之肉夹馍

写在前面 关于肉夹馍组件的官方介绍说明： Rougamo是一个静态代码织入的AOP组件，同为AOP组件较为常用的有Castle、Autofac、AspectCore等，与这些组件不同的是，这些组件基本都是通过动态代理IoC的方式实现AOP，是运行时…
阅读更多...
Mysql-redoLog

Mysql-redoLog

Redo Log redo log进行刷盘的效率要远高于数据页刷盘，具体表现如下 redo log体积小，只记录了哪一页修改的内容，因此体积小，刷盘快 redo log是一直往末尾进行追加，属于顺序IO。效率显然比随机IO来的快Redo log 格式 在MySQL的InnoDB存储引擎中，redo log（重做日志）被用…
阅读更多...
【EMC专题】浪涌的成因与ICE 61000-4-5标准

【EMC专题】浪涌的成因与ICE 61000-4-5标准

什么是浪涌？ 浪涌是一种无法预料的瞬态电压或电流尖峰，由附近的电子产品或是环境导致。 了解浪涌非常重要，因为浪涌有可能会导致设备的电气过应力损坏，造成系统故障等。 对于系统设计来说，重要的一点是我们如果无法控制浪涌的产生，那么只能通过将瞬态峰值电流导入到地，…
阅读更多...
最新文章

Copyright @ 2022~2023