elk之简介

写在前面

本文看下es的简介。

1:简介

背后公司,elastic,08年纽交所上市,与腾讯,阿里等云厂商有合作,推出云产品,类似功能的产品由solr,splunk,但使用量es当前遥遥领先,下图是es与solr的对比图,可看到在03年左右es已经一骑绝尘了,如下图:
在这里插入图片描述
在这里插入图片描述
可看到,使用很大,并且使用的非常广泛,分布全球。

2:为什么会有es

es是基于lucene开发的一款分布式的搜索产品,但是已经有了lucene,为什么还需要es呢?为了了解这个问题,我们先来看下lucene,lucene是Doug Cutting开发的,其也是hodoop的作者,就是下图的哥们:
在这里插入图片描述
lucene是99基于Java语言开发,05年成为apache的顶级开源项目,优点是性能高,搜索能力强,但是也有如下的缺点:

1:只能基于Java语言开发,局限性比较大
2:学习曲线异常陡峭,本人就学过,已经世上无难事,只要肯放弃了
3:不支持水平扩展,想要支持大数据量的话,必须自己二次开发

基于以上的不足,就有大牛站出来带领像我这种小菜鸟走出困境了,这位大哥就是shaybanon:
在这里插入图片描述
04年基于Java语言开发,取名为compass,10重构comapass,取名为elasticsearch,优点如下:

1:支持水平扩展(此处应有掌声)
2:提供rest接口,可以跨语言使用
3:2降级了学习的门槛
4:支持jdbc(Java),odbc(微软)

3:es介绍

核心功能,搜索,聚合。10年正式发布,12年创立公司,半年时间就达到160万的下载量,并拿到1000万🔪的风险投资,具体版本历史如下:
在这里插入图片描述
任何一个产品都离不开良好的生态系统,es也一样,其生态圈我们叫做elastic stack,如下图:
在这里插入图片描述
各个组件作用如下:

1:logstash,beat
    数据收集,支持从不同的数据源收集数据,并做数据的处理,脱敏等
2:elasticsearch
    数据存储,搜索,聚合
3:kibana
    数据各种形式的展现,表格,报表等
4:X-pack
    扩展数据包,安全,告警,监控,机器学习等
5:云服务
    提供产品的云服务

其中beat有多种,如下图:
在这里插入图片描述

3.1:与数据库集成

因为es本身无法提供事务性的消息处理,所以这种场景还是需要依赖于MySQL ,但我们又想利用es高效的数据查询功能,该怎么办呢,这时就需要将mysql的数据同步到es中,此时一般采用如下的架构:
在这里插入图片描述

3.2:数据采集与展现

为了将各种数据源的数据,存储在es,并最终使用kibana进行展现,一般采用如下的流程:
在这里插入图片描述

写在后面

参考文章列表

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/367269.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

[pytorch入门] 9. 优化器

介绍 在pytorch的官方文档中,所有的优化器都集中在torch.optim中 在官方文档中,会告诉你如何去创建一个优化器 选择一种优化器创建,传入模型的参数(必需的)、学习速率(几乎是每个优化器都有的参数&#…

【制作100个unity游戏之23】实现类似七日杀、森林一样的生存游戏9(附项目源码)

本节最终效果演示 文章目录 本节最终效果演示系列目录前言回收物品素材绘制UI代码控制垃圾桶回收功能效果 源码完结 系列目录 前言 欢迎来到【制作100个Unity游戏】系列!本系列将引导您一步步学习如何使用Unity开发各种类型的游戏。在这第23篇中,我们将…

DPVS 多活部署架构部署

一、目标 利用DPVS部署一个基于OSPF/ECMP的提供HTTP服务的多活高可用的测试环境。 本次部署仅用于验证功能,不提供性能验证。 配置两台DPVS组成集群、两台REAL SERVER提供实际HTTP服务。 注:在虚拟环境里面,通过在一台虚拟服务器上面安装FR…

2024牛客寒假算法基础集训营1

文章目录 A DFS搜索M牛客老粉才知道的秘密G why外卖E 本题又主要考察了贪心B 关鸡C 按闹分配 今天的牛客,说是都是基础题,头昏昏的,感觉真不会写,只能赛后补题了 A DFS搜索 写的时候刚开始以为还是比较难的,和dfs有关…

老版本labelme如何不保存imagedata

我的版本是3.16,默认英文且不带取消保存imagedata的选项。 最简单粗暴的方法就是在json文件保存时把传递过来的imagedata数据设定为None,方法如下: 找到labelme的源文件,例如:D:\conda\envs\deeplab\Lib\site-packages…

数据分析基础之《pandas(4)—pandas画图》

1、DataFrame.plot(xNone, yNone, kindline) 说明: x:设置x轴标签 y:设置y轴标签 kind: line 折线图 bar 柱状图 hist 直方图 pie 饼图 scatter 散点图 # 找到p_change和turnover之间的关系 data.plot(xvolume, yturnover, kinds…

dubbo+sentinel最简集成实例

说明 在集成seata后,下面来集成sentinel进行服务链路追踪管理~ 背景 sample-front网关服务已配置好 集成 一、启动sentinel.jar 1、官网下载 选择1:在本地启动 nohup java -Dserver.port8082 -Dcsp.sentinel.dashboard.serverlocalhost:8082 -Dp…

Simulink|光伏阵列模拟多类故障(开路/短路/阴影遮挡/老化)

目录 主要内容 模型研究 1.正常模型 2.断路故障 3.短路故障 4.阴影遮挡 5.老化模型 结果一览 1.U-I曲线 2.P-V曲线 下载链接 主要内容 该模型为光伏阵列模拟故障情况simulink模型,程序实现了多种故障方式下的光伏阵列输出功率-电压-电流关系特…

链表——C语言——day17

链表 链表是一种常见的重要的数据结构。它是动态地进行存储分配的一种结构。在用数组存放数据时,必须事先定义固定的长度(即元素个数)。链表则没有这种缺点,它根据需要开辟内存单元。 链表有一个“头指针“变量,图中…

Docker极速入门掌握基本概念和用法

1、Docker概念 1.1什么是docker Docker是一个快速交付应用、运行应用的技术,具备以下优势 可将程序及其依赖、运行环境一起打包为一个镜像,可以迁移到任意Linux操作系统运行时利用沙箱机制形成隔离容器,各个应用互不干扰启动、移除都可以通…

jmeter-03界面介绍

文章目录 主界面介绍测试计划介绍线程组介绍线程组——选择测试计划,右键-->添加-->线程-->线程组 主界面介绍 测试计划介绍 测试计划:本次测试所需要的所有内容,即父线程 线程组介绍 jmeter讲究一个概念:一个线程一…

如何在docker中访问电脑上的GPU?如何在docker中使用GPU进行模型训练或者加载调用?

如何在docker中访问电脑上的GPU?如何在docker中使用GPU进行模型训练或者加载调用? 其实使用非常简单,只是一行命令的事,最主要的事配置好驱动和权限。 docker run -it --rm --gpus all ycj520/centos:1.0.0 nvidia-smi先看看 st…

AI在线写作软件推荐:5款不可错过的写作工具

现在人工智能(AI)技术已经渗透到了各个领域,包括写作。AI在线写作软件的出现,为我们提供了更加高效、准确的写作工具。在本文中,我将向大家推荐5款功能强大的AI在线写作软件,这些软件可以帮助我们提高写作效…

一文掌握SpringBoot注解之@Configuration知识文集(3)

🏆作者简介,普修罗双战士,一直追求不断学习和成长,在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验,历任核心研发工程师,项目技术负责人。 🎉欢迎 👍点赞✍评论…

QEMU源码全解析 —— 内存虚拟化(2)

接前一篇文章: 本文内容参考: 《趣谈Linux操作系统》 —— 刘超,极客时间 《QEMU/KVM》源码解析与应用 —— 李强,机械工业出版社 QEMU内存管理模型 特此致谢! QEMU内存初始化 1. 基本结构 在开始介绍内存初始化…

对象克隆Objects

对象克隆 把A对象的属性值完全拷贝给B对象,也叫对象拷贝,对象复制。 package MyApi.a04objectdemo;public class ObjectDemo03 {public static void main(String[] args) throws CloneNotSupportedException {//1.先创建一个对象int []data{1,2,3,4,5,…

深度学习(12)--Mnist分类任务

一.Mnist分类任务流程详解 1.1.引入数据集 Mnist数据集是官方的数据集,比较特殊,可以直接通过%matplotlib inline自动下载,博主此处已经完成下载,从本地文件中引入数据集。 设置数据路径 from pathlib import Path# 设置数据路…

C# Onnx GroundingDINO 开放世界目标检测

目录 介绍 效果 模型信息 项目 代码 下载 介绍 地址:https://github.com/IDEA-Research/GroundingDINO Official implementation of the paper "Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection" 效果 …

RT-Thread 28. Nano实现MSH及CPU利用率显示

Nano版源码官网下载 https://github.com/RT-Thread/rtthread-nano/archive/refs/heads/master.zip 1. 代码结构 2.代码 //main.c #include "gd32f3x0.h" #include <rthw.h> #include <rtthread.h> #include "cpuusage.h"#define delay_ms(x…

树型结构构建,模糊查询,过滤

一、前言 1、最近在做甘特图&#xff0c;有些需求和树型结构要求很大&#xff0c;看的是 pingCode&#xff0c;有搜索 2、还有抽取一部分树型结构的&#xff0c;如下是抽取上面的结构类型为需求的&#xff0c;重新组成树型 二、构建多颗树型结构 1、某些业务下&#xff0c;从…