Elasticsearch搜索引擎系统入门

目录

【认识Elasticsearch】

Elasticsearch主要应用场景

Elasticsearch的版本与升级

【Elastic Stack全家桶】

Logstash

Kibana

Beats

Elasticsearch在日志场景的应用

Elasticsearch与数据库的集成

【安装Elasticsearch】

安装插件 

安装Kibana

安装Logstash

【认识Elasticsearch】

Elasticsearch是一个分布式搜索引擎系统，可以实现大数据近实时分析。官网：https://www.elastic.co/cn/

Elasticsearch起源于Lucene，Lucene是基于Java语言开发的搜索引擎库类，创建于1999 年，2005年成为Apache顶级开源项目。Lucene 具有高性能、 易扩展的优点，但也有一些局限性：只能基于 Java语言开发，原生并不支持水平扩展。

2004 年Shay Banon基于Lucene 开发了Compass，2010年Shay Banon重写了Compass， 取名Elasticsearch。相比于原生的Lucene，Elasticsearch支持分布式，可水平扩展，降低全文检索的学习曲线，可以被任何编程语言调用。

Elasticsearch支持多种方式集成接入，官网提供了多种编程语言的类库，包括 Java、JavaScript、Ruby、Go、.NET、PHP、Perl、Python、Eland、Rust 等，可以查看：https://www.elastic.co/guide/en/elasticsearch/client/index.html

Elasticsearch主要应用场景

  • 海量数据的分户式存储以及集群管理，服务与数据的高可用，水平扩展
  • 近实时搜索，性能卓越，结构化/全文/地理位置/自动完成
  • 海量数据的近实时分析，聚合功能 

Elasticsearch的版本与升级

0.4版本: 2010年2月第一次发布
1.0版本: 2014年1月发布
2.0版本: 2015年10月发布
5.0版本: 2016年10月发布

新特性5.x：
● Lucene 6.x， 性能提升，默认打分机制从TF-IDF改为BM 25
● 支持Ingest节点/ Painless Scripting / Completion suggested支持/原生的Java REST客户端
● Type标记成deprecated, 支持了Keyword的类型
● 性能优化：内部引擎移除 了避免同一文档并发更新的竞争锁，带来15% - 20%的性能提升；Instant aggregation,支持分片上聚合的缓存；新增了Profile API。

6.0版本: 2017年10月发布

新特性6.x
● Lucene 7.x

● 新功能：跨集群复制(CCR)；索引生命周期管理；SQL的支持
● 更友好的的升级及数据迁移：在主要版本之间的迁移更为简化；全新的基于操作的数据复制框架，可加快恢复数据；
● 性能优化：有效存储稀疏字段的新方法，降低了存储成本；在索引时进行排序，可加快排序的查询性能

7.0版本: 2019年4月发布

新特性7.x
● Lucene 8.0
● 重大改进-正式废除单个索引下多Type的支持
● 7.1 开始，Security 功能免费使用
● ECK - Elasticseach Operator on Kubernetes
● 新功能：New Cluster coordination；Feature-Complete High Level REST Client；Script Score Query
● 性能优化：默认的 Primary Shard数从5改为1，避免Over Sharding；性能优化，更快的Top K

更多信息，查看：https://www.elastic.co/cn/support/eol

【Elastic Stack全家桶】

Elasticsearch公司的核心产品包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack），如下图所示：

Logstash

Logstash诞生于2009年，最初用来做日志的采集与处理，于2013年被Elasticsearch公司收购。现在已经成为了一个开源的服务器端数据处理管道，支持从不同来源采集数据和转换数据，并将数据发送到不同的存储库中。https://www.elastic.co/cn/logstash

Logstash有如下特性：

  • 实时解析和转换数据：从IP地址破译出地理坐标；将PII数据匿名化，完全排除敏感字段
  • 可扩展：支持200多个插件(日志/数据库/Arcsigh/Netflow)
  • 可靠性安全性：Logstash会通过持久化队列来保证至少将运行中的事件送达一次；数据传输加密
  • 数据监控

 

Kibana

Kibana是一个数据可视化工具， 能够方便的查看和分析数据。https://www.elastic.co/cn/kibana

Kibana 名字的含义：Kiwifruit + Banana，是一个基于 Logstash的工具，2013 年加入Elastic公司。

Beats

Beats是一个轻量型数据采集器，免费且开放的平台，集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。https://www.elastic.co/cn/beats

Elasticsearch在日志场景的应用

一个项目的日志部分的重要性不言而喻，通过日志可以排查到各类问题，如果日志分散在不同的机器上，那么就可以使用Elasticsearch来收集各个机器的日志，然后合并处理，方便查询。 主要实现如下功能：日志收集、格式化分析、全文检索、风险告警。

Elasticsearch与数据库的集成

虽然可以直接使用Elasticsearch作为数据库存储数据，但是很多时候会需要和传统的数据库(比如MySQL、Oracle、MongoDB等)结合使用，可以通过消息队列(比如RabbitMQ、Kafka等)将数据库的数据同步到Elasticsearch中再进行分析处理。

【安装Elasticsearch】

前往官网 https://www.elastic.co/cn/downloads/elasticsearch 下载适合自己操作系统的安装包，然后解压。

目录结构：

目录配置文件描述
bin可执行的脚本文件，包括启动elasticsearch，安装插件。运行统计数据等
configelasticsearch.yml集群配置文件，user， role based相关配置
jdkJava运行坏境
datapath.data数据文件，保存 ES 运行过程中需要保存的数据。
libJava类库
logspath.log日志文件
modules包含所有ES功能模块的存放目录，如aggs、reindex、geoip、xpack、eval
plugins包含所有已安装插件 

启动：./bin/elasticsearch（直接启动） 或 ./bin/elasticsearch -d（后台启动）

浏览器输入：http://localhost:9200/

使用下面的命令启动集群： 

#启动单节点
bin/elasticsearch -E node.name=node0 -E cluster.name=geektime -E path.data=node0_data -d

#启动集群（启动几个实例，就运行几次）
bin/elasticsearch -E node.name=node0 -E cluster.name=geektime -E path.data=node0_data -d
bin/elasticsearch -E node.name=node1 -E cluster.name=geektime -E path.data=node1_data -d
bin/elasticsearch -E node.name=node2 -E cluster.name=geektime -E path.data=node2_data -d
bin/elasticsearch -E node.name=node3 -E cluster.name=geektime -E path.data=node3_data -d

#查看集群
GET http://localhost:9200
#查看nodes
GET _cat/nodes
GET _cluster/health

#退出
ps -ef | grep elasticsearch，然后kill 对应的pid

安装插件 

#查看已安装的插件
./bin/elasticsearch-plugin list

#安装国际化分析插件 analysis-icu
./bin/elasticsearch-plugin install analysis-icu

#重新启动
./bin/elasticsearch

在浏览器打开：http://localhost:9200/_cat/plugins?v

 

进入 https://www.elastic.co/guide/en/elasticsearch/plugins/7.10/intro.html 可以查看指定版本的插件列表 

安装Kibana

进入 https://www.elastic.co/cn/downloads/kibana 下载对应版本的Kibana安装包（需要个ES版本一致），然后解压，执行 ./bin/kibana（需要先启动Elasticsearch）

访问 http://localhost:5601/app/kibana 打开Kibana控制台：

可以添加一些测试数据，点上面的“Add sample data”，然后选择“Sample data”：

然后从Dashboard中可以看到刚才添加的数据：

安装Kibana的插件和ES类似：

#查看已安装的Kibana插件
./bin/kibana-plugin list

#安装Kibana插件
./bin/kibana-plugin install plugin_location

#移除Kibana插件
./bin/kibana-plugin remove

安装Logstash

进入 https://www.elastic.co/cn/downloads/past-releases#logstash 下载和ES相同版本的Logstash安装包，这里我下载7.1版本的。 

下载MovieLens最小测试数据集：https://grouplens.org/datasets/movielens/ ，解压Logstash安装包，并且导入Movielens的测试数据集。

也可以从这里下载：https://gitee.com/rxbook/elasticsearch-demo/tree/master

#下载与ES相同版本号的logstash，（7.1.0），并解压到相应目录
#修改movielens目录下的logstash.conf文件
#path修改为,你实际的movies.csv路径
input {
  file {
    path => "YOUR_FULL_PATH_OF_movies.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}

#启动Elasticsearch实例，然后启动 logstash，并指定配置文件导入数据(操作比较耗时，耐心等待)
sudo bin/logstash -f /YOUR_PATH_of_logstash.conf

数据导入中...

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/57225.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

@Transactional详解（作用、失效场景与解决方法）

@Transactional详解（作用、失效场景与解决方法）

一、了解Transactional注解，先要知道事务是什么，但既然知道了这个注解，不知道事务是什么，那就重新再去学习一遍数据库吧，这里讲解开发中代码实现事务的方式 1、编程式事务（开发用的很少了） 基于…
阅读更多...
【Linux】网络基础——宏观认识计算机网络

【Linux】网络基础——宏观认识计算机网络

1 计算机网络背景 网络发展 独立模式: 计算机之间相互独立; 一开始，计算机发明出来之后，一台计算机处理完的数据，数据会保存在软盘（物理），通过人之间的相互通信，把计算机A处理完的数据存储到软…
阅读更多...
与传统的学生宿舍供电系统相比预付费安全用电管理系统优势-安科瑞黄安南

与传统的学生宿舍供电系统相比预付费安全用电管理系统优势-安科瑞黄安南

摘 要：为消除高校学生因违章使用大功率电器，导致宿舍用电线路过载，从而引发火灾的隐患，文章将安全用电与用电管理统一考虑，设计并实施了安全用电智能控制与管理系统。对该系统的工作原理和功能进行了详细介绍&#xff…
阅读更多...
python中数据可视化

python中数据可视化

1.掷一个D6和一个D10 50000次的结果 die.py from random import randintclass Die:def __init__(self, num_sides6):self.num_sides num_sidesdef roll(self):return randint(1, self.num_sides) die_visual.py from die import Die from plotly.graph_objs import Bar, L…
阅读更多...
PoseiSwap：基于 Nautilus Chain ，构建全新价值体系

PoseiSwap：基于 Nautilus Chain ，构建全新价值体系

在 DeFi Summer 后，以太坊自身的弊端不断凸显，而以 Layer2 的方式为其扩容成为了行业很长一段时间的叙事方向之一。虽然以太坊已经顺利的从 PoW 的 1.0 迈向了 PoS 的 2.0 时代，但以太坊创始人 Vitalik Buterin 表示， Layer2 未来…
阅读更多...
Kafka-消费者组消费流程

Kafka-消费者组消费流程

消费者向kafka集群发送消费请求，消费者客户端默认每次从kafka集群拉取50M数据，放到缓冲队列中，消费者从缓冲队列中每次拉取500条数据进行消费。
阅读更多...
opencv36-形态学操作-膨胀 cv2.dilate()

opencv36-形态学操作-膨胀 cv2.dilate()

膨胀操作是形态学中另外一种基本的操作。膨胀操作和腐蚀操作的作用是相反的，膨胀操作能对图像的边界进行扩张。膨胀操作将与当前对象（前景）接触到的背景点合并到当前对象内，从而实现将图像的边界点向外扩张。如果图像内两个对象的…
阅读更多...
C 语言高级1-内存分区，多级指针，位运算

C 语言高级1-内存分区，多级指针，位运算

目录 1. 内存分区 1.1 数据类型 1.1.1 数据类型概念 1.1.2 数据类型别名 1.1.3 void数据类型 1.1.4 sizeof操作符 1.1.5 数据类型总结 1.2 变量 1.1.1 变量的概念 3.1.2 变量名的本质 1.3 程序的内存分区模型 1.3.1 内存分区 1.3.1.1 运行之前 1.3.1.2运行之后 1…
阅读更多...
目标检测与跟踪 （2）- YOLO V8配置与测试

目标检测与跟踪 （2）- YOLO V8配置与测试

系列文章目录 第一章 目标检测与跟踪 （1）- 机器人视觉与YOLO V8 目标检测与跟踪 （1）- 机器人视觉与YOLO V8_Techblog of HaoWANG的博客-CSDN博客3D物体实时检测、三维目标识别、6D位姿估计一直是机器人视觉领域的核心研究课题&a…
阅读更多...
苹果Vision Pro正式发布，下一个iPhone诞生了？

苹果Vision Pro正式发布，下一个iPhone诞生了？

在库克即将退休之际，苹果开启了下一个十年。 2023年6月6日，在苹果WWDC开发者大会上，苹果发布了15寸的MacBook Air，以及一众iOS 17、iPad OS 17、Mac OS等系统的更新。当我们觉得这些常规更新有点不痛不痒，甚至想大呼“…
阅读更多...
【uniapp 样式】使用setStorageSync存储历史搜索记录

【uniapp 样式】使用setStorageSync存储历史搜索记录

<template><view><view class"zhuangbox u-flex"><u--inputplaceholder"请输入关键字搜索"border"surround"shapecircleprefixIcon"search"prefixIconStyle"font-size: 22px;color: #909399"v-model&q…
阅读更多...
后端整理（MySql）

后端整理（MySql）

1 事务 1.1 事务ACID原则 原子性&#xff08;Atomicity&#xff09; 事务的原子性指的是事务的操作&#xff0c;要么全部成功&#xff0c;要么全部失败回滚 一致性&#xff08;Consistency&#xff09; 事务的一致性是指事务必须使数据库从一个一致状态转变成另一个一致性…
阅读更多...
宇凡微2.4g遥控船开发方案，采用合封芯片

宇凡微2.4g遥控船开发方案，采用合封芯片

2.4GHz遥控船的开发方案是一个有趣且具有挑战性的项目。这样的遥控船可以通过无线2.4GHz频率进行远程控制&#xff0c;让用户在池塘或湖泊上畅游。以下是一个简要的2.4GHz遥控船开发方案&#xff1a; 基本构想如下 mcu驱动两个小电机&#xff0c;小电机上安装两个螺旋桨&#…
阅读更多...
Eureka 学习笔记5：InstanceRegistry

Eureka 学习笔记5：InstanceRegistry

版本 awsVersion ‘1.11.277’ LeaseManager 接口管理实例的租约信息&#xff0c;提供以下功能&#xff1a; 注册实例取消注册实例实例续约剔除过期实例 public interface LeaseManager<T> {/** 注册实例并续约*/void register(T r, int leaseDuration, boolean isRep…
阅读更多...
【排序算法】python之冒泡，选择，插入，快速，归并

【排序算法】python之冒泡，选择，插入，快速，归并

参考资料&#xff1a; 《Python实现5大排序算法》《六大排序算法&#xff1a;插入排序、希尔排序、选择排序、冒泡排序、堆排序、快速排序》 --代码似乎是C语言 ———————— 本文介绍5种常见的排序算法和基于Python实现&#xff1a; 冒泡排序&#xff08;Bubble Sort&am…
阅读更多...
Python web实战之 Django 的 ORM 框架详解

Python web实战之 Django 的 ORM 框架详解

本文关键词&#xff1a;Python、Django、ORM。 概要 在 Python Web 开发中&#xff0c;ORM&#xff08;Object-Relational Mapping&#xff0c;对象关系映射&#xff09;是一个非常重要的概念。ORM 框架可以让我们不用编写 SQL 语句&#xff0c;就能够使用对象的方式来操作数据…
阅读更多...
vue3+uniapp自定义tabbar

vue3+uniapp自定义tabbar

首先把tabbar中的元素写在一个list中用v-for进行渲染 用一个interface进行定义接口&#xff0c;这样别人在review你的代码就可以清晰知道你的tabbar包含什么元素。 利用typescript特性进行类型定义&#xff0c;可以省去很多麻烦 import { reactive } from "vue" imp…
阅读更多...
Android kotlin系列讲解之最佳的UI体验 - Material Design 实战

Android kotlin系列讲解之最佳的UI体验 - Material Design 实战

目录 一、什么是Material Design二、Toolbar三、滑动菜单1、DrawerLayout2、NavigationView 四、悬浮按钮和可交互提示1、FloatingActionButton2、Snackbar3、CoordinatorLayout 五、卡片式布局1、MaterialCardView2、AppBarLayout 六、可折叠式标题栏1、CollapsingToolbarLayo…
阅读更多...
无脑入门pytorch系列（一）—— nn.embedding

无脑入门pytorch系列（一）—— nn.embedding

本系列教程适用于没有任何pytorch的同学&#xff08;简单的python语法还是要的&#xff09;&#xff0c;从代码的表层出发挖掘代码的深层含义&#xff0c;理解具体的意思和内涵。pytorch的很多函数看着非常简单&#xff0c;但是其中包含了很多内容&#xff0c;不了解其中的意思…
阅读更多...
线扫激光算法原理

线扫激光算法原理

一：线扫激光算法原理 激光器发出的激光束经准直聚焦后垂直入射到物体表面上，表面的散射光由接收透镜成像于探测器的阵列上。光敏面于接收透镜的光轴垂直。如图： 当被测物体表面移动x，反应到光敏面上像点位移为x’。a为接收透镜到物体的距离（物距），b为接收后主面到成像…
阅读更多...
最新文章

Copyright @ 2022~2023