ELK介绍以及搭建

基础环境

hostnamectl set-hostname els01
hostnamectl set-hostname els02
hostnamectl set-hostname els03
hostnamectl set-hostname kba

sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
systemctl stop firewalld & systemctl disable firewalld

# 安装jdk
cd  /usr/local
tar -xvf jdk1.8.0_231.tar.gz

vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

elasticsearch

安装

# 创建用户与组
groupadd -g 500 els

mkdir -p /opt/app/els
useradd -d /opt/app/els -u 2000 -g els els

echo "els#123" | passwd --stdin els

cp -r etc/skel/.bash* /opt/app/els

cd /opt/app
chown -R els:els /opt/app/els
chmod -R 755 /opt/app/els

su - els
tar -xvf elasticsearch-7.6.2-linux-x86_64.tar.gz -C /opt/app/els
chown -R els:els /opt/app/els

更改用户可创建的线程数

vi /etc/security/limits.d/20-nproc.conf

els soft nproc 4096

在这里插入图片描述否则报错：max number of threads [1024] for user [elsearch] likely too low, increase to at least [4096]

更改打开文件数与线程数

vi /etc/security/limits.conf

els        soft    	nofile          65536
els        hard    	nofile          131072
els        soft    	nproc          4096
els        hard    	nproc          4096

在这里插入图片描述
否则报错：node validation exception bootstrap checks failed

更改系统控制文件

Elasticsearch 默认使用 mmapfs 目录存储索引，而 Linux 默认对 mmap 计数限制可能太低，会导致内存异常。系统控制文件是管理系统中的各种资源控制的配置文件，ES 需要开辟一个 65536 字节以上空间的虚拟内存，但 Linux 又不允许任何用户直接开辟虚拟内存，所以通过如下方式修改：

vi /etc/sysctl.conf

vm.max_map_count=655360

sysctl -p

在这里插入图片描述
否则报错：max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

环境变量

vi  /opt/app/els/.bash_profile

export JAVA_HOME=/usr/local/jdk1.8.0_231
export ES_HOME=$HOME/elasticsearch-7.6.2
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$ES_HOME/lib
export PATH=$HOME/bin:$JAVA_HOME/bin:$ES_HOME/bin:$PATH


vi  /opt/app/elsearch/.bashrc

ES_HOME=/opt/app/elsearch/elasticsearch-7.6.2
PATH=$PATH:$ES_HOME/bin

source  ~/.bash_profile & source  ~/.bashrc

su - els
mkdir -p /opt/app/elsearch/data /opt/app/elsearch/logs

vi elasticsearch-7.6.2/config/elasticsearch.yml

#集群名称
cluster.name: DR-ELK
#默认情况下，Elasticsearch 将使用随机生成的 UUID 的前七个字符作为节点 ID，该节点名称一经生成后，即使重启服务亦不会变更
node.name: els01

path.data: /opt/app/elsearch/data
path.logs: /opt/app/elsearch/logs

#默认情况下，此 elasticsearch 服务绑定到回环地址127.0.0.1。修改为节点ip在浏览器中访问不成功
network.host: 0.0.0.0

#集群中拥有被选举成 Master 节点资格的地址列表
discovery.seed_hosts: ["ip1:9400","ip2:9400","ip3:9400"]

#在一个新集群初始化时，符合 Master 节点资格的节点集
cluster.initial_master_nodes: ["ip1:9400","ip2:9400","ip3:9400"]

#为最多主节点个数
discovery.zen.minimum_master_nodes: 1
#为超时后生效节点数
gateway.recover_after_nodes: 1
#没有这两项配置7.6.2版本的kibana将无法调用ES

# 文本最后追加
http.cors.enabled: true
http.cors.allow-origin: "*"

注释掉判断是否存在 JAVA_HOME变量的流程分支，直接使用操作系统的JDK

cd /opt/app/elsearch/elasticsearch-7.6.2/bin/
cp elasticsearch-env elasticsearch-env.bak

vi /opt/app/elsearch/elasticsearch-7.6.2/bin/elasticsearch-env

在这里插入图片描述

su - els
cd /opt/app/elsearch/elasticsearch-7.6.2/bin
#以守护进程模式运行
./elasticsearch -d
#停止
ps -ef | grep Elasticsearch | grep -v grep | awk '{print $2}' | xargs kill -SIGTERM
#查看状态
cat /opt/app/elsearch/logs/集群名称.log
curl -X GET http://ip:9200

在这里插入图片描述

kibana

安装

groupadd -g 500 kbn
mkdir -p /opt/app/kbn
useradd -d /opt/app/kibana -u 2000 -g kba kba

/bin/echo "kba#123" | passwd --stdin kba

cp -r /etc/skel/.bash* /opt/app/kba

chown -R kbn:kbn /opt/app/kba
chmod -R 755 /opt/app/kba

su - kba
tar -xvf kibana-7.6.2-linux-x86_64.tar.gz -C /opt/app/kba
chown -R kba:kba /opt/app/kibana

环境变量

vi  /opt/app/kba/.bashrc
# 注意jdk相关变量
export KIBANA_HOME=/opt/app/kibana/kibana-7.6.2-linux-x86_64
export PATH=$PATH:$KIBANA_HOME/bin

source  ~/.bashrc

在这里插入图片描述
在这里插入图片描述

su - kba
vi kibana-7.6.2-linux-x86_64/config/kibana.yml
# 端口
server.port: 5601
# 服务主机名
server.host: "0.0.0.0"
# 指定ES服务,可以指定多个
elasticsearch.hosts: ["http://ip1:9200","http://ip2:9200","http://ip3:9200"]
# 进程文件
pid.file: /opt/app/kibana/kibana.pid
# 日志路径
logging.dest: /opt/app/kibana/logs/kibana.log
# 汉化
i18n.locale: "zh-CN"

mkdir -p /opt/app/kibana/logs/

su - kba
cd  /opt/app/kibana/kibana-7.6.2-linux-x86_64/bin
#后台运行
./kibana &
#停止
ps -ef | grep kibana | grep -v grep | awk '{print $2}' | xargs kill -SIGTERM
#查看
cat /opt/app/kibana/logs/kibana.logs
#浏览器访问http://ip:5601/

在这里插入图片描述

es核心概念

节点分类

节点是一个独立的服务器实例或进程，用于存储数据并参与集群的索引和搜索功能。每个节点都有自己的名称、角色和职责。

master node：负责管理集群的整体状态和执行一些关键的集群级别的操作。主节点负责将分片存储到数据节点、维护集群的状态信息、决定哪些节点是集群的一部分等。本身不负责存储实际的数据。

data node：数据节点负责存储实际的数据。管理索引的分片，并处理与数据相关的操作，如搜索、索引和删除。数据节点存储索引的一部分，并通过将数据分布在多个节点上来实现水平扩展。

coordinating node：协调节点是可选的节点类型，主要用于处理搜索请求的协调工作。不存储实际的数据，而是负责接收来自客户端的搜索请求，并将这些请求转发给数据节点。协调节点有助于分散搜索请求的负载，特别是在大规模集群中。

ingest node：预处理节点，负责数据的预处理，如数据的转换和附加处理。这允许在将数据索引到es之前对数据进行修改或过滤。该节点通常用于日志处理和数据管道中。

machine learning node：用于执行与机器学习相关的任务，如异常检测或趋势分析。

remote-eligible node：远程合格节点，拥有远程集群客户端角色，可以充当远程客户端。默认情况下，集群内任意节点都可以作为跨集群的客户端连接到远程集群。

transform节点：用于执行数据转换操作，例如从一个索引中提取数据并将其转换为另一个索引，以便在数据仓库和分析方面进行使用。

index

索引是一个逻辑存储，类似关系型数据库中的表，用来存储管理相关数据，数据以JSON格式存储在索引的基本单元-文档Document。

shard

一条索引的数据往往会被分为多个分片进行存储，每个分片是一个独立的存储单元，底层为一个Lucene索引，可以在集群中的不同节点上分布，以提供高可用性和负载均衡。

分片的目的

允许索引水平分割和分布存储，实现数据和负载的分布。

分片的数量

在索引创建后不能被更改。通常，每个主分片的大小应该适中，以便在集群中的各个节点上均匀分布负载，也有利于数据的快速查询。

主分片

每个索引都可以被分为一个或多个主分片。主分片存储索引的一部分数据，并负责处理搜索和查询操作。主分片的数量设置在索引创建时便被定义，无法进行动态修改。

Replica

副本是指索引的一个复制，每个索引可以被配置为具有零个或多个副本。副本可以提高集群的可用性和容错性，以及提高搜索性能。

每个索引被划分为一个或多个主分片。主分片负责存储索引的一部分数据，以及处理搜索和写入请求。为了提高可用性和容错性，每个主分片可以有零个或多个副本。

每个索引的副本数量是可以配置的。在创建索引时，可以指定副本的数量。副本数量的选择取决于对可用性和性能的需求。

maping

映射是索引中文档的规范，定义了结构和字段属性，描述了文档中的每个字段的数据类型、分词器、是否索引等信息。类似于关系型数据库中的Schema。

示例

在这里插入图片描述

index的名称为example_index

title是一个文本字段，使用标准分词器
author是一个关键字字段，通常用于精确匹配
publish_date是一个日期字段，用于存储日期信息
views是一个整数字段，用于存储整数值
tags是一个关键字字段，用于存储标签信息

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/406057.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

LVS-NAT之VMNET环境搭建

LVS-NAT之VMNET环境搭建

目录 搭建拓扑图 搭建规划 VMNET0 搭建 VMNET2 搭建 LVS端增加网卡 搭建拓扑图: 搭建规划: CLIENT(servera): VMNET0 LVS(serverb): VMNET0 VMNET2 WEB1(serverd): VMNET2 WEB2(servere): VMNET2 VMNE…
阅读更多...
R的seurat和python的scanpy对比学习

R的seurat和python的scanpy对比学习

现在的单细胞分析，往往避免不了scanpy的使用，我们可以通过对比seurat来学习scanpy 今天的格式怎么都改不了。。。手机阅读有点费劲，，推荐电脑阅读。 单细胞数据分析概览 单细胞分析，总流程 python教程 seurat教程 se…
阅读更多...
算法题目中图和树的存储

算法题目中图和树的存储

邻接表的方式存储图和树 这就是邻接表，就是将每个结点的孩子结点用链表表示出来，再将所有结点以数组形式连起来。 存储树和图我们需要三个数组，h[N], e[N], ne[N],分别表示邻接表，结点值，结点的next值，h[i…
阅读更多...
C/C++内存管理学习【new】

C/C++内存管理学习【new】

文章目录 一、C/C内存分布二、C语言中动态内存管理方式：malloc/calloc/realloc/free三、C内存管理方式3.1 new/delete操作内置类型3.2 new和delete操作自定义类型四、operator new与operator delete函数五、new和delete的实现原理5.1 内置类型 六、定位new表达式(pl…
阅读更多...
Codeforces Round 494 (Div. 3)

Codeforces Round 494 (Div. 3)

目录 A. Polycarps Pockets B. Binary String Constructing C. Intense Heat D. Coins and Queries E. Tree Constructing F. Abbreviation A. Polycarps Pockets 记录数量可以直接开一个桶即可然后求最大值 void solve(){cin>>n;vector<int> ton(105);int …
阅读更多...
Go 中如何高效遍历目录？探索几种方法

Go 中如何高效遍历目录？探索几种方法

嗨&#xff0c;大家好&#xff01;我是波罗学。本文是系列文章 Go 技巧第十八篇&#xff0c;系列文章查看&#xff1a;Go 语言技巧。 目录遍历是一个很常见的操作&#xff0c;它的使用场景有如文件目录查看&#xff08;最典型的应用如 ls 命令&#xff09;、文件系统清理、日志…
阅读更多...
FastJson反序列化漏洞（Fastjson1.2.47）

FastJson反序列化漏洞（Fastjson1.2.47）

一、FastJson Fastjson 是一个阿里巴巴公司开源的 Java 语言编写的高性能功能完善的 JSON 库。可以将Java 对象转换为 JSON 格式(序列化)&#xff0c;当然它也可以将 JSON 字符串转换为 Java 对象&#xff08;反序列化&#xff09; 它采用一种“假定有序快速匹配”的算法&…
阅读更多...
Sora-OpenAI 的 Text-to-Video 模型：制作逼真的 60s 视频片段

Sora-OpenAI 的 Text-to-Video 模型：制作逼真的 60s 视频片段

OpenAI 推出的人工智能功能曾经只存在于科幻小说中。 2022年&#xff0c;Openai 发布了 ChatGPT&#xff0c;展示了先进的语言模型如何实现自然对话。 随后&#xff0c;DALL-E 问世&#xff0c;它利用文字提示生成令人惊叹的合成图像。 现在&#xff0c;他们又推出了 Text-t…
阅读更多...
Facebook的数字社交使命：连接世界的下一步

Facebook的数字社交使命：连接世界的下一步

在数字化时代&#xff0c;社交媒体已成为人们生活的重要组成部分&#xff0c;而Facebook作为其中最具影响力的平台之一&#xff0c;一直以来都在努力履行着自己的使命——连接世界。然而&#xff0c;随着时代的变迁和技术的发展&#xff0c;Facebook正在不断探索着连接世界的下…
阅读更多...
嵌入式按键处理驱动（easy_button）

嵌入式按键处理驱动（easy_button）

简介 在嵌入式裸机开发中&#xff0c;经常有按键的管理需求&#xff0c;GitHub上已经有蛮多成熟的按键驱动了&#xff0c;但是由于这样那样的问题&#xff0c;最终还是自己实现了一套。本项目地址&#xff1a;bobwenstudy/easy_button (github.com)。 项目开发过程中参考了如…
阅读更多...
【数据分享】中国首套1公里高分辨率大气湿度指数数据集（6个指标\免费获取）

【数据分享】中国首套1公里高分辨率大气湿度指数数据集（6个指标\免费获取）

湿度数据是气象学和许多其他领域中至关重要的数据&#xff0c;可用于气象预测与气候研究。之前我们分享过Excel格式和GIS矢量格式&#xff08;均可查看之前的文章获悉详情&#xff09;的2000-2020年全国各城市逐日、逐月和逐年的湿度数据。 本次我们给大家带来的是中国首套1公…
阅读更多...
ElasticSearch 环境安装

ElasticSearch 环境安装

ElasticSearch 安装 下载地址&#xff1a;https://www.elastic.co/downloads/past-releases#elasticsearch elasticsearch 使用的jdk说明&#xff1a; elasticsearch自带有jdk&#xff0c;如果需要使用自带的jdk则需要自定义环境变量ES_JAVA_HOME到es下的jdk目录 D:\fenbushi\e…
阅读更多...
Linux之用户跟用户组

Linux之用户跟用户组

目录 一、简介 1.1、用户 1.2用户组 1.3UID和GID 1.4用户账户分类 二、用户 2.1、创建用户&#xff1a;useradd 2.2、删除用户&#xff1a;userdel 2.3 、修改用户 usermod 2.4、用户口令的管理:passwd 2.5、切换用户 三、用户组 3.1、增加一个用户组:groupadd 3.…
阅读更多...
洛谷 【算法1-6】二分查找与二分答案

洛谷 【算法1-6】二分查找与二分答案

【算法1-6】二分查找与二分答案 - 题单 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 鄙人不才&#xff0c;刷洛谷&#xff0c;迎蓝桥&#xff0c;【算法1-6】二分查找与二分答案 已刷&#xff0c;现将 AC 代码献上&#xff0c;望有助于各位 P2249 【深基13.例1】查找 - 洛谷…
阅读更多...
开发分销商城小程序助力您的业务快速增长

开发分销商城小程序助力您的业务快速增长

一、什么是分销商城小程序&#xff1f; 分销商城小程序是一种基于微信平台开发的小程序&#xff0c;可以帮助商家快速建立自己的分销体系&#xff0c;实现商品的快速销售。 二、分销商城小程序的优势&#xff1a; 低成本&#xff1a;开发成本低&#xff0c;无需投入大量资金…
阅读更多...
架构设计：数据库扩展

架构设计：数据库扩展

引言 随着业务的发展和用户规模的增长&#xff0c;数据库往往会面临着存储容量不足、性能瓶颈等问题。为了解决这些问题&#xff0c;数据库扩展成为了一种常见的解决方案。在数据库扩展的实践中&#xff0c;有许多不同的策略和技术可供选择&#xff0c;其中包括水平拆分、垂直…
阅读更多...
【干货】12个开源免费的程序员简历模板

【干货】12个开源免费的程序员简历模板

前言 昨天有小伙伴在技术群里问有没有开源的程序员简历模板&#xff0c;其实很早之前在DotNetGuide中已经有整理过&#xff0c;只是一直没有写文章推广过&#xff0c;由此有了今天这篇文章&#xff0c;假如大家有更好的免费简历模板资源欢迎大家在文章评论区留言✌。 公众号回…
阅读更多...
Jenkins使用遇到的一些问题

Jenkins使用遇到的一些问题

一&#xff1a;插件依赖报错 比如遇到一堆插件报错&#xff0c;不是提示版本对不上&#xff0c;就是启用不了 这样直接把Jenkins升级就行了&#xff0c;比如我这个是命令行启动的&#xff0c;直接把他替换就好了 如果是遇到插件依赖报错&#xff0c;比如A插件异常 则点击这个插…
阅读更多...
冒泡排序改进方案

冒泡排序改进方案

冒泡排序 BubbleSort 冒泡排序是一种比较简单的 稳定排序 算法&#xff0c;效率不高&#xff0c;因此实际当中用到的机会并不多。但 作为快速排序算法的基础&#xff0c;还是有必要了解一下。 顾名思义&#xff0c;冒泡就是指大的数字&#xff08;气泡&#xff09;会优先从底部…
阅读更多...
Java毕业设计-基于jsp+servlet的图书管理系统-第66期

Java毕业设计-基于jsp+servlet的图书管理系统-第66期

获取源码资料&#xff0c;请移步从戎源码网&#xff1a;从戎源码网_专业的计算机毕业设计网站 项目介绍 基于jspservlet的图书管理系统&#xff1a;前端jsp、jquery&#xff0c;后端 servlet、jdbc&#xff0c;集成图书管理、图书分类管理、图书借阅、图书归还、公告、读者等…
阅读更多...
最新文章

Copyright @ 2022~2023