基于ansible部署elk集群

ansible部署

    • ELK部署

ELK常见架构

（1）Elasticsearch+Logstash+Kibana：这种架构是最常见的一种，也是最简单的一种架构，这种架构通过Logstash收集日志，运用Elasticsearch分析日志，最后通过Kibana中展示日志信息。

  • Elasticsearch：是一个开源分布式搜索引擎，它提供存储、分析、搜索功能。有分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快速、使用方便等特点。其作用是接收搜集海量结构化日志数据，并提供给Kibana查询分析。
  • Logstash：是一个开源日志搜集、分析、过滤框架，支持多种数据输入输出方式。 它用于收集日志，对日志进行过滤形成结构化数据，并转发到Elasticsearch中。
  • Kibana：是一个开源日志报表系统，对Elasticsearch以及Logstash有良好的Web页面支持。它能对Elasticsearch提供的数据进行分析展示。

（2）Elasticsearch+Logstash+Filebeat+Kibana：在这种架构中增加了一个Filebeat模块。这个模块在上面的内容中没有对它详细介绍，它是一款轻量的日志收集代理，用来部署在客户端中。这个服务较Logstash来说能够节省资源，一般在生产环境中大多采用这种架构，但是这种架构有一个弊端，那就是当Logstash出现故障后，会造成日志的丢失。

（3）Elasticsearch+Logstash+lebeat+Redis（及其他中间件）+Kibana：这种架构等于是上面第二种的完善，通过增加中间件避免数据丢失，当Logstash出现故障后，日志依旧留存在中间件内，当Logstash再次启动，则会读取中间件中积压的日志。在出现“too many open files”报错的时候，大多数情况是由于程序没有正常关闭一些资源引起的，所以出现这种情况时需要检查I/O读写、socket通讯等是否正常关闭等。当然也可以通过修改参数，将系统的文件句柄限制提高，来缓解这一压力。

ELK部署

系统环境：VMware创建的centos7.9虚拟机

节点信息如下：

节点IP
ansible192.168.200.80
node1192.168.200.81
node2192.168.200.82
node3192.168.200.83

环境初始化：

  • 修改当前节点主机名为ansible，并修改ansible节点主机映射，命令如下：
[root@localhost ~]# hostnamectl set-hostname ansible
[root@localhost ~]# bash
[root@ansible ~]# cat /etc/hosts
127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1     localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.200.80 ansible
192.168.200.81 node1
192.168.200.82 node2
192.168.200.83 node3
  • 配置免密访问，虚拟机root用户密码为000000，命令如下：
[root@ansible ~]# ssh-keygen
[root@ansible ~]# ssh-copy-id node1
[root@ansible ~]# ssh-copy-id node2
[root@ansible ~]# ssh-copy-id node3
  • 将ansible节点的域名解析文件复制给安装Elasticsearch集群服务的三个节点，命令如下：
[root@ansible ~]# scp /etc/hosts node1:/etc/
[root@ansible ~]# scp /etc/hosts node2:/etc/
[root@ansible ~]# scp /etc/hosts node3:/etc/
  • 关闭ansible节点的防火墙和Selinux配置（如已关闭，则不需要操作），命令如下：
 [root@ansible ~]# setenforce 0

软件包下载及uum源配置

  • 修将提供的Elasticsearch、Kibana以及Logstash软件包下载至ansible节点/root目录下，并将相应服务的软件包拷贝至不同节点。
[root@ansible ~]# curl -O http://mirrors.douxuedu.com/competition/Ansible.tar.gz
[root@ansible ~]# tar -zxvf Ansible.tar.gz
  • 将Elasticsearch软件包拷贝至三个节点，将Kibana软件包拷贝至node1节点，将Logstash软件包拷贝至node2节点，命令如下：
[root@ansible ~]# scp elasticsearch-6.0.0.rpm node1:/root/
[root@ansible ~]# scp elasticsearch-6.0.0.rpm node2:/root/
[root@ansible ~]# scp elasticsearch-6.0.0.rpm node3:/root/
[root@ansible ~]# scp kibana-6.0.0-x86_64.rpm node1:/root/
[root@ansible ~]# scp kibana-6.0.0-x86_64.rpm node2:/root/
[root@ansible ~]# scp kibana-6.0.0-x86_64.rpm node3:/root/
[root@ansible ~]# scp logstash-6.0.0.rpm node1:/root/
[root@ansible ~]# scp logstash-6.0.0.rpm node2:/root/
[root@ansible ~]# scp logstash-6.0.0.rpm node3:/root/
  • 将软件包ansible.tar.gz上传至ansible节点配置本地yum源，并安装Ansible：
[root@ansible ~]# tar -zxvf ansible.tar.gz -C /opt/
[root@ansible ~]# mv /etc/yum.repos.d/* /media/
[root@ansible ~]# vi /etc/yum.repos.d/local.repo
[ansible]
name=ansible 
baseurl=file:///opt/ansible
gpgcheck=0
enabled=1
[root@ansible ~]# yum -y install ansible
  • 配置Ansible主机映射
[root@ansible ~]# mkdir example
[root@ansible ~]# cd example
[root@ansible example]# vi /etc/ansible/hosts 
[node1]
192.168.200.81
[node2]
192.168.200.82
[node3]
192.168.200.83

使用CentOS-7-x86_64-DVD-2009.iso镜像文件作为仓库源，将镜像挂载至/opt/centos，编写yum源文件，安装vsftpd服务，用于给远程主机安装Java。命令如下：

[root@ansible example]# curl -O http://mirrors.douxuedu.com/competition/CentOS-7-x86_64-DVD-2009.iso
[root@ansible example]# mkdir /opt/centos
[root@ansible example]# mount CentOS-7-x86_64-DVD-2009.iso /opt/centos/
[root@ansible example]# vi /etc/yum.repos.d/local.repo 
[ansible]
name=ansible
baseurl=file:///opt/ansible
gpgcheck=0
enabled=1
[centos]
name=centos
baseurl=file:///opt/centos
gpgcheck=0
enabled=1
[root@ansible example]# yum install -y vsftpd
[root@ansible example]# vi /etc/vsftpd/vsftpd.conf
anon_root=/opt
[root@ansible example]# systemctl restart vsftpd
[root@ansible example]# vi ftp.repo
[centos]
name=centos
baseurl=ftp://192.168.200.80/centos/
gpgcheck=0
enabled=1

安装Elasticsearch获取配置文件

  • 安装Elasticsearch服务并编写node1节点配置文件，命令如下：
[root@ansible example]# rpm -ivh /root/elasticsearch-6.0.0.rpm
[root@ansible example]# cp -rf /etc/elasticsearch/elasticsearch.yml elk1.yml
[root@ansible example]# cat elk1.yml | grep -Ev "^$|^#"
cluster.name: ELK
node.name: node1
node.master: true
node.data: false
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.200.81
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1","node2","node3"]
  • 编写node2节点配置文件，命令如下：
[root@ansible example]# cp elk1.yml elk2.yml
[root@ansible example]# cat elk2.yml | grep -Ev "^$|^#"
cluster.name: ELK
node.name: node2
node.master: false
node.data: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.200.82
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1","node2","node3"]
  • 编写node3节点配置文件，命令如下：
[root@ansible example]# cp elk1.yml elk3.yml
[root@ansible example]# cat elk3.yml | grep -Ev "^$|^#"
cluster.name: ELK
node.name: node3
node.master: false
node.data: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.200.83
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1","node2","node3"]

安装Kibana获取配置文件

  • 安装Kibana服务并编写配置文件，命令如下：
[root@ansible example]# rpm -ivh /root/kibana-6.0.0-x86_64.rpm 
[root@ansible example]# cp -rf /etc/kibana/kibana.yml .
[root@ansible example]# cat kibana.yml |grep -v ^#
server.port: 5601
server.host: "192.168.200.81"
elasticsearch.url: "http://192.168.200.81:9200"

安装Logstash获取配置文件

  • 安装Logstash服务并获取配置文件，命令如下：
[root@ansible example]# rpm -ivh /root/logstash-6.0.0.rpm
[root@ansible example]# cp -rf /etc/logstash/logstash.yml .
[root@ansible example]# vi logstash.yml
http.host: "192.168.200.82"
  • 新建日志输出文件，内容如下：
[root@ansible example]# vi syslog.conf
input {
    file {
        path => "/var/log/messages" 
        type => "systemlog" 
        start_position => "beginning"
        stat_interval => "3"
    }
}
output {
    if [type] == "systemlog" {
        elasticsearch {
            hosts => ["192.168.200.81:9200"]   
            index => "system-log-%{+YYYY.MM.dd}"
        }
    }
}

编写剧本文件

  • 安编写Playbook剧本文件，命令如下：
[root@ansible example]# vi cscc_install.yaml
- hosts: all
  remote_user: root
  tasks:
    - name: rm repo
      shell: rm -rf /etc/yum.repos.d/*
    - name: copy repo
      copy: src=ftp.repo dest=/etc/yum.repos.d/
    - name: install java
      shell: yum -y install java-1.8.0-*
    - name: install elk
      shell: rpm -ivh elasticsearch-6.0.0.rpm
- hosts: node1
  remote_user: root
  tasks:
    - name: copy config
      copy: src=elk1.yml dest=/etc/elasticsearch/elasticsearch.yml
    - name: daemon-reload
      shell: systemctl daemon-reload
    - name: start elk
      shell: systemctl start elasticsearch && systemctl enable elasticsearch
    - name: install kibana
      shell: rpm -ivh kibana-6.0.0-x86_64.rpm
    - name: copy config
      template: src=kibana.yml dest=/etc/kibana/kibana.yml
    - name: start kibana
      shell: systemctl start kibana && systemctl enable kibana
- hosts: node2
  remote_user: root
  tasks:
    - name: copy config
      copy: src=elk2.yml dest=/etc/elasticsearch/elasticsearch.yml
    - name: daemon-reload
      shell: systemctl daemon-reload
    - name: start elk
      shell: systemctl start elasticsearch && systemctl enable elasticsearch
    - name: install logstash
      shell: rpm -ivh logstash-6.0.0.rpm
    - name: copy config
      copy: src=logstash.yml dest=/etc/logstash/logstash.yml
    - name: copy config
      copy: src=syslog.conf dest=/etc/logstash/conf.d/syslog.conf
- hosts: node3
  remote_user: root
  tasks:
    - name: copy config
      copy: src=elk3.yml dest=/etc/elasticsearch/elasticsearch.yml
    - name: daemon-reload
      shell: systemctl daemon-reload
    - name: start elk
      shell: systemctl start elasticsearch && systemctl enable elasticsearch
  • 执行Playbook完成ELK集群的部署，命令如下：
[root@ansible example]# ansible-playbook cscc_install.yaml

浏览器界面访问node1节点5601端口，http://192.168.200.81:5601

3.png

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/965525.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

（苍穹外卖）项目结构

（苍穹外卖）项目结构

苍穹外卖项目结构 后端工程基于 maven 进行项目构建，并且进行分模块开发。 1). 用 IDEA 打开初始工程，了解项目的整体结构： 对工程的每个模块作用说明： 序号名称说明1sky-take-outmaven父工程，统一管理依赖版本&…
阅读更多...
达梦数据库从单主模式转换为主备模式

达梦数据库从单主模式转换为主备模式

目录标题 达梦数据库单主转主备配置笔记前期准备服务器环境数据库安装磁盘空间 流程流程图说明基于脱机备份方式的单实例转主备流程图详细步骤说明 详细步骤1. 检查主库归档模式2. 配置主库配置文件dm.ini 文件dmmal.ini 文件dmarch.ini 文件 3. 备份主库数据库4. 备库配置新建…
阅读更多...
计算机毕业设计hadoop+spark+hive民宿推荐系统 酒店推荐系统 民宿价格预测 酒店价预测 机器学习 深度学习 Python爬虫 HDFS集群

计算机毕业设计hadoop+spark+hive民宿推荐系统 酒店推荐系统 民宿价格预测 酒店价预测 机器学习 深度学习 Python爬虫 HDFS集群

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…
阅读更多...
接口对象封装思想及实现-笔记

接口对象封装思想及实现-笔记

目录 接口对象封装代码分层思想 封装案例封装Tpshop商城登录Tpshop商城登录参数化 接口自动化测试框架 接口对象封装 代码分层思想 分层思想：将普通思想分为两层，分为接口对象层和测试脚本层 接口对象层： 对接口进行封装，封装好之…
阅读更多...
【LeetCode】5. 贪心算法：买卖股票时机

【LeetCode】5. 贪心算法：买卖股票时机

太久没更了，抽空学习下。 看一道简单题。 class Solution:def maxProfit(self, prices: List[int]) -> int:cost -1profit 0for i in prices:if cost -1:cost icontinueprofit_ i - costif profit_ > profit:profit profit_if cost > i:cost iret…
阅读更多...
微信小程序调用企业微信客户服务插件联通企业微信客服

微信小程序调用企业微信客户服务插件联通企业微信客服

需求背景：用户在小程序页面点击按钮添加企业微信的客服 相关技术：基于uniapp开发的微信小程序 插件名称：企业微信客户服务插件「联系我」插件 - 文档 - 企业微信开发者中心 仔细阅读文档「联系我」插件 - 文档 - 企业微信开发者中心 以下是我的实例代码 1.首先先小程序管…
阅读更多...
大数据数仓实战项目（离线数仓+实时数仓）2

大数据数仓实战项目（离线数仓+实时数仓）2

目录 1.课程目标和课程内容介绍 2.数仓维度建模设计 3.数仓为什么要分层 4.数仓分层思想和作用 5.数仓中表的种类和同步策略 6.数仓中表字段介绍以及表关系梳理 订单表itcast_orders 订单明细表 itcast_order_goods 商品信息表 itcast_goods 店铺表 itcast_shops 商…
阅读更多...
【Android】jni开发之导入opencv和libyuv来进行图像处理

【Android】jni开发之导入opencv和libyuv来进行图像处理

做视频图像处理时需要对其进行水印的添加，放在应用层调用工具性能方面不太满意，于是当下采用opencvlibyuv方法进行处理。 对于Android的jni开发不是很懂，我的需求是导入opencv方便在cpp中调用，但目前找到的教程都是把opencv作为模…
阅读更多...
理解 C 与 C++ 中的 const 常量与数组大小的关系

理解 C 与 C++ 中的 const 常量与数组大小的关系

博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C语言 文章目录 💯前言💯数组大小的常量要求💯C 语言中的数组大小要求💯C 中的数组大小要求💯为什么 C 中 const 变量可以作为数组大小💯进一步的…
阅读更多...
小菜鸟系统学习Python第六天

小菜鸟系统学习Python第六天

1.函数: 2.全局变量加global(这里博主记混了,global使用的时候不能赋值,然后就错了两回) 3.内嵌函数 4.闭包 存在嵌套函数：在一个函数内部定义另一个函数。内部函数引用外部函数的变量：内部函数使用了外部函数作用域中的变量。外部函数返回内部函数&…
阅读更多...
【STM32系列】利用MATLAB配合ARM-DSP库设计IIR数字滤波器（保姆级教程）

【STM32系列】利用MATLAB配合ARM-DSP库设计IIR数字滤波器（保姆级教程）

ps.源码放在最后面 设计FIR数字滤波器可以看这里：利用MATLAB配合ARM-DSP库设计FIR数字滤波器（保姆级教程） 设计IIR滤波器 MATLAB配置 设计步骤 首先在命令行窗口输入"filterDesigner"，接着就会跳出以下界面&#xf…
阅读更多...
WSL2中安装的ubuntu搭建tftp服务器uboot通过tftp下载

WSL2中安装的ubuntu搭建tftp服务器uboot通过tftp下载

Windows中安装wsl2，wsl2里安装ubuntu。 1. Wsl启动后 1）Windows下ip ipconfig 以太网适配器 vEthernet (WSL (Hyper-V firewall)): 连接特定的 DNS 后缀 . . . . . . . : IPv4 地址 . . . . . . . . . . . . : 172.19.32.1 子网掩码 . . . . . . . .…
阅读更多...
ES冷热数据分离配置

ES冷热数据分离配置

冷热数据是根据索引创建时间来进行迁移的。一旦迁移到冷数据节点，则无法再恢复成热数据，因为热数据节点中该索引已经没有分片存在了。 基于Docker搭建ES集群,并设置冷热数据节点 配置冷热数据迁移策略 PUT https://192.168.x.xx:19200/_ilm/policy/my…
阅读更多...
Javaweb学习日记（十一）Mybatis-基础操作

Javaweb学习日记（十一）Mybatis-基础操作

一、环境准备 二、基础操作-删除 日志输出： SQL注入： sql注入：例如一个登录页面，需要满足账号密码同时匹配数据库内的数据才可登录（点击登录也页面在后台生成一条sql语句去检验是否正确（通过判断sql语句返…
阅读更多...
小程序-基础加强

小程序-基础加强

前言 这一节把基础加强讲完 1. 导入需要用到的小程序项目 2. 初步安装和使用vant组件库 这里还可以扫描二维码 其中步骤四没什么用 右键选择最后一个 在开始之前，我们的项目根目录得有package.json 没有的话，我们就初始化一个 但是我们没有npm这个…
阅读更多...
Spring @PropertySource：让你的应用配置更加模块化和可维护

Spring @PropertySource：让你的应用配置更加模块化和可维护

PropertySource注解在Spring中的作用，就像是给Spring应用配了一个“外部配置箱”。 想象一下，你在开发一个Spring应用时，有很多配置信息需要设置，比如数据库的连接信息、应用的某些功能开关等。如果这些信息都硬编码在代码中&…
阅读更多...
尝试在Excel里调用硅基流动上的免费大语言模型

尝试在Excel里调用硅基流动上的免费大语言模型

我个人觉得通过api而不是直接浏览器客户端聊天调用大语言模型是使用人工智能大模型的一个相对进阶的阶段。 于是就尝试了一下。我用的是老师木 袁进辉博士新创的硅基流动云上的免费的大模型。——虽然自己获赠了不少免费token，但测试阶段用不上。 具体步骤如下&am…
阅读更多...
问卷数据分析|SPSS之分类变量描述性统计

问卷数据分析|SPSS之分类变量描述性统计

1.点击分析--描述统计--频率 2. 选中分类变量，点击中间箭头 3.图表选中条形图，图表值选择百分比，选择确定 4.这里显示出了描述性统计的结果 5.下面就是图形，但SPSS画的图形都不是很好啊看，建议用其他软件画图&#xff…
阅读更多...
生成式AI安全最佳实践 - 抵御OWASP Top 10攻击 (上)

生成式AI安全最佳实践 - 抵御OWASP Top 10攻击 (上)

今天小李哥将开启全新的技术分享系列，为大家介绍生成式AI的安全解决方案设计方法和最佳实践。近年来，生成式 AI 安全市场正迅速发展。据 IDC 预测，到 2025 年全球 AI 安全解决方案市场规模将突破 200 亿美元，年复合增长率超过 30%…
阅读更多...
LQB（0）-python-基础知识

LQB（0）-python-基础知识

一、Python开发环境与基础知识 python解释器：用于解释python代码 方式： 1.直接安装python解释器 2.安装Anaconda管理python环境 python开发环境：用于编写python代码 1.vscode 2.pycharm # 3.安装Anaconda后可以使用网页版的jupyter n…
阅读更多...
最新文章

Copyright @ 2022~2023