redis的集群模式与ELK基础

一、redis的集群模式

1.主从复制

（1）概述

        主从模式：这是redis高可用的基础，哨兵和集群都是建立在此基础之上。

        主从模式和数据库的主从模式是一样的，主负责写入，然后把写入的数据同步到从服务器，但是从节点只能读不能写（read only）

（2）工作过程

  1. 当配置完整之后，从节点启动，会向主节点发送一个sync command,请求同步连接
  2. master都会开启一个后台的进程将主节点的数据保存到数据文件中
  3. 主节点把数据同步给从节点从节点先把数据保存到硬盘，再加载到内存

（3）缺点

        不能做高可用的切换，主节点出现故障，没有替换的主节点，所有的写入操作都将失败。

（4）实验

redis1 192.168.206.40 主

redis2 192.168.206.50 从1

redis3 192.168.206.55 从2

时间同步：

ntpdate  ntp.aliyun.com

主从配置几乎一致

vim  /etc/redis/redis.conf

55行 监听地址注释掉

87行 改成no

224行 daemonize yes   #开启守护进程

1094行  appendonly yes

两台从服务器在第388行下添加：

replicaof 192.168.206.40 6379

systemctl restart redis

tail -f /var/log/redis/redis-server.log

#看见两台从服务器的同步信息

2.哨兵模式

（1）概述

        在主从模式的基础之上，哨兵模式引入了故障切换的模式。

        哨兵也是一个分布式的集群结构，对主从当中的每台服务器进行监控，当出现故障时，通过投票的机制选择一个新的master。被选举出的新的master会将所有的从节点重新连接到自己，从节点会自动同步到主，自动变成只读模式。

（2）工作过程

  1. 主从之间，互相有一个心跳的检测
  2. 当主节点宕机，从节点都会收到主的宕机的信息
  3. 两个从节点，自动进行投票，选择一个新的主
  4. 从节点会自动加入新主的主从模式。

 （3）实验

 #在配置哨兵模式的第一次的时候，人为的定义好主

三台操作一致：

apt -y install redis-sentinel

vim /etc/redis/sentinel.conf

16行注释掉

18行取消注释

27行 改成yes

142行 sentinel monitor mymaster 192.168.206.40 6379 2

#人工定义主的服务器

2的含义：当主节点发生故障，必须要有两个从节点同意，才能进行主节点的故障切换

#下面两条必须要写在定义主的下面

sentinel down-after-milliseconds mymaster 30000

#判断服务器宕机的时间周期是30000毫秒=30秒

sentinel failover-timeout mymaster 18000

#故障节点的最大超时时间18000=18秒

tail -f /var/log/redis/redis-sentinel.log #查看日志

systemctl stop redis#关闭40的redis，主会自动切换到50或者55，在40恢复工作后也会作为从加入到主上去

3.集群

（1）概述

        redis-cluster: 集群是由多个节点组成，redis的数据分布在节点当中，集群的当中每个节点又分主和从

        集群-->高可用，和主从复制不一样

（2）hash槽位

0-16383个hash槽位

A 0-5460

B 5461-10922

C 10923-16383

（3）工作过程

 

 （4）实验

6台同步一起操作：

时间同步

vim  /etc/redis/redis.conf

55行监听地址都注释掉

protected-mode no

224行 daemonize yes

1227行 cluster-enabled yes #开启集群

1235行 cluster-config-file nodes-6379.conf #设置集群的配置文件

1094行 appendonly yes

1241 cluster-node-timeout 15000 #设置集群的超时时间

redis-cli -h 192.168.206.40 --cluster create 192.168.206.40:6379 192.168.206.50:6379 192.168.206.55:6379 192.168.206.60:6379 192.168.206.70:6379 192.168.206.80:6379 --cluster-replicas 1

# --cluster-replicas 1: 表示每个主节点对应一个从节点

root@redis1:~# redis-cli -h 192.168.206.40 -p 6379

192 168 206 40:6379> set test10 10

(error) MOVED 9248 192.168.206.50:6379

#表示客户端尝试将这个数值保存到槽位号是9248的位置，实际槽位在50这个主机。

        redis的集群模式，只是满足高可用，不能实现数据同步。对数据同步要求很高的场景，选择redis的主从和哨兵。

二、ELK：统一日志收集系统

1.组成

elasticsearch

  • 分布式的全文索引引擎 非关系型数据库
  • 存储所有的日志信息，主从（最少需要2台 ）

logstash  

  • 动态的从各种指定的数据源获取数据，而且对书据进行过滤，分析
  • 按照统一的格式发送到es

kibana  

  • 把es的数据进行展示，进行客户端可以理解的操作，汇总、分析和搜索数据的平台。

2.工作过程 

  1. logstash收集日志数据
  2. 收集到的数据按照es的格式，发送到数据库
  3. 在图像界面展示-->kibana
  4. 客户端访问kibana

3.实验

nginx1 192.168.206.60 es1

nginx2 192.168.206.70 es2

nginx3 192.168.206.80 logstash kibana

 安装es

dpkg -i elasticsearch-6.7.2.deb

free -h
echo 3 > /proc/sys/vm/drop_caches #内存太小，就清理一下

vim  /etc/ elasticsearch/elasticsearch.yml

grep -v "^#" elasticsearch.yml #检查修改的地方
cluster.name: my-elk
node.name: node-1  #两边的node不能一致  第二台的编号为2
node.master: true  #该节点是否为主节点  第二台为false
node.data: true  #表示该节点是否为数据节点，主从都要

path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0 #修改服务的监听地址
http.port: 9200 #es对外提供的默认端口
transport.tcp.port: 9300   #指定es集群内部的通信接口
discovery.zen.ping.unicast.hosts: ["192.168.206.60:9300", "192.168.206.70:9300"]

#集群节点通过单播的形式，通过9300端口实现内部通信
http.cors.enabled: true  #开启跨域访问
http.cors.allow-origin: "*"  #允许跨域访问的地址域名为所有
systemctl restart elasticsearch  

tail -f /var/log/syslog

netstat -antp | grep 9200

用浏览器测试

安装logstash和kibana

dpkg -i logstash-6.7.2.deb

systemctl restart logstash.service

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/ #创建软连接

dpkg -i kibana-6.7.2-amd64.deb

vim  /etc/kibana/kibana.yml

grep -v "^#" kibana.yml
server.port: 5601 #监听端口
server.host: "0.0.0.0" 
elasticsearch.hosts: ["http://192.168.206.60:9200","http://192.168.206.70:9200"]
kibana.index: ".kibana" #索引
logging.dest: /var/log/kibana.log  #日志位置
i18n.locale: "zh-CN" #支持中文

touch  /var/log/kibana.log

logstash -f system.conf --path.data  /op&  #后台运行

 

vim /etc/logstash/conf.d/system.conf

input {
    file {
        path=>"/var/log/syslog"

         #指定要收集的日志文件的路径
        type=>"system"

        #自定义索引的标志类型
        start_position=>"beginning"

        #表示从哪个位置开始收集日志，end
        }
}

output {
    elasticsearch {
        hosts => ["192.168.206.60:9200","192.168.206.70:9200"]

        #指定服务器ip地址和端口
        index => "system-%{+YYYY.MM.dd}"

        #索引名称
        }
}

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/947049.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Kubernetes第三天

Kubernetes第三天

1.pod容器的三种重启策略 查看容器的重启策略有哪些 kubectl explain po.spec. 发现有Always OnFailure Never Always,当容器退出时，始终重启容器 OnFailure,当容器正常退出时，不会自动重启容器，当容器异常退出时，重启容器 …
阅读更多...
61.旋转链表 python

61.旋转链表 python

旋转链表 题目题目描述示例 1：示例 2：提示： 题解思路分析Python 实现代码代码解释提交结果 题目 题目描述 给你一个链表的头节点 head ，旋转链表，将链表每个节点向右移动 k 个位置。 示例 1： 输入&#…
阅读更多...
什么时候出现对象？芊芊测字，ai测字

什么时候出现对象？芊芊测字，ai测字

芊芊测字地址：芊芊测字-ai免费测字
阅读更多...
SpringMVC(1)——SpringMVC配置和基本原理

SpringMVC(1)——SpringMVC配置和基本原理

目录 ​编辑 第一章：Java web的发展历史 一.Model I和Model II 1.Model I开发模式（已经淘汰） 2.Model II开发模式 二. MVC模式 第二章：SpringMVC的入门案例 搭建SpringMVC的入门程序 ①：创建WEB工程&#xff…
阅读更多...
Switch组件的用法

Switch组件的用法

文章目录 1 概念介绍2 使用方法3 示例代码我们在上一章回中介绍了PageView这个Widget,本章回中将介绍Switch Widget.闲话休提，让我们一起Talk Flutter吧。 1 概念介绍 我们在这里介绍的Switch是指左右滑动的开关，常用来表示某项设置是打开还是关闭。Flutter中使用Switch类表…
阅读更多...
电脑中缺失的nvrtc64_90.dll文件如何修复？

电脑中缺失的nvrtc64_90.dll文件如何修复？

一、文件丢失问题 案例：nvrtc64_90.dll文件缺失 问题分析： nvrtc64_90.dll是NVIDIA CUDA Runtime Compilation库的一部分，通常与NVIDIA的CUDA Toolkit或相关驱动程序一起安装。如果该文件丢失，可能会导致基于CUDA的应用程序&…
阅读更多...
Springboot使用RabbitMQ实现关闭超时订单的一个简单示例

Springboot使用RabbitMQ实现关闭超时订单的一个简单示例

1.maven中引入rabbitmq的依赖&#xff1a; <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-amqp</artifactId></dependency> 2.application.yml中进行rabbitmq相关配置&#xff1a; # rabbit…
阅读更多...
简易CPU设计入门：内存读写（二）

简易CPU设计入门：内存读写（二）

项目代码下载 请大家首先准备好本项目所用的源代码。如果已经下载了&#xff0c;那就不用重复下载了。如果还没有下载&#xff0c;那么&#xff0c;请大家点击下方链接&#xff0c;来了解下载本项目的CPU源代码的方法。 CSDN文章&#xff1a;下载本项目代码 上述链接为本项目…
阅读更多...
CSS 学习之 padding 与图形绘制

CSS 学习之 padding 与图形绘制

padding 属性和 background-clip 属性配合&#xff0c;可以在有限的标签下实现一些 CSS 图形绘制效果&#xff0c;我这里举两个小例子&#xff0c;重在展示可行性。 例 1:不使用伪元素&#xff0c;仅一层标签实现大队长的“三道杠”分类图标效果。此效果在移动端比较常见&…
阅读更多...
Qt实现使用TCP与RS485串口设备通信————附带详细实践方法

Qt实现使用TCP与RS485串口设备通信————附带详细实践方法

文章目录 0 背景1 协议介绍1.1 modbusRTU协议1.1.1 简介1.1.2 RS485和modbusRTU的关系1.1.3 modbusRTU 协议格式1.1.3.1 0x10写多个保持寄存器1.1.3.2 0x02读多个离散输入寄存器1.1.3.3 0x03读多个保持寄存器1.1.3.4 0x04读多个输入寄存器 1.2 ModbusTCP协议1.2.1 ModbusTCP协议…
阅读更多...
Mono里运行C#脚本21—mono_image_init_name_cache

Mono里运行C#脚本21—mono_image_init_name_cache

前面分析了怎么样加载mscorlib.dll文件，然后把文件数据读取到内存。 接着下来，就会遇到加载整个C#的类型系统，比如System. Object，大体类型如下图所示： 在对CIL编译之前，需要把这些类型全部加载到内存里，以便快捷地访问它们。 mono_image_init_name_cache函数就是完成…
阅读更多...
Linux（14）——网络管理

Linux（14）——网络管理

目录 一、检测网络配置&#xff1a; 1、查看网络接口&#xff08;ip&#xff09;&#xff1a; 2、查看性能&#xff08;ip&#xff09;&#xff1a; 3、查看 IP 地址&#xff08;ip&#xff09;&#xff1a; 4、查看路由表&#xff08;ip&#xff09;&#xff1a; 5、追踪…
阅读更多...
深度学习笔记（12）——深度学习概论

深度学习笔记（12）——深度学习概论

深度学习概论 深度学习关系&#xff1a; 为什么机器人有一部分不在人工智能里面&#xff1a;机器人技术是一个跨学科的领域&#xff0c;它结合了机械工程、电子工程、计算机科学以及人工智能&#xff08;AI&#xff09;等多个领域的知识。 并不是所有的机器人都依赖于人工智能…
阅读更多...
基于Springboot + vue实现的高校办公室行政事务管理系统

基于Springboot + vue实现的高校办公室行政事务管理系统

&#x1f942;(❁◡❁)您的点赞&#x1f44d;➕评论&#x1f4dd;➕收藏⭐是作者创作的最大动力&#x1f91e; &#x1f496;&#x1f4d5;&#x1f389;&#x1f525; 支持我&#xff1a;点赞&#x1f44d;收藏⭐️留言&#x1f4dd;欢迎留言讨论 &#x1f525;&#x1f525;&…
阅读更多...
欧科云链研究院：ChatGPT 眼中的 Web3

欧科云链研究院：ChatGPT 眼中的 Web3

编辑&#xff5c;OKG Research 转眼间&#xff0c;2024年已经进入尾声&#xff0c;Web3 行业经历了热闹非凡的一年。今年注定也是属于AI的重要一年&#xff0c;OKG Research 决定拉上 ChatGPT 这位“最懂归纳的AI拍档”&#xff0c;尝试把一整年的研究内容浓缩成精华。我们一共…
阅读更多...
急需升级，D-Link 路由器漏洞被僵尸网络广泛用于 DDoS 攻击

急需升级，D-Link 路由器漏洞被僵尸网络广泛用于 DDoS 攻击

僵尸网络活动增加 &#xff1a;新的“FICORA”和“CAPSAICIN”僵尸网络&#xff08;Mirai 和 Kaiten 的变体&#xff09;的活动激增。 被利用的漏洞 &#xff1a;攻击者利用已知的 D-Link 路由器漏洞&#xff08;例如 CVE-2015-2051、CVE-2024-33112&#xff09;来执行恶意命…
阅读更多...
df.replace({‘b‘: r‘\s*(\.)\s*‘}, {‘b‘: r‘\1ty‘}, regex=True)

df.replace({‘b‘: r‘\s*(\.)\s*‘}, {‘b‘: r‘\1ty‘}, regex=True)

这段代码 df.replace({b: r\s*(\.)\s*}, {b: r\1ty}, regexTrue) 用于在 DataFrame 中进行替换操作&#xff0c;具体来说是针对 b 列&#xff0c;匹配并替换符合正则表达式的值。 详细解析&#xff1a; df.replace()&#xff1a;这是 Pandas 中的 replace() 方法&#xff0c;用…
阅读更多...
springboot原生socket通讯教程

springboot原生socket通讯教程

需求背景 最近需要对接一些硬件设备，他们选择了socket通讯，并且使用的是私有化协议加密通讯。这种情况下适合原生的socket加解密解析，不适合NettySocket，这在开发中增加了难度。所有的代码都要手动去敲。如果你的只想通过socket传输一些数据，而且都是json的数据，例如聊天…
阅读更多...
redis的学习（一）

redis的学习（一）

1.环境搭建 1.1 在ubuntu上安装redis 1.2 reids客户端介绍 redis也是一个客户端-服务器结构的程序。redis客户端和服务器可以在同一份主机上&#xff0c;也可以在不同的主机上&#xff0c;因为二者是通过网络进行发送和接收请求的。 redis服务器是负责存储和管理数据的。 red…
阅读更多...
UCAS 24秋网络认证技术 CH16 OAuth OIDC复习

UCAS 24秋网络认证技术 CH16 OAuth OIDC复习

单点登录、OAuth、OIDC原理过程区别 文章目录 单点登录、OAuth、OIDC原理过程区别单点登录概念优点 什么是 OAuth&#xff1f;概述OAuth 2.0 中的角色客户端类型客户端注册抽象协议流程协议流程图 Authorization Grant (授权许可)Access Token (访问令牌)Refresh Token (刷新令…
阅读更多...
最新文章

Copyright @ 2022~2023