Flume学习笔记

视频地址：https://www.bilibili.com/video/BV1wf4y1G7EQ/

定义

Flume是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。
Flume高最要的作用就是实时读取服务器本地磁盘的数据，将数据写入HDFS。
官网：https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html
源码包：https://gitee.com/apache/flume.git

架构图

在这里插入图片描述

1.Agent

Agent主要有3个部分组成，Source、Channel、Sink

2.Source

Source是负责接收数据到Flume Agent的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、taildir、sequence generator、syslog、http、legacy。

3.Sink

Sink 不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。
Sink 组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。

4.Channel

Channel是位于Source 和Sink之间的缓冲区。因此，Channel允许Source 和Sink 运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个
Sink 的读取操作。←Flume自带两种Channel:MemoryChannel和File Channel。Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么MemoryChanne1就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。←
FileChannel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

5.Event

传输单元，Flume数据传输的基本单元，以vent的形式将数据从源头送至目的地。Event 由Header 和 Body 两部分组成，Header 用来存放该event 的一些属性，为K-V结构,Body用来存放该条数据，形式为字节数组。

示例

官方文档
在这里插入图片描述

1.配置文件

# example.conf: A single-node Flume configuration# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  1. 可以配置多个source、sink、channel
  2. 事务容量要比总容量小，事务容量指单次最大的事件数量
  3. 一个source可以绑定多个channel
  4. 一个sink只能绑定一个channel
  5. 一个channel可以绑定多个sink

2.启动命令

bin/flume-ng agent -n a1 -c conf -f conf/flume-conf
  1. -n --name : agent名称
  2. -c --conf: conf目录
  3. -f --conf-file: 配置文件
  4. -Dflume.root.logger=INFO,console 打印日志

3.Agent

3.1.内部原理

在这里插入图片描述

3.1.1.Channel Selectors
3.1.1.1.ReplicatingChannel Selector

(默认)将source过来的events发往所有channel
在这里插入图片描述
示例
在这里插入图片描述

3.1.1.2.MultiplexingChannel Selector

可以配置发往哪些Chanmel
在这里插入图片描述
示例
在这里插入图片描述

3.1.2.SinkProcessor

3.1.2.1.DefaultSinkProcessor

只接收一个请求，只能绑定一个Sink

3.1.2.2.LoadBalanceingSinkProcessor

负载均衡，分散到其他sink中
在这里插入图片描述示例
在这里插入图片描述

3.1.2.3.FailoverSinkProcessor

故障转移，按优先级排序

在这里插入图片描述
示例
在这里插入图片描述

4.Source

4.1.exec

在这里插入图片描述

4.1.1.示例

监控文件内容
在这里插入图片描述

4.1.2.缺点

不能断点续传

4.2.spooldir

在这里插入图片描述

4.2.1.示例

监控目录中新文件
在这里插入图片描述

4.2.2.缺点

不能动态监听变化文件

4.3.Taildir

在这里插入图片描述

4.3.1.示例

在这里插入图片描述

4.3.2.优点

1.监控不同目录
2.

4.4.Avro

在这里插入图片描述

4.4.1.示例

在这里插入图片描述

4.4.2.缺点

5.Sink

5.1.HDFS

在这里插入图片描述
在这里插入图片描述

5.1.1.示例

在这里插入图片描述

5.2.Avro

在这里插入图片描述

5.2.1.示例

在这里插入图片描述

5.3.FileRoll

在这里插入图片描述

5.3.1.示例

在这里插入图片描述

6.修改源码

下载源码：https://gitee.com/apache/flume.git

Flume拓扑结构

1.简单串联

1.1.结构图

在这里插入图片描述

1.2.示例

2.复制和多路利用

2.1.结构图

在这里插入图片描述

2.2.示例

2.2.1.单数据源多出口案例
2.2.1.1.需求

在这里插入图片描述

2.2.1.2.flume-file-flume.conf
# Name the comnentson this agent
a1.sources=r1
a1.channels=c1
a1.sinks = k1 k2

#Describe/configure the source
a1.sources.r1.type =exec
a1.sources.r1.command=tail -F /opt/module/hive/logs/hive.log
a1.sources.r1.shell= /bin/bash -c

#Describe the sink
a1.sinks.kl.type =avro
a1.sinks.k1.hostname =hadoop102
a1.sinks.k1.port =4141

a1.sinks.k2.type =avro
a1.sinks.k2.hostname =hadoop102
a1.sinks.k2.port =4142

#Describe the channe
a1.channels.c1.type=memory
al.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#将数据流复制给所有channele
a1.sources.r1.selector.type=relicating

# Bind the source and sink to the channel
a1.sources.r1.channels=c1 c2
al.sinks.k1.channel=c1
a1.sinks.k2.

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/511365.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Python PDF页面设置 -- 旋转页面、调整页面顺序

Python PDF页面设置 -- 旋转页面、调整页面顺序

在将纸质文档扫描成PDF电子文档时，有时可能会出现页面方向翻转或者页面顺序混乱的情况。为了确保更好地浏览和查看PDF文件，本文将分享一个使用Python来旋转PDF页面或者调整PDF页面顺序的解决方案。 目录 使用Python旋转PDF页面 使用Python调整PDF页面…
阅读更多...
【Redis 知识储备】单机架构 -- 分布系统的演进（1）

【Redis 知识储备】单机架构 -- 分布系统的演进（1）

单机架构 1. 概念2. 单机架构的优点3. 单机架构的问题4. 单机架构问题的解决思路 1. 概念 单机架构, 只有一台服务器, 这个服务器负责所有的工作 初期，我们需要利⽤我们精⼲的技术团队，快速将业务系统投⼊市场进⾏检验，并且可以迅速响应变化…
阅读更多...
【攻防世界】warmup (代码审计)

【攻防世界】warmup (代码审计)

进入题目环境，只有一个表情： ctrl u 查看源代码： 源代码提示我们访问 /source.php。访问结果如下： 我们进行代码审计，发现解题的关键点 include &_REQUEST[file]。但是题目使用了白名单进行了过滤。我们发现白名单…
阅读更多...
Redis底层数据库之SDS

Redis底层数据库之SDS

高速的存储介质：内存优秀的底层数据结构高效的IO模型高效的线程模型 1. 动态字符串SDS Redis中保存的Key是字符串，value往往是字符串或者字符串的集合。可见字符串是redis中最常用的一种数据结构。 C语言种字符串存在的一些问题： 获取字符…
阅读更多...
web-AOP

web-AOP

AOP基础 AOP进阶 通知顺序和类型 切入点表达式 连接点
阅读更多...
腾讯云（CVM）托管进行权限维持

腾讯云（CVM）托管进行权限维持

前言 刚好看到一个师傅分享了一个阿里云ECS实战攻防，然后想到了同样利用腾讯云CVM的托管亦可实现在实战攻防中的权限维持。 简介 腾讯云自动化助手（TencentCloud Automation Tools，TAT）是一个原生运维部署工具，它可…
阅读更多...
链表的极致——带头双向循环链表

链表的极致——带头双向循环链表

​ 文章目录 双向带头循环链表简介：双向：带头：特点：链表带头节点的好处： 循环：特点：循环的好处： 双向带头循环链表的接口函数实现准备工作： 初始化链表（头结…
阅读更多...
在flutter中添加video_player【视频播放插件】

在flutter中添加video_player【视频播放插件】

添加插件依赖 dependencies:video_player: ^2.8.3插件的用途 在Flutter框架中，video_player 插件是一个专门用于播放视频的插件。它允许开发者在Flutter应用中嵌入视频播放器，并提供了一系列功能来控制和定制视频播放体验。这个插件对于需要在应用中展…
阅读更多...
HarmonyOS 应用开发之创建自定义组件

HarmonyOS 应用开发之创建自定义组件

在ArkUI中，UI显示的内容均为组件，由框架直接提供的称为系统组件，由开发者定义的称为自定义组件。在进行 UI 界面开发时，通常不是简单的将系统组件进行组合使用，而是需要考虑代码可复用性、业务逻辑与UI分离&#xff0c…
阅读更多...
练习 17 Web [极客大挑战 2019]PHP

练习 17 Web [极客大挑战 2019]PHP

常见的网站源码备份文件名和后缀，反序列化攻击 unserialize()：wakeup绕过，private类以及属性序列化后的%00修改 开靶机 提到”备份“ 那看看有没有backup.php啥的 如果网站存在备份文件，常见的备份文件后缀名有：“.gi…
阅读更多...
系统IO函数接口

系统IO函数接口

目录 前言 一. man手册 1.1 man手册如何查询 1.2 man手册基础 二.系统IO函数接口 三.open打开文件夹 3.1 例1 open打开文件 3.2 open打开文件代码 3.3 例2 创建文件 四.write写文件 4.1 write写文件 五. read读文件 5.1 read读文件与偏移 5.2 偏移细节 5.3 read读文件代码 六.复…
阅读更多...
vscode 重命名很慢或失败 vscode renames are slow

vscode 重命名很慢或失败 vscode renames are slow

网上问题， 插件问题（我遇见的排除，不是）被其他程序占用问题，（我这边是这个） 解决方案： 打开【资源管理器】，使用火绒 或其他软件，查看文件夹 or 文件 被哪个…
阅读更多...
集合的学习

集合的学习

为什么要有集合：集合会自动扩容 集合不能存基本数据类型（基本数据类型是存放真实的值，而引用数据类型是存放一个地址，这个地址存放在栈区，地址所指向的内容存放在堆区） 数组和集合的对比： 集…
阅读更多...
Python 简单使用 RabbitMQ

Python 简单使用 RabbitMQ

一、安装 pip install pika 二、推送消息到队列中 执行pythone方法 import pika import time# 用户名和密码 user_info pika.PlainCredentials(admin,admin)# 连接服务器上的rabbitMQ服务 connection pika.BlockingConnection(pika.ConnectionParameters(127.0.0.1, 5672,…
阅读更多...
python核心篇之网络通信

python核心篇之网络通信

一. 发送请求 1. 发送get请求 2. 发送post请求 3. json数据与python数据的对应关系
阅读更多...
隐私计算实训营第七讲-隐语SCQL的架构详细拆解

隐私计算实训营第七讲-隐语SCQL的架构详细拆解

隐私计算实训营第七讲-隐语SCQL的架构详细拆解 文章目录 隐私计算实训营第七讲-隐语SCQL的架构详细拆解1.SCQL Overview1.1 多方数据分析场景1.2 多方数据分析技术路线1.2.1 TEE SQL方案1.2.2 MPC SQL方案 1.3 Secure Collaborative Query Language(SCQL)1.3.1 SCQL 系统组件1.…
阅读更多...
css3之2D转换transform

css3之2D转换transform

2D转换transform 一.移动（translate)(中间用，隔开）二.旋转（rotate)（有单位deg)1.概念2.注意点3.转换中心点（transform-origin)（中间用空格）4.一些例子(css三角和旋转） 三…
阅读更多...
SVM简介 详细推导 核函数 线性可分 非线性可分

SVM简介 详细推导 核函数 线性可分 非线性可分

注意：由于该文章由jupyter nbconvert导出，若单独执行代码可能出现变量找不到或者没有导入库的情况，正确的做法是将所有的代码片段按顺序放到一个.py文件里面或者按顺序放入一个.ipynb文件的多个代码块中。 SVM(Support Vector Machine) Vap…
阅读更多...
第十五届蓝桥杯模拟考试I_物联网设计

第十五届蓝桥杯模拟考试I_物联网设计

反思： 本次模拟让我惊醒，写这个作品如同搭积木，在拼接的时候都要仔细检查这个积木是否出bug,确保没有问题再将其拼接到之前搭好的大模块之中，因为就是这样的题目我在处理过程中就遇到了BUG，原因竟出在输入模式要上拉&…
阅读更多...
鸿蒙OS元服务开发：【（Stage模型）设置应用主窗口】

鸿蒙OS元服务开发：【（Stage模型）设置应用主窗口】

一、设置应用主窗口说明 在Stage模型下，应用主窗口由UIAbility创建并维护生命周期。在UIAbility的onWindowStageCreate回调中，通过WindowStage获取应用主窗口，即可对其进行属性设置等操作。还可以在应用配置文件中设置应用主窗口的属性&…
阅读更多...
最新文章

Copyright @ 2022~2023