1-Flume中agent的source

Flume（1.11.0版本）

简介

概述

  1. Flume本身是由Cloudera公司开发的后来贡献给了Apache的一套针对日志数据进行收集(collecting)、汇聚(aggregating)和传输(moving)的机制

  2. Flume本身提供了简单且灵活的结构来完成日志数据的传输

    Flume结构

  3. Flume有两大版本：

    1. Flume0.X：又称之为Flume-og，依赖于Zookeeper部署，需要提供的格式文件相对复杂，所以现在市面上已经不使用了
    2. Flume1.X：又称之为Flume-ng，不依赖于Zookeeper部署，需要提供的格式文件结构明确且简单，所以是现在流通的版本

基本概念

  1. Event

    1. Flume会将收集到的每一条日志封装成一个Event

    2. Event本质上就是一个json串，即Flume会将收集到的日志封装成json的形式，Event中固定的包含两部分：headers和body

      {"headers":{},"body":""}

  2. Agent：Flume流动模型的基本组成结构，至少包含3部分

    1. Source：从数据源采集数据 - collecting
    2. Channel：临时存储数据 - aggregating
    3. Sink：将数据写出到目的地 - moving

流动模型

  1. 单级流动

    Flume结构

  2. 多级流动：又称之为串联流动

    多级流动

  3. 扇入流动：又称之为并联流动、聚集流动

    扇入流动

  4. 扇出流动：又称之为复用流动

    扇出流动

  5. 复杂流动：按照需求将多个流动进行组合，那么就是复杂流动

参数解释

参数解释
--name或者-n指定要运行的agent的名字
--conf或者-cFlume的原生配置
--conf-file或者-f执行的文件
-D指定运行其他的参数
flume.root.logger指定日志的打印级别，级别分为INFO，WARN和ERROR，可以指定打印位置console和logfile

Source

NetCat TCP Source

  1. Netcat TCP Source监听TCP请求，在使用的时候需要监听指定的主机和端口，从这个指定主机的指定端口来接收TCP请求，并且将TCP请求内容作为日志来进行收集

  2. 默认情况下，每一条数据大小不能超过512B，可以通过参数max-line-length来修改

    1. 在Flume中，所有的流动模型，不是通过代码来指定，而是通过格式文件来配置，所以实际过程中，往往会要求格式文件存放在统一的位置上。上课过程中，统一要求将格式文件放到/opt/software/flume-1.11.0/data下

      cd /opt/software/flume-1.11.0/
mkdir data
cd data

    2. 编辑格式文件，文件名和后缀名可以自己定义 properties文件的 key = value 格式配置在vim会有颜色上的区分，便于阅读。

      vim basic.propertie

      在文件中添加

      # 给Agent起名   a1就是这个agent的名字
# 给Source起名
# 如果有多个Source，那么名字之间用空格隔开
a1.sources = s1
# 给Channel起名
a1.channels = c1
# 给Sink起名
a1.sinks = k1

# 配置Source
a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 8090

# 配置Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 1000

# 配置Sink
a1.sinks.k1.type = logger

# 将Source和Channel绑定
a1.sources.s1.channels = c1
# 将Sink和Channel绑定
a1.sinks.k1.channel = c1

    3. 执行

      flume-ng agent --name a1 --conf $FLUME_HOME/conf --conf-file basic.properties -Dflume.root.logger=INFO,console

    4. 复制窗口之后，发送TCP请求

      nc hadoop01 8090

Exec Source

  1. Exec Source运行指定命令，监听命令结果，将命令结果作为日志进行收集

  2. 案例：监听指定文件，如果文件中新添了数据，那么自动收集这个文件中的数据

    1. 构建空文件

      touch /opt/software/flume-1.11.0/data/a.txt

    2. 监听这个文件，如果这个文件中新添了数据，自动收集数据作为日志

      vim execsource.properties

      在文件中添加

      a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置Exec Source
# Source的类型
a1.sources.s1.type = exec
# 监听指定的命令
a1.sources.s1.command = tail -F /opt/software/flume-1.11.0/data/a.txt
# 指定命令的脚本类型
a1.sources.s1.shell = /bin/sh -c

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    3. 执行命令

      flume-ng agent -n a1 -c $FLUME_HOME/conf -f execsource.properties -Dflume.root.logger=INFO,console

    4. 在新窗口中追加数据

      echo "testing" >> /opt/software/flume-1.11.0/data/a.txt
echo "exec" >> /opt/software/flume-1.11.0/data/a.txt

      AVRO Source

      1. AVRO Source接收被AVRO序列化之后的数据，结合AVRO Sink，可以实现复杂的流动模型

      2. 案例

        1. 编辑文件

          cd /opt/software/flume-1.11.0/data/
vim avrosource.properties

          在文件中添加

          a1.sources = s1           
a1.channels = c1
a1.sinks = k1

# 配置AVRO Source
# 类型必须是avro
a1.sources.s1.type = avro
# 监听的主机
a1.sources.s1.bind = 0.0.0.0
# 监听的端口号
a1.sources.s1.port = 6666

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

        2. 启动

          flume-ng agent -n a1 -c $FLUME_HOME/conf -f avrosource.properties -Dflume.root.logger=INFO,console

        3. 在新窗口中启动AVRO客户端

          flume-ng avro-client -H hadoop01 -p 6666 -F a.txt

      Spooling Directory Source

      1. 监听指定的目录，如果目录中产生了新的文件，那么自动的将新文件中的内容收集起来

      2. 默认情况下，这个文件如果被收集了，那么文件的后缀就是.COMPLETED

      3. 案例

        1. 创建目录

          mkdir /opt/flume_data

        2. 编辑文件

          vim spooldirsource.properties

          在文件中添加

          a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置Spooling Directory Source
# 类型必须是spooldir
a1.sources.s1.type = spooldir
# 监听的目录
a1.sources.s1.spoolDir = /opt/flume_data
# 被收集过的文件后缀
# 利用这条规则，可以过滤掉一部分不需要收集的文件
a1.sources.s1.fileSuffix = .finished

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

        3. 执行

          flume-ng agent -n a1 -c $FLUME_HOME/conf -f spooldirsource.properties -Dflume.root.logger=INFO,console

      Taildir Source

      1. 可以用于监听一个或者一组文件，如果被监听的文件中添加了新数据，那么新添的数据会被自动收集

      2. Exec Source需要通过指定tail -F命令才能监听指定文件，Spooling Directory Source监听指定的目录，并不能确定文件中是否新添了数据

      3. 不同于Exec Source的地方在于，Taildir Source不需要指定命令，还可以监控一类文件，且Taildir Source通过记录偏移量实现断点续传效果

      4. 偏移量通过属性positionFile来决定，默认是~/.flume/taildir_position.json

      5. 需要注意的是，Taildir Source不支持在Windows中使用

      6. 案例：监听flume_data目录下所有的log和txt文件，如果文件被添加新数据，那么自动收集

        1. 编辑文件

          vim taildirsource.properties

        2. 在文件中添加

          a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置Taildir Source
# 类型必须是TAILDIR
a1.sources.s1.type = TAILDIR
# 监听的一组文件的组名
a1.sources.s1.filegroups = f1 f2
# 文件组中的要监听的文件
a1.sources.s1.filegroups.f1 = /opt/flume_data/.*log.*
a1.sources.s1.filegroups.f2 = /opt/flume_data/.*txt.*
# 偏移量的存储位置
a1.sources.s1.positionFile = /opt/flume_data/taildir_position.json

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

        3. 执行

          flume-ng agent -n a1 -c $FLUME_HOME/conf -f taildirsource.properties -Dflume.root.logger=INFO,console

      Sequence Generator Source

      1. 序列产生器，从0开始递增到totalEvents，默认情况下totalEvents的值Long.MAX_VALUE

      2. 实际过程中，会利用这个Source测试流动模型是否搭建成功

      3. 案例

        a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置Sequence Generator Source
# 类型必须是seq
a1.sources.s1.type = seq
# 最大值
a1.sources.s1.totalEvents = 100

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

      HTTP Source

      1. 接收HTTP请求，并且将请求内容作为日志进行收集

      2. 只能接收GET和POST请求，其中GET请求接收只能用于实验，实际过程中使用HTTP Source来接收POST请求

      3. 案例

        1. 在文件中添加

          a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置HTTP Source
# 类型必须是http
a1.sources.s1.type = http
# 监听端口
a1.sources.s1.port = 8888

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

        2. 启动Flume

        3. 发送POST请求

          curl -X POST -d '[{"headers":{"class":"flume"},"body":"welcome~~~"}]' http://hadoop01:8888

      Custom Source

      1. Flume支持用户自定义Source。Flume针对Source提供了顶级接口Source，但是实际过程中，并不是实现Source接口，而是实现子接口之一：
        1. EventDrivenSource：事件驱动Source，本身是一个被动型Source，需要自己定义线程来获取数据以及封装数据
        2. PollableSource：拉取Source，本身是一个主动型Source，提供了线程来获取数据，只需要考虑数据怎么封装即可
      2. 由于在自定义Source的时候，还需要考虑获取格式文件中的参数值，所以还需要实现Configurable接口
      3. 实际过程中，考虑到要覆盖的方法比较多，所以继承AbstractSource
      pom依赖
      <!--Flume核心包-->
<dependency>
    <groupId>org.apache.flume</groupId>
    <artifactId>flume-ng-core</artifactId>
    <version>1.11.0</version>
</dependency>
<!--Flume开发包-->
<dependency>
    <groupId>org.apache.flume</groupId>
    <artifactId>flume-ng-sdk</artifactId>
    <version>1.11.0</version>
</dependency>
<!--Flume配置包-->
<dependency>
    <groupId>org.apache.flume</groupId>
    <artifactId>flume-ng-configuration</artifactId>
    <version>1.11.0</version>
</dependency>
      自定义EventDrivenSource
      代码
      import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.EventDrivenSource;
import org.apache.flume.channel.ChannelProcessor;
import org.apache.flume.conf.Configurable;
import org.apache.flume.event.EventBuilder;
import org.apache.flume.source.AbstractSource;

import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

// 自定义代码实现Sequence Generator Source，加深理解
public class AuthDrivenSource extends AbstractSource implements EventDrivenSource, Configurable {
private long start;
private long end;
private long step;
private ExecutorService es;

// 获取参数值
@Override
public void configure(Context context) {
    // 3 -> +4
    // 获取起始值
    // 如果用户没有指定，那么默认从0开始递增
    start = context.getLong("start", 0L);
    // 获取结束值
    // 如果不指定，递增到Long.MAX_VALUE
    end = context.getLong("end", Long.MAX_VALUE);
    // 获取步长
    // 如果不指定，那么默认每次递增1
    step = context.getLong("step", 1L);
    // 保证数据的合理性
    if (start > end || step < 1)
        throw new IllegalArgumentException();
}

// 启动Source
@Override
public synchronized void start() {
    // 线程池中准备5个线程
    es = Executors.newFixedThreadPool(5);
    // 获取ChannelProcessor
    ChannelProcessor cp = this.getChannelProcessor();
    // 提交任务
    es.submit(new Add(start, end, step, cp));
}

// 结束Source
@Override
public synchronized void stop() {
    if (es != null) es.shutdown();
}}

// 自增
class Add implements Runnable {private final long start;
private final long end;
private final long step;
private final ChannelProcessor cp;

public Add(long start, long end, long step, ChannelProcessor cp) {
    this.start = start;
    this.end = end;
    this.step = step;
    this.cp = cp;
}

@Override
public void run() {

    for (long i = start; i < end; i += step) {
        // 封装headers
        // 在headers中记录了数据产生的时间
        Map<String, String> headers = new HashMap<>();
        headers.put("time", String.valueOf(System.currentTimeMillis()));
        // 封装body
        byte[] body = String.valueOf(i).getBytes();
        // 将数据封装成Event
        Event e = EventBuilder.withBody(body, headers);
        // 将Event传递给Channel来存储
        cp.processEvent(e);
    }
}
}

      1. 将程序打成jar包（要求是JDK1.8，好多框架还不支持17版本），上传到Flume安装目录的lib目录下

        cd /opt/software/flume-1.11.0/lib/
rz

      2. 回到格式文件目录下，编辑文件

        cd /opt/software/flume-1.11.0/data/
vim authdrivensource.properties

        在文件中添加

        a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置自定义EventDrivenSource
# 类型必须是类的全路径名
a1.sources.s1.type = com.fesco.source.AuthDrivenSource
# 起始值
a1.sources.s1.start = 10
# 结束值
a1.sources.s1.end = 100
# 步长
a1.sources.s1.step = 5

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

      3. 启动Flume

      自定义PollableSource
      代码
      import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.PollableSource;
import org.apache.flume.channel.ChannelProcessor;
import org.apache.flume.conf.Configurable;
import org.apache.flume.event.EventBuilder;
import org.apache.flume.source.AbstractSource;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;


public class AuthPollableSource extends AbstractSource implements PollableSource, Configurable {
private long min;
private long max;
private long step;

// 获取配置
@Override
public void configure(Context context) {
    this.min = context.getLong("min", 0L);
    this.max = context.getLong("max", Long.MAX_VALUE);
    this.step = context.getLong("step", 1L);
    if (min > max || step < 1)
        throw new IllegalArgumentException();
}

// 封装数据，写出数据
@Override
public Status process() {
    // 定义List来临时存储数据
    List<Event> events = new ArrayList<>();
    // 获取ChannelProcessor
    ChannelProcessor cp = this.getChannelProcessor();
    for (long i = min; i < max; i += step) {
        // 封装headers
        Map<String, String> headers = new HashMap<>();
        headers.put("timestamp", String.valueOf(System.currentTimeMillis()));
        // 封装body
        byte[] body = String.valueOf(i).getBytes();
        // 封装Event
        Event e = EventBuilder.withBody(body, headers);
        events.add(e);
        // 每50条数据写一次
        if (events.size() >= 50) {
            // 写出数据。这个方法一次写出多个
            cp.processEventBatch(events);
            // 清空集合
            events.clear();
        }
    }
    return Status.READY;
}

// PollableSource主动提供线程来获取数据
// 如果线程暂时没有获取到数据，那么线程会临时休眠
// 这个方法就是控制线程的休眠时间，单位是毫秒
@Override
public long getBackOffSleepIncrement() {
    return 1000;
}

@Override
public long getMaxBackOffSleepInterval() {
    return 10000;
}
}

      1. 打成jar包，上传到lib目录下

        cd ../lib
rz

      2. 回到格式文件目录下，编辑文件

        cd ../data/
vim authpollablesource.properties

        在文件中添加

        a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置自定义PollableSource
# 类型必须是类的全路径名
a1.sources.s1.type = com.fesco.source.AuthPollableSource   //注意自己的全类名
# 起始值
a1.sources.s1.min = 10
# 结束值
a1.sources.s1.max = 1000
# 步长
a1.sources.s1.step = 5

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

      cd …/data/
      vim authpollablesource.properties

      
在文件中添加

```properties
a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置自定义PollableSource
# 类型必须是类的全路径名
a1.sources.s1.type = com.fesco.source.AuthPollableSource   //注意自己的全类名
# 起始值
a1.sources.s1.min = 10
# 结束值
a1.sources.s1.max = 1000
# 步长
a1.sources.s1.step = 5

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1
      1. 启动Flume

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/476919.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

html5cssjs代码 033 SVG元素示例

html5cssjs代码 033 SVG元素示例

html5&css&js代码 033 SVG元素示例 一、代码二、解释 一个SVG图形&#xff0c;该图形由一个椭圆、一个圆形和一个矩形组成。 一、代码 <!DOCTYPE html> <html lang"zh-cn"> <head><title>编程笔记 html5&css&js SVG元素示例…
阅读更多...
uniApp中使用小程序XR-Frame创建3D场景（1）环境搭建

uniApp中使用小程序XR-Frame创建3D场景（1）环境搭建

1.XR-Frame简介 XR-Frame作为微信小程序官方推出的3D框架&#xff0c;是目前所有小程序平台中3D效果最好的一个&#xff0c;由于其本身针对微信小程序做了优化&#xff0c;在性能方面比其他第三方库都要高很多。 2.与Three.js的区别 做3D小程序的同学们对Three.js一定不陌生…
阅读更多...
利用Jmeter工具对服务器,数据库进行性能监控,压测,导出性能测试报告

利用Jmeter工具对服务器,数据库进行性能监控,压测,导出性能测试报告

Jmeter是Apache基金会旗下的一款免费,开源,轻量级的性能测试工具,主要针对web应用程序客户端/服务器进行性能测试.它可以分别测试静态、动态资源(Java Servlet,CGI Scripts,Java Object,数据库和FTP服务器等),它可以通过线程组来模拟数个用户,在一段时间内同时登录服务器,数个用…
阅读更多...
P8786 [蓝桥杯 2022 省 B] 李白打酒加强版

P8786 [蓝桥杯 2022 省 B] 李白打酒加强版

我的代码&#xff1a; #include <iostream> using namespace std;int dp[101][101][101]; const int mod 1e9 7; //题中说了&#xff0c;答案要取模 int main() {int n, m; //定义遇到店n次&#xff0c;遇花m次cin >> n >> m;dp[0][0][2] 1; //因为题目…
阅读更多...
SpringBoot 3整合Elasticsearch 8

SpringBoot 3整合Elasticsearch 8

这里写自定义目录标题 版本说明spring boot POM依赖application.yml配置新建模型映射Repository简单测试完整项目文件目录结构windows下elasticsearch安装配置 版本说明 官网说明 本文使用最新的版本 springboot: 3.2.3 spring-data elasticsearch: 5.2.3 elasticsearch: 8.1…
阅读更多...
人脸表情识别系统项目完整实现详解——（三）训练MobileNet深度神经网络识别表情

人脸表情识别系统项目完整实现详解——（三）训练MobileNet深度神经网络识别表情

摘要&#xff1a;之前的表情识别系统升级到v3.0版本&#xff0c;本篇博客详细介绍使用PyTorch框架来构建并训练MobileNet V3模型以进行实现表情识别&#xff0c;给出了完整实现代码和数据集可供下载。从构建数据集、搭建深度学习模型、数据增强、早停等多种技术&#xff0c;到模…
阅读更多...
Tomcat介绍，Tomcat服务部署

Tomcat介绍，Tomcat服务部署

目录 一、Tomcat 介绍 二、Tomcat 核心技术和组件 2.1、Web 容器&#xff1a;完成 Web 服务器的功能 2.2、Servlet 容器&#xff0c;名字为 catalina&#xff0c;用于处理 Servlet 代码 2.3、JSP 容器&#xff1a;用于将 JSP 动态网页翻译成 Servlet 代码 Tomcat 功能组件…
阅读更多...
蓝桥杯-模拟-旋转图片

蓝桥杯-模拟-旋转图片

题目 思路 Python中range() 函数的使用介绍_python指定范围内的整数-CSDN博客 range(start, stop, step)&#xff1a;生成一个序列包含start到stop-1的整数&#xff0c;其中步长为step 代码 n, m map(int, input().split()) a [list(map(int, input().split())) for _ in…
阅读更多...
3D轻量引擎HOOPS SDK：EDA应用程序高效开发利器

3D轻量引擎HOOPS SDK：EDA应用程序高效开发利器

电子设计自动化&#xff08;EDA&#xff09;软件在现代工程实践中扮演着至关重要的角色。随着技术的不断进步和市场的竞争加剧&#xff0c;开发高效、可靠的EDA应用程序成为了行业内的一项迫切需求。在这一背景下&#xff0c;Tech Soft 3D的HOOPS SDK&#xff08;Software Deve…
阅读更多...
易大师B版运势测算系统源码-八字周易运势塔罗-含视频搭建教程

易大师B版运势测算系统源码-八字周易运势塔罗-含视频搭建教程

2024最新易大师B版运势测算系统源码-八字周易运势塔罗等测算源码 基于上个版本再次做了数据优化和部分bug修复&#xff0c;青狐独家维护版本。 测算周易系统一直都是很好变现和运营的&#xff0c;玩法操作也比较简单&#xff0c;也很容易被百度收录推广。 大致功能&#xff1a…
阅读更多...
如何让uni-app开发的H5页面顶部原生标题和小程序的顶部标题不一致？

如何让uni-app开发的H5页面顶部原生标题和小程序的顶部标题不一致？

如何让标题1和标题2不一样&#xff1f; 修改根目录下的App.vue&#xff08;核心代码如下&#xff09; <script>export default {onLaunch() {// 监听各种跳转----------------------------------------[navigateTo, redirectTo, reLaunch, switchTab, navigateBack, ].…
阅读更多...
【进阶五】Python实现SDVRP（需求拆分）常见求解算法——自适应大邻域算法（ALNS）

【进阶五】Python实现SDVRP（需求拆分）常见求解算法——自适应大邻域算法（ALNS）

基于python语言&#xff0c;采用经典自适应大邻域算法&#xff08;ALNS&#xff09;对 需求拆分车辆路径规划问题&#xff08;SDVRP&#xff09; 进行求解。 目录 往期优质资源1. 适用场景2. 代码调整3. 求解结果4. 代码片段参考 往期优质资源 经过一年多的创作&#xff0c;目前…
阅读更多...
docker入门（九）—— docker网络详细介绍

docker入门（九）—— docker网络详细介绍

docker 网络 准备工作&#xff1a;清空所有镜像和容器 docker rm -f $(docker ps -aq) docker rmi -f $(docker images -aq)docker0 网络 查看本地网络 ip addr[rootiZbp15293q8kgzhur7n6kvZ /]# ip addr# 本地回环网络 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc…
阅读更多...
社交媒体的未来：探讨Facebook的发展趋势

社交媒体的未来：探讨Facebook的发展趋势

引言 在数字化时代&#xff0c;社交媒体已经成为人们日常生活中不可或缺的一部分。作为全球最大的社交媒体平台之一&#xff0c;Facebook一直在不断地追求创新&#xff0c;以满足用户日益增长的需求和适应科技发展的变革。本文将探讨Facebook在未来发展中可能面临的挑战和应对…
阅读更多...
谷粒商城——缓存的概念

谷粒商城——缓存的概念

1. 使用缓存的好处&#xff1a;减少数据库的访问频率&#xff0c;提高用户获取数据的速度。 2. 什么样的数据适合存储到缓存中&#xff1f; ①及时性、数据一致性要求不高的数据&#xff0c;例如物流信息、商品类目信息 ②访问量大更新频率不高的数据(读多、写少) 3. 读模式…
阅读更多...
把txt、pdf等文件转为一行一行的doccano数据集输入格式

把txt、pdf等文件转为一行一行的doccano数据集输入格式

文章目录 doccano 数据集导入简介代码实现代码运行结果代码公开 doccano 数据集导入 在Doccano 导入数据集时&#xff0c;使用TextLine的文件格式&#xff0c;导入的文件需要为一行一行文本的数据格式&#xff0c;每一行文本在导入Doccano后就是一条数据。 简介 主要工作说明…
阅读更多...
docker镜像安装空间不足no space left on device

docker镜像安装空间不足no space left on device

报错&#xff1a;Error processing tar file(exit status 1): open /usr/local/lib/libmkl_tbb_thread.so.1: no space left on device 原先docker模型保存位置&#xff1a; docker info -f ‘{{ .DockerRootDir}}’ docker 高点版本&#xff0c;这里26.0 解决参考&#xf…
阅读更多...
评论家：大型语言模型可以通过工具交互式批评进行自我修正（ICLR2024）

评论家：大型语言模型可以通过工具交互式批评进行自我修正（ICLR2024）

1、写作动机&#xff1a; 大语言模型有时会显示不一致性和问题行为&#xff0c;例如产生幻觉事实、生成有缺陷的代码或创建令人反感和有毒的内容。与这些模型不同&#xff0c;人类通常利用外部工具来交叉检查和改进他们的初始内容&#xff0c;比如使用搜索引擎进行事实检查&am…
阅读更多...
R语言Meta分析核心技术：回归诊断与模型验证

R语言Meta分析核心技术：回归诊断与模型验证

R语言作为一种强大的统计分析和绘图语言&#xff0c;在科研领域发挥着日益重要的作用。其中&#xff0c;Meta分析作为一种整合多个独立研究结果的统计方法&#xff0c;在R语言中得到了广泛的应用。通过R语言进行Meta分析&#xff0c;研究者能够更为准确、全面地评估某一研究问题…
阅读更多...
【理解机器学习算法】之Clustering算法(DBSCAN)

【理解机器学习算法】之Clustering算法(DBSCAN)

DBSCAN&#xff08;基于密度的空间聚类应用噪声&#xff09;是数据挖掘和机器学习中一个流行的聚类算法。与K-Means这样的划分方法不同&#xff0c;DBSCAN特别擅长于识别数据集中各种形状和大小的聚类&#xff0c;包括存在噪声和离群点的情况。 以下是DBSCAN工作原理的概述&am…
阅读更多...
最新文章

Copyright @ 2022~2023