【elasticsearch实战】知识库文件系统检索工具FSCrawler

需求背景

最近有一个需求需要建设一个知识库文档检索系统，这些知识库物料附件的文档居多，有较多文档格式如：PDF, Open Office, MS Office等，需要将这些格式的文件转化成文本格式，写入elasticsearch 的全文检索索引，方便搜索。 我这里介绍一种工具不考虑文件原来格式，但能方便将转化的文档写入到对应的es 索引，并且支持OCR识别扫描版本的pdf文档。

FSCrawler介绍

使用官方文档
github：https://github.com/dadoonet/fscrawler/tree/master

主要功能

  1. 本地文件系统（挂载盘）爬取和创建文件索引，更新已经存在的和删除旧的文档；
  2. 远程文件系统爬取例如：SSH/FTP等；
  3. 允许 REST 接口方式上传你的二进制文件到 es。

下载和安装

docker 下载

docker pull dadoonet/fscrawler

运行

docker run -it --rm \
     -v ~/.fscrawler:/root/.fscrawler \
     -v ~/tmp:/tmp/es:ro \
     dadoonet/fscrawler fscrawler job_name
  1. /root/.fscrawler 是程序的工作目录，会读取该目录下的_settings.yaml 文件，如果不存在会默认创建一个；
  2. /tmp/es:ro 是待爬取的文件目录，该文件夹下的文件会被读取，写入es 对应的索引，其中索引可以在_settings.yaml 中指定，如果不指定会默认创建索引名为，启动任务的名称job_name_folder。

实践说明

我们下面创建一个爬取任务 job_name 为例进行功能说明。

创建工作目录

我创建一个工作目录如下：

/data/workspace/app/fscrawler

我在这个文件夹下创建了一个文件目录：./es 用于存放我需要索引的文件，_settings.yaml用于配置爬取的任务。

_settings.yaml 文件配置

为了验证各种文件格式，

  1. 我配置了支持ocr 识别，支持中文和英文字符识别；
  2. 为了能快速验证，文件目录检查时间我设置为1min；
  3. 配置了一个es 数据库用于存储解析后的数据，但没指定索引。
    _settings.yaml 文件如下（具体字段意义见注释说明）：
---
name: "job_name" # job name
fs:
  url: "/tmp/es" # 要索引文件路径
  update_rate: "1m" # 更新频率
  excludes: # 排除文件
  - "*/~*"
  json_support: false # 是否支持json
  filename_as_id: false # 是否将文件名作为id
  add_filesize: true # 是否添加文件大小
  remove_deleted: true # 是否删除已删除的文件
  add_as_inner_object: false # 是否将文件内容作为内部对象
  store_source: false # 是否存储源文件
  index_content: true # 是否索引内容
  attributes_support: false # 是否支持属性
  raw_metadata: false # 是否原始元数据
  xml_support: false # 是否支持xml
  index_folders: true # 是否索引文件夹
  lang_detect: false # 是否检测语言
  continue_on_error: false # 是否继续错误
  add_as_inner_object: true # 是否将文件内容作为内部对象
  ocr:
    language: "chi_sim+eng" # 识别语言
    enabled: true # 是否启用ocr
    pdf_strategy: "ocr_and_text" # pdf策略
  follow_symlinks: false # 是否跟随符号链接
elasticsearch:
  nodes:
  - url: "http://xxx.xxx.xxx.xxx:9200"
  username: xxx
  password: xxxx
  bulk_size: 100
  flush_interval: "5s"
  byte_size: "10mb"
  ssl_verification: true
  push_templates: true

启动任务

docker run -it --rm \
   -v /data/workspace/app/fscrawler:/root/.fscrawler \
   -v /data/workspace/app/fscrawler/es:/tmp/es:ro \
   dadoonet/fscrawler fscrawler job_name
   
02:41:04,665 INFO  [f.console] ,----------------------------------------------------------------------------------------------------.
|       ,---,.  .--.--.     ,----..                                     ,--,           2.10-SNAPSHOT |
|     ,'  .' | /  /    '.  /   /   \                                  ,--.'|                         |
|   ,---.'   ||  :  /`. / |   :     :  __  ,-.                   .---.|  | :               __  ,-.   |
|   |   |   .';  |  |--`  .   |  ;. /,' ,'/ /|                  /. ./|:  : '             ,' ,'/ /|   |
|   :   :  :  |  :  ;_    .   ; /--` '  | |' | ,--.--.       .-'-. ' ||  ' |      ,---.  '  | |' |   |
|   :   |  |-, \  \    `. ;   | ;    |  |   ,'/       \     /___/ \: |'  | |     /     \ |  |   ,'   |
|   |   :  ;/|  `----.   \|   : |    '  :  / .--.  .-. | .-'.. '   ' .|  | :    /    /  |'  :  /     |
|   |   |   .'  __ \  \  |.   | '___ |  | '   \__\/: . ./___/ \:     ''  : |__ .    ' / ||  | '      |
|   '   :  '   /  /`--'  /'   ; : .'|;  : |   ," .--.; |.   \  ' .\   |  | '.'|'   ;   /|;  : |      |
|   |   |  |  '--'.     / '   | '/  :|  , ;  /  /  ,.  | \   \   ' \ |;  :    ;'   |  / ||  , ;      |
|   |   :  \    `--'---'  |   :    /  ---'  ;  :   .'   \ \   \  |--" |  ,   / |   :    | ---'       |
|   |   | ,'               \   \ .'         |  ,     .-./  \   \ |     ---`-'   \   \  /             |
|   `----'                  `---`            `--`---'       '---"                `----'              |
+----------------------------------------------------------------------------------------------------+
|                                        You know, for Files!                                        |
|                                     Made from France with Love                                     |
|                           Source: https://github.com/dadoonet/fscrawler/                           |
|                          Documentation: https://fscrawler.readthedocs.io/                          |
`----------------------------------------------------------------------------------------------------'

02:41:04,683 INFO  [f.p.e.c.f.c.BootstrapChecks] Memory [Free/Total=Percent]: HEAP [560.9mb/8.7gb=6.25%], RAM [19.6gb/35gb=56.2%], Swap [0b/0b=0.0].
02:41:04,860 WARN  [f.p.e.c.f.s.Elasticsearch] username is deprecated. Use apiKey instead.
02:41:04,860 WARN  [f.p.e.c.f.s.Elasticsearch] password is deprecated. Use apiKey instead.
02:41:04,869 INFO  [f.p.e.c.f.FsCrawlerImpl] Starting FS crawler
02:41:04,869 INFO  [f.p.e.c.f.FsCrawlerImpl] FS crawler started in watch mode. It will run unless you stop it with CTRL+C.
SLF4J: No SLF4J providers were found.
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See https://www.slf4j.org/codes.html#noProviders for further details.
SLF4J: Class path contains SLF4J bindings targeting slf4j-api versions 1.7.x or earlier.
SLF4J: Ignoring binding found at [jar:file:/usr/share/fscrawler/lib/log4j-slf4j-impl-2.22.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See https://www.slf4j.org/codes.html#ignoredBindings for an explanation.
02:41:05,230 INFO  [f.p.e.c.f.c.ElasticsearchClient] Elasticsearch Client connected to a node running version 8.8.1
02:41:05,266 INFO  [f.p.e.c.f.c.ElasticsearchClient] Elasticsearch Client connected to a node running version 8.8.1
02:41:05,331 INFO  [f.p.e.c.f.FsParserAbstract] FS crawler started for [job_name] for [/tmp/es] every [1m]
02:42:05,430 INFO  [f.p.e.c.f.t.TikaInstance] OCR is enabled. This might slowdown the process.

启动成功后，如果是首次启动，没有指定索引和settings.yaml 文件的话会自动创建，当日志会给出警告。

启动成功后文件目录发生了变化：

  1. 自动创建_default文件夹， 该文件夹下会生成es版本6，7，8对应的全文索引的默认的schema；
  2. 自动创建一个_status.json文件，用来检查上次运行的时间和文件变更信息，如下：
{
  "name" : "job_name",
  "lastrun" : "2024-02-21T07:55:58.851263972",
  "indexed" : 0,
  "deleted" : 0
}

本地索引目录添加文件

fscrawler配置的每间隔1分钟进行一次文件同步操作，这里需要注意：
1、如果需要启动时将历史文件全量同步的话，需要在启动fscrawler之前就将文件放入settings.yaml配置字段 url对应的文件路径，我们配置的是/tmp/es,容器映射的文件目录是：/data/workspace/app/fscrawler/es 。

2、后续启动后创建了_status.json文件，文件里面的字段lastrun表示上次同步运行的时间，如果文件的修改时间在这个时间之前，是不会同步更新的，新增的文件修改时间必须是在这个时间之后才会同步。

在kibana验证同步效果(我的kibana 版本 8.8.1)

我在es目录下创建了多个格式的文件，包括txt、 doc、docx、ppt、pdf 和扫描件pdf 总共28个文件，文件目录如下：
在这里插入图片描述

在es中查看索引文档

  1. 在kibana创建可视化搜索应用，左侧菜单->Enterprise->Search Application；
    在这里插入图片描述

  2. 点击创建并选择下拉选择的索引，输入应用名称即可
    在这里插入图片描述
    在这里插入图片描述

  3. 展示效果，可以看到文件内容和文件类型，pdf的扫描件效果也不错。
    在这里插入图片描述

支持rest接口上传文件

启动时新增参数--rest 即可启动rest接口上传文件（注意：我本地为了测试方便使用--net=host -p 8080:8080 来映射主机端口到容器）

docker run -it --net=host -p 8080:8080 --rm \
     -v /data/workspace/app/fscrawler:/root/.fscrawler \
     -v /data/workspace/app/fscrawler/es:/tmp/es:ro \
     dadoonet/fscrawler fscrawler job_name --rest
  1. 启动后可以查看fscrawler 状态和配置
// http://127.0.0.1:8080/fscrawler

{
  "ok": true,
  "version": "2.10-SNAPSHOT",
  "elasticsearch": "8.8.1",
  "settings": {
    "name": "job_name",
    "fs": {
      "url": "/tmp/es",
      "update_rate": "1m",
      "excludes": [
        "*/~*"
      ],
      "json_support": false,
      "filename_as_id": false,
      "add_filesize": true,
      "remove_deleted": true,
      "add_as_inner_object": true,
      "store_source": false,
	  ...
  1. 上传文件
~/workspace » echo "This is my text" > test.txt                                                                     
~/workspace » curl -F "file=@test.txt" "http://127.0.0.1:8080/fscrawler/_document"                                   ernestxwli@VM-142-118-tencentos
{"ok":true,"filename":"test.txt","url":"http://xxx.xxx.xxx.xxx:9200/job_name/_doc/dd18bf3a8ea2a3e53e2661c7fb53534"}%
  1. 上传文件并添加额外标签
    写入文件额外信息json到tags.txt, 内容如下{"external":{"tenantId": 24,"projectId": 34,"description":"these are additional tags"}}
curl -F "file=@test.txt" -F "tags=@tags.txt" "http://127.0.0.1:8080/fscrawler/_document"
  1. 查看es索引文档信息
    在这里插入图片描述

可以看到业务可以根据自己的需要对文件进行字段扩展，以便满足业务需求， 当然还提供了其他接口来处理文件的删除等，详见官方文档。

总结

FSCrawler 提供了一站式的集成方案用来解决各种文档数据转化并存储到es数据库，也有一定的灵活性来自定义拓展字段，可以作为一种文档转换存储工具的选择之一。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/401748.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

解决app中以webview的方式嵌入h5网页，h5网页加载不出来

解决app中以webview的方式嵌入h5网页，h5网页加载不出来

问题描述：我的h5网页在web端和手机浏览器都能正常渲染展示，但是嵌入到客户的webview中，渲染加载不出来，仔细检查代码之后并没有任何代码错误和后台报错。抓耳挠腮查找两天之后发现，原因为整个h5网页的最外层高度设置成…
阅读更多...
六、回归与聚类算法 - 线性回归

六、回归与聚类算法 - 线性回归

目录 1、线性回归的原理 1.1 应用场景 1.2 什么是线性回归 1.2.1 定义 1.2.2 线性回归的特征与目标的关系分析 2、线性回归的损失和优化原理 2.1 损失函数 2.2 优化算法 2.2.1 正规方程 2.2.2 梯度下降 3、线性回归API 4、回归性能评估 5、波士顿房价预测 5.1 流…
阅读更多...
打造纯Lua组件化开发模式：Unity xLua框架详解

打造纯Lua组件化开发模式：Unity xLua框架详解

在传统的Unity开发中，通常会使用C#来编写游戏逻辑和组件。但是，随着Lua在游戏开发中的应用越来越广泛，我们可以将游戏逻辑和组件完全用Lua来实现，实现纯Lua的组件化开发模式。这样做的好处是可以更加灵活地修改游戏逻辑&#xff0…
阅读更多...
Python: argparse基本用法

Python: argparse基本用法

Python: argparse基本用法 🌈 个人主页：高斯小哥 🔥 高质量专栏：【Matplotlib之旅：零基础精通数据可视化】 💡 创作高质量博文，分享更多关于深度学习、PyTorch、Python领域的优质内容&#xff0…
阅读更多...
小程序--引入vant组件库

小程序--引入vant组件库

一、npm初始化 在微信开发者工具中打开终端，输入npm init，对npm进行初始化 二、安装vant组件库 npm install vant/weapp 三、修改app.json 修改 app.json，移除全局配置 "style": "v2"，否则 Vant 组件的样式…
阅读更多...
Vectorlabs橙黄网胞盘菌凝集素（Aleuria Aurantia Lectin）

Vectorlabs橙黄网胞盘菌凝集素（Aleuria Aurantia Lectin）

与荆豆凝集素和莲藕凝集素偏好（α-1,2）连接的岩藻糖残基不同，AAL由2个相同36kDa大小的亚基组成的二聚体，与fucose linked (α -1,6) to N-acetylglucosamine或fucose linked (α -1,3) to N-acetyllactosamine相关结构结合。AAL也…
阅读更多...
Linux多线程服务端编程：使用muduo C++网络库 学习笔记 第十二章 C++经验谈（二）

Linux多线程服务端编程：使用muduo C++网络库 学习笔记 第十二章 C++经验谈（二）

12.8.4 用partition()实现“重排数组，让奇数位于偶数前面” std::partition()的作用是把符合条件的元素放到区间首部，不符合条件的元素放到区间后部，我们只需把“符合条件”定义为“元素是奇数”就能解决这道题。复杂度是O(N)时间和O(1)空间…
阅读更多...
Web 3超入门—踏上Web 3.0的征程：超入门探索指南【文末送书-21】

Web 3超入门—踏上Web 3.0的征程：超入门探索指南【文末送书-21】

文章目录 Web 3超入门—踏上Web 3.0的征程：超入门探索指南1. 什么是Web 3.0？2. 区块链技术3. 去中心化应用（DApps）4. 数字身份和隐私5. 通证经济6. Web 3.0的应用领域Web 3超入门【文末送书-21】 Web 3超入门—踏上Web 3.0的征程&…
阅读更多...
TSINGSEE青犀AI智能分析网关V4初始配置与算法相关配置介绍

TSINGSEE青犀AI智能分析网关V4初始配置与算法相关配置介绍

TSINGSEE青犀AI智能分析网关V4内置了近40种AI算法模型，支持对接入的视频图像进行人、车、物、行为等实时检测分析，上报识别结果，并能进行语音告警播放。硬件管理平台支持RTSP、GB28181协议、以及厂家私有协议接入，可兼容市面上常见…
阅读更多...
OM6650AM 一款低功耗车规级蓝牙5.1SoC芯片

OM6650AM 一款低功耗车规级蓝牙5.1SoC芯片

OM6650AM是一款超低功耗、同时支持蓝牙5.1协议栈与2.4GHz私有协议的双模无线连接SoC芯片，采用4.0 mm x 4.0 mm QFN32封装，具有丰富的资源，极低的功耗，优异的射频性能，可广泛应用于车载数字钥匙模组、胎压检测、PKE钥匙…
阅读更多...
机器视觉技术的演进：YOLO系列与Halcon的深度对比

机器视觉技术的演进：YOLO系列与Halcon的深度对比

YOLO系列的发展历程 YOLO，作为一种流行的实时目标检测算法，自2015年首次被提出以来，经历了多个版本的迭代。最初的YOLOv1因其独特的单次检测框架而备受关注，它将图像分割成网格，并对每个网格预测多个边界框和类别概率&…
阅读更多...
vue-利用属性（v-if）控制表单（el-form-item）显示/隐藏

vue-利用属性（v-if）控制表单（el-form-item）显示/隐藏

表单控制属性 v-if 示例&#xff1a; 通过switch组件作为开关&#xff0c;控制表单的显示与隐藏 <el-form-item label"创建数据集"><el-switch v-model"selectFormVisible"></el-switch></el-form-item><el-form-item label&…
阅读更多...
嵌入式Qt 计算器核心算法_2

嵌入式Qt 计算器核心算法_2

一.中缀表达式转后缀表达式 中缀表达式是最常用的算术表达式形式——运算符在运算数中间。但运算时需要考虑运算符优先级。 ​后缀表达式是计算机容易运算的表达式&#xff0c;运算符在运算数后面&#xff0c;从左到右进行运算,无需考虑优先级,运算呈线性结构。 1 2 * 3// …
阅读更多...
Redis突现拒绝连接问题处理总结

Redis突现拒绝连接问题处理总结

一、问题回顾 项目突然报异常 [INFO] 2024-02-20 10:09:43.116 i.l.core.protocol.ConnectionWatchdog [171]: Reconnecting, last destination was 192.168.0.231:6379 [WARN] 2024-02-20 10:09:43.120 i.l.core.protocol.ConnectionWatchdog [151]: Cannot reconnect…
阅读更多...
数据库管理-第151期 Oracle Vector DB AI-03（20240218）

数据库管理-第151期 Oracle Vector DB AI-03（20240218）

数据库管理151期 2024-02-18 数据库管理-第151期 Oracle Vector DB & AI-03&#xff08;20240218&#xff09;1 向量数据库应用场景2 Oracle Vector DB3 Vector数据类型4 Vector运算5 Vector DML插入向量获取向量 总结 数据库管理-第151期 Oracle Vector DB & AI-03&am…
阅读更多...
【计算机网络】socket 网络套接字

【计算机网络】socket 网络套接字

网络套接字 一、端口号1. 认识端口号2. socket 二、认识TCP协议和UDP协议1. TCP协议2. UDP协议 三、网络字节序四、socket 编程1. socket 常见API2. sockaddr 结构3. 编写 UDP 服务器&#xff08;1&#xff09;socket()&#xff08;2&#xff09;bind()&#xff08;3&#xff0…
阅读更多...
170基于matlab的DNCNN图像降噪

170基于matlab的DNCNN图像降噪

基于matlab的DNCNN图像降噪&#xff0c;网络分为三部分&#xff0c;第一部分为ConvRelu&#xff08;一层&#xff09;&#xff0c;第二部分为ConvBNRelu&#xff08;若干层&#xff09;&#xff0c;第三部分为Conv&#xff08;一层&#xff09;&#xff0c;网络层数为17或者20层…
阅读更多...
平衡二叉树（AVL），“平衡”是指什么？为什么要“平衡”？

平衡二叉树（AVL），“平衡”是指什么？为什么要“平衡”？

一、“平衡因子”是什么&#xff1f; 定义&#xff1a;某节点的左子树 与 右子树的高度(深度)差&#xff0c;即为该节点的平衡因子&#xff08;BF,Balance Factor&#xff09;。 二、 原文链接&#xff1a;https://blog.csdn.net/kexuanxiu1163/article/details/103080901 …
阅读更多...
指针的进阶（C语言）（下）

指针的进阶（C语言）（下）

目录 4、数组参数、指针参数传参 4.1一维数组传参 4.2二维数组传参 4.3 一级指针传参 4.4 二级指针传参 5、函数指针 6、函数指针数组 7、指向函数指针数组的指针 8、回调函数 总结 续上篇 4、数组参数、指针参数传参 在写代码的时候难免把【数组】或者【指针】传给…
阅读更多...
MySQL 多表操作

MySQL 多表操作

一.多表关系 1.一对一关系 一个学生只有一张身份证&#xff1b;一张身份证只能对应一个学生。 在任一表中添加外键&#xff0c;指向另一方主键&#xff0c;确保一对一关系。 一般一对一关系很少见&#xff0c;遇到一对一关系的表最好合并。 2.一对多/多对一关系 一个部门…
阅读更多...
最新文章

Copyright @ 2022~2023