elasticsearch 内网下如何以离线的方式上传任意的huggingFace上的NLP模型（国内避坑指南）

        es自2020年的8.x版本以来，就提供了机器学习的能力。我们可以使用es官方提供的工具eland，将hugging face上的NLP模型，上传到es集群中。利用es的机器学习模块，来运维部署管理模型。配合es的管道处理，来更加便捷的处理数据。
        但是在国内操作，根据官方文档或者根据官方博客操作，有无穷无尽的坑。看着官方的文档写的很清楚，实际上操作的时候，还是操作不下来。这里写一个闭坑指南。
        在你上车体验ES的机器学习之前，看看我这篇文章，肯定是会有收获的。因为我已经花了时间，踩了坑，并解决了它。

上传模型存在的坑

  1. 第一个坑是，es的机器学习，是收费的功能，白金版才能使用。这里需要开启试用才能用（试用期限为一个月）。如果只是体验，一个月已经足够了。体验效果不错，就可以找老板花钱了。（不过网上也有很多绿色的方案，可以用，不推荐，有法律风险，特别是商用）
  2. 开启白金试用，需要开启xpack安全认证，开启用户认证，在kibana上登录的时候，要使用elastic用户登录，否则无法开启试用，会告诉你无权限。
  3. 网络环境问题。如果你能开启科学上网，肯定可以避免问题。但是即使有科学上网，也只是体验一下。并不是生产实践方案，生产环境通常都是在内网环境下，即使能上网，也肯定是在国内网络环境下。这会有各种各样的问题。所以要做我们就做生产环境版本，要做就做离线版本。举一个最简答的例子，国内的网络，很难访问huggingface，去拉取模型。

    这里是我直接使用eland，上传模型的时候遇到的错误。

    docker run -it   -v /u01/isi/.cache/huggingface/hub/:/usr/local/bin/eland_import_hub_model  --rm elastic/eland \
eland_import_hub_model \
--url http://elastic:123123@10.99.100.49:9200 \
--hub-model-id sentence-transformers/clip-ViT-B-32-multilingual-v1 \
--task-type text_embedding \
--start

    报错为无法访问huggingface.co 国内域名污染导致的。如果可以挂代理，可以解决。如果没有代理，则看下边离线安装版本

    2023-11-22 09:40:30,738 INFO : Establishing connection to Elasticsearch
2023-11-22 09:40:30,751 INFO : Connected to cluster named 'es' (version: 8.8.0)
2023-11-22 09:40:30,752 INFO : Loading HuggingFace transformer tokenizer and model 'sentence-transformers/clip-ViT-B-32-multilingual-v1'
'HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /sentence-transformers/clip-ViT-B-32-multilingual-v1/resolve/main/tokenizer_config.json (Caused by ConnectTimeoutError(<urllib3.connection.HTTPSConnection object at 0x7f50eb16cc10>, 'Connection to huggingface.co timed out. (connect timeout=10)'))' thrown while requesting HEAD https://huggingface.co/sentence-transformers/clip-ViT-B-32-multilingual-v1/resolve/main/tokenizer_config.json
2023-11-22 09:40:41,125 WARNING : 'HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /sentence-transformers/clip-ViT-B-32-multilingual-v1/resolve/main/tokenizer_config.json (Caused by ConnectTimeoutError(<urllib3.connection.HTTPSConnection object at 0x7f50eb16cc10>, 'Connection to huggingface.co timed out. (connect timeout=10)'))' thrown while requesting HEAD https://huggingface.co/sentence-transformers/clip-ViT-B-32-multilingual-v1/resolve/main/tokenizer_config.json
'HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /sentence-transformers/clip-ViT-B-32-multilingual-v1/resolve/main/config.json (Caused by ConnectTimeoutError(<urllib3.connection.HTTPSConnection object at 0x7f50eb16cfd0>, 'Connection to huggingface.co timed out. (connect timeout=10)'))' thrown while requesting HEAD https://huggingface.co/sentence-transformers/clip-ViT-B-32-multilingual-v1/resolve/main/config.json
2023-11-22 09:40:51,583 WARNING : 'HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /sentence-transformers/clip-ViT-B-32-multilingual-v1/resolve/main/config.json (Caused by ConnectTimeoutError(<urllib3.connection.HTTPSConnection object at 0x7f50eb16cfd0>, 'Connection to huggingface.co timed out. (connect timeout=10)'))' thrown while requesting HEAD https://huggingface.co/sentence-transformers/clip-ViT-B-32-multilingual-v1/resolve/main/config.json
Traceback (most recent call last):
  File "/usr/local/lib/python3.9/dist-packages/transformers/utils/hub.py", line 409, in cached_file
    resolved_file = hf_hub_download(
  File "/usr/local/lib/python3.9/dist-packages/huggingface_hub/utils/_validators.py", line 118, in _inner_fn
    return fn(*args, **kwargs)
  File "/usr/local/lib/python3.9/dist-packages/huggingface_hub/file_download.py", line 1291, in hf_hub_download
    raise LocalEntryNotFoundError(
huggingface_hub.utils._errors.LocalEntryNotFoundError: Connection error, and we cannot find the requested files in the disk cache. Please try again or make sure your Internet connection is on.

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/local/bin/eland_import_hub_model", line 219, in <module>
    tm = TransformerModel(model_id=args.hub_model_id, task_type=args.task_type, es_version=cluster_version, quantize=args.quantize)
  File "/usr/local/lib/python3.9/dist-packages/eland/ml/pytorch/transformers.py", line 613, in __init__
    self._tokenizer = transformers.AutoTokenizer.from_pretrained(
  File "/usr/local/lib/python3.9/dist-packages/transformers/models/auto/tokenization_auto.py", line 634, in from_pretrained
    config = AutoConfig.from_pretrained(
  File "/usr/local/lib/python3.9/dist-packages/transformers/models/auto/configuration_auto.py", line 896, in from_pretrained
    config_dict, unused_kwargs = PretrainedConfig.get_config_dict(pretrained_model_name_or_path, **kwargs)
  File "/usr/local/lib/python3.9/dist-packages/transformers/configuration_utils.py", line 573, in get_config_dict
    config_dict, kwargs = cls._get_config_dict(pretrained_model_name_or_path, **kwargs)
  File "/usr/local/lib/python3.9/dist-packages/transformers/configuration_utils.py", line 628, in _get_config_dict
    resolved_config_file = cached_file(
  File "/usr/local/lib/python3.9/dist-packages/transformers/utils/hub.py", line 443, in cached_file
    raise EnvironmentError(
OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like sentence-transformers/clip-ViT-B-32-multilingual-v1 is not the path to a directory containing a file named config.json.
Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'.

  4. 官方指定的向es中导入NLP模型的工具是Eland，下载和构建镜像也是有网络问题，这里需要指定国内的镜像源。
  5. 关于从hugging face上拉取NLP模型的问题。使用eland，它可以根据我们指定的模型id，去hugging face上拉取模型，但是还是国内的网络环境问题，死活拉不下来。因为无法访问huggingface域名。
  6. 目前，截止到2023年12月2号为止。es所谓的机器学习能力，仅支持文本类操作的模型。官方一直在说拥有跨模态的能力。实际上es并不支持，将图片转向量的模型导入到es中（例如常用的CLIP多模态模型，其实它是两部分，双塔模型，一个是将图片做embedding，转成向量。另一个模型是将我们的文本内容做embedding转为向量。其中图片转向量的模型，在es中是不支持上传的，文本转向量的模型是可以上传的）。如下所示，上传clip 将图片转为向量的模型。会报错
docker run -it   -v /u01/isi/.cache/huggingface/hub/sentence-transformers/clip-vit-base-patch32:/eland/sentence-transformers/clip-vit-base-patch32   --rm elastic/eland \
eland_import_hub_model \
--url http://elastic:123123@10.99.100.49:9200 \
--hub-model-id sentence-transformers/clip-vit-base-patch32 \
--task-type text_embedding \
--start

报错如下

准备工作

1. 需要搭建一个8.8以上版本的ES集群。默认会开启安全访问认证，不要关它。

2. 使用源码构建eland工具

3. 从huggingface上，离线下载NLP模型

4. 将模型上传到构建eland的服务器上

安装Elasticsearch 和kibana

 这里参看以下文章，跟着搭建集群就可以了（其实我整个导入的过程，也是参考的这篇文章，只是在国内安装，遇到了上述的坑）。

Elasticsearch：如何在 Elastic 中实现图片相似度搜索_es 相似度查询_Elastic 中国社区官方博客的博客-CSDN博客

 搭建的es版本>=8.8.0 ，一定要开安全认证，不然无法开启机器学习的试用，无法导入模型

需要kibana

开启试用

可以看到模型

安装准备Eland

eland是如何工作的

 Eland 可以从huggingFace上，把模型下载下来，并上传导es中。如下图所示

应该如何安装eland

这里提供在线的方式，和离线的方式。

Eland 可以通过 pip 从 PyPI 安装

在安装之前，我们需要安装好自己的 Python。

$ python --version
Python 3.10.2

可以使用 Pip 从 PyPI 安装 Eland：

python -m pip install eland

可以使用 Conda 从 Conda Forge 安装 Eland

conda install -c conda-forge eland

Docker容器的方式来使用它

希望在不安装 Eland 的情况下使用它，为了只运行可用的脚本，可以构建 Docker 容器。个人认为这种方式是最符合生产环境的部署方式。易交付。可以移植，不依赖网络环境，可以提前构件好，然后将eland镜像导入。

 第一步需要需要在有网的环境下，下载源码。可以将源码上传到有docker环境的服务器上。（如果没有docker环境，可以以最简单的方式来安装docker，这里就不提供方法了，可以网上搜搜文章，是在不行麻烦麻烦运维同事）

# 下载源码
git clone https://github.com/elastic/eland

# 这里可以把源码上传到有docker环境的，且能够访问到es集群的服务器上。
cd eland

这里注意，因为是在国内，我们先pass掉挂代理的事情（并不一定每个人都能挂代理）
这里需要先编辑一下dockerFile，添加指定国内的源。添加如下一行
RUN python3 -m pip install --no-cache-dir --disable-pip-version-check .[all] -i https://mirror.baidu.com/pypi/simple

#然后构建镜像
docker build -t elastic/eland .

在huggingface上下载所需的NLP模型

 在huggingface上找到该模型。（这里可以根据自己的需求，找到合适的模型）这里我以CLIP的模型为例（这个是clip中做文本embedding的模型），来下载。

https://huggingface.co/sentence-transformers/clip-ViT-B-32-multilingual-v1/tree/main

全部下载下来

然后上传到有eland的服务器上

使用eland 将离线模型导入到es集群中

我是以docker的方式来运行eland的。 

这次主要是加里一个数据卷，我把下载后的模型，放在了 /u01/isi/.cache/huggingface/hub/sentence-transformers/clip-ViT-B-32-multilingual-v1 下，然后加了一个数据拒卷。把模型映射到了容器中。这里因为服务器无法访问huggingface去拉取模型。所以用离线的方式。eland，会在运行过程中，检查本地有没有模型，如果有模型，就不用去huggingface上拉取了。

注意eland的挂载目录，docker中映射的是/eland/目录，这样才能读到本地下载好的模型！

docker run -it   -v /u01/isi/.cache/huggingface/hub/:/eland/   --rm elastic/eland \
eland_import_hub_model \
--url http://elastic:123123@10.99.100.49:9200 \
--hub-model-id sentence-transformers/clip-ViT-B-32-multilingual-v1 \
--task-type text_embedding \
--start

可以看到，这里已经成功的导入模型了。

然后在kiabna上，找到模型管理，刷新一下。

已经成功刷新了出来

测试使用模型

对内容进行文本嵌入，在kiban上执行以下内容。点击D旁边的菜单栏，找到 Dev tools

POST _ml/trained_models/sentence-transformers__clip-vit-b-32-multilingual-v1/_infer
{
  "docs" : [
    {"text_field": "Yellow mountain is the most beautiful mountain in China"}
    ]
}

可以看到成功，应用模型，将文本内容，转成了向量。 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/228466.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

DSGN：用于 3D 目标检测的深度立体几何网络

DSGN：用于 3D 目标检测的深度立体几何网络

论文地址&#xff1a;https://www.jianshu.com/go-wild?ac2&urlhttps%3A%2F%2Farxiv.org%2Fpdf%2F2001.03398v3.pdf 论文代码&#xff1a;https://github.com/chenyilun95/DSGN 论文背景 大多数最先进的 3D 物体检测器严重依赖 LiDAR 传感器&#xff0c;因为基于图像的方…
阅读更多...
IDEA中表明或者字段找不到时报红

IDEA中表明或者字段找不到时报红

问题 idea 中mysql的sql语句报红&#xff0c;无论表名还是表字段 原因 是由于sql方言导致的 当我们选择某一个sql方言的时候&#xff0c;xml配置会按照指定规则校验sql是否规范&#xff0c;并给出提示 解决方案 取消sql方言&#xff0c;设置sql方言为None。设置完重启idea既…
阅读更多...
理解网络通信中的关键因素-带宽

理解网络通信中的关键因素-带宽

在今天的数字时代&#xff0c;我们经常听到“带宽”的词汇&#xff0c;尤其是在谈论互联网速度、网络连接和数据传输时。带宽是网络通信的关键概念&#xff0c;对于我们的在线体验至关重要。 带宽的定义 带宽是一个用于描述网络通信速度和容量的术语。它通常用于衡量网络连接…
阅读更多...
解决firefox(火狐)浏览器使用transform: scale导致的border不显示或显示不全的问题；

解决firefox(火狐)浏览器使用transform: scale导致的border不显示或显示不全的问题；

最近火狐遇到了此问题&#xff0c;查了许久没有解决办法也有说是因为火狐不支持小于1px单位的&#xff0c;也有说火狐浏览器本身的问题&#xff0c;然后也没有解决方案&#xff0c;最后没办法只能用最笨的方法解决。。。。 只针对Firefox使用CSS&#xff0c;使用’-moz-documen…
阅读更多...
层流燃烧模拟的技术研究与实践

层流燃烧模拟的技术研究与实践

层流燃烧模拟的技术研究与实践 一、引言 层流燃烧，作为一种基础而重要的燃烧类型，广泛存在于各种工业应用中，如发动机、燃气轮机、燃烧室等。为了更好地理解和优化这一过程，科研人员运用计算流体动力学（CFD）工具进行模拟，以期能更深入地洞察其内在机制。 二、层流燃烧…
阅读更多...
MQTT 协议入门：轻松上手，快速掌握核心要点

MQTT 协议入门：轻松上手，快速掌握核心要点

文章目录 什么是 MQTT&#xff1f;MQTT 的工作原理MQTT 客户端MQTT Broker发布-订阅模式主题QoS MQTT 的工作流程开始使用 MQTT&#xff1a;快速教程准备 MQTT Broker准备 MQTT 客户端创建 MQTT 连接通过通配符订阅主题发布 MQTT 消息MQTT 功能演示保留消息Clean Session遗嘱消…
阅读更多...
深度拷贝 deepClone

深度拷贝 deepClone

/*** 深度克隆对象* param {*} value 需要克隆的值 * param {WeakMap} cache 使用 WeakMap 解决环形引用问题&#xff0c;防止内存泄漏 */ function deepClone(value, cache new WeakMap()) {// 基础数据if(typeof value ! object || value null) {return value;}// 解决环形…
阅读更多...
Enterprise Architect 12版本使用教程

Enterprise Architect 12版本使用教程

Enterprise Architect 12版本使用教程 1.下载安装Enterprise Architect 122.Enterprise Architect原始DDL模板配置及存在的问题1.DDL Column Definition原始模板&#xff08;没有default值&#xff1a;可忽略&#xff09;2.DDL Data Type原始模板&#xff08;timestamp等时间字…
阅读更多...
BCrypt加密解密工具类方法

BCrypt加密解密工具类方法

BCrypt加密解密工具类方法 直接上代码 package com.loit.park.common.utils;import org.springframework.security.crypto.bcrypt.BCrypt;/*** author hanjinqun* date 2023/5/13* BCrypt工具类*/ public class BCryptUtils {/*** 加密*/public static String hashpw(String s…
阅读更多...
【JavaEE进阶】 Spring使用注解存储对象

【JavaEE进阶】 Spring使用注解存储对象

文章目录 &#x1f334;序言&#x1f340;前置⼯作&#xff1a;配置扫描路径&#x1f384;添加注解存储 Bean 对象&#x1f333;类注解&#x1f6a9;为什么要这么多类注解&#x1f6a9;注解之间的联系 &#x1f38b;⽅法注解 Bean&#x1f6a9;⽅法注解需要配合类注解使⽤ ⭕总…
阅读更多...
C //习题10.8 将第7题结果仍存入原有的“stu_sort“文件而不另建立新文件。

C //习题10.8 将第7题结果仍存入原有的“stu_sort“文件而不另建立新文件。

C程序设计 &#xff08;第四版&#xff09; 谭浩强 习题10.8 习题10.8 将第7题结果仍存入原有的"stu_sort"文件而不另建立新文件。 IDE工具&#xff1a;VS2010 Note: 使用不同的IDE工具可能有部分差异。 说明&#xff1a;此题同习题10.7的代码&#xff0c;唯一的区…
阅读更多...
大数据毕业设计之前端03：logo、menu的折叠展开实现

大数据毕业设计之前端03：logo、menu的折叠展开实现

关键字&#xff1a;BuildAdmin、pinia、logo、aside、menu、菜单折叠、Vue、ElementUI 前言 上一篇文章中&#xff0c;借助aside的实现讲了一些开发的小技巧&#xff0c;以及css的解读。本篇文章主要写一下如何填充aside的内容。 aside主要是由两个部分组成的&#xff1a;log…
阅读更多...
Mysql启动占用内存过高解决

Mysql启动占用内存过高解决

Hi, I’m Shendi Mysql启动占用内存过高解决 前言 最近服务器内存不够用了&#xff0c;甚至还出现了内存溢出问题&#xff0c;导致程序宕机。但请求与用户量并没有多少&#xff0c;所以从各种启动的程序中想方设法的尽可能的减少其占用的内存。 而在我的服务器中&#xff0c;…
阅读更多...
数字化和数智化一字之差，究竟有何异同点？

数字化和数智化一字之差，究竟有何异同点？

在2023杭州云栖大会的一展台内&#xff0c;桌子上放着一颗番茄和一个蛋糕&#xff0c;一旁的机器人手臂融入“通义千问”大模型技术后&#xff0c;变得会“思考”&#xff1a;不仅能描述“看”到了什么&#xff0c;还能确认抓取的是番茄而不是蛋糕。 “传统的机械臂通常都只能基…
阅读更多...
从0到1，手把手带你开发截图工具ScreenCap------001实现基本的截图功能

从0到1，手把手带你开发截图工具ScreenCap------001实现基本的截图功能

ScreenCap---Version&#xff1a;001 说明 从0到1&#xff0c;手把手带你开发windows端的截屏软件ScreenCap 当前版本&#xff1a;ScreenCap---001 支持全屏截图 支持鼠标拖动截图区域 支持拖拽截图 支持保存全屏截图 支持另存截图到其他位置 GitHub 仓库master下的Scr…
阅读更多...
二百一十四、Linux——Linux系统时间比电脑时间慢5分钟

二百一十四、Linux——Linux系统时间比电脑时间慢5分钟

一、目的 服务器重启后&#xff0c;发现Linux的系统时间比电脑时间慢5分钟&#xff0c;于是看了些博客&#xff0c;终于找到了解决方法&#xff0c;记录一下&#xff0c;以防止后面出现同样的问题 二、问题 通过date查看&#xff0c;Linux系统时间比电脑时间慢5分钟 &#…
阅读更多...
solidworks打开图纸零件隐藏看不到怎么办?

solidworks打开图纸零件隐藏看不到怎么办?

solidworks打开图纸零件隐藏看不到怎么办&#xff1f;solidworks打开时看不到零件图像&#xff0c;显示空白文档&#xff0c;该怎么解决这个问题呢&#xff1f;下面我们就来看看详细的教程&#xff0c;需要的朋友可以参考下 1、打开SolidWorks &#xff0c;并选中需要打开的零…
阅读更多...
【公式】逻辑回归的损失函数是什么

【公式】逻辑回归的损失函数是什么

目录 一、逻辑回归简介 二、逻辑回归模型的损失函数 2.1 损失函数与其意义 2.2 逻辑回归的损失函数 2.3 从交叉熵角度理解逻辑回归的损失函数 2.4 从对数似然角度推导逻辑回归的损失函数 三、逻辑回归损失函数的梯度 3.1 逻辑回归损失函数的梯度公式 3.2 用梯度下降法…
阅读更多...
家用洗地机希亦、追觅和添可哪款好用？测评PK谁是清洁之王

家用洗地机希亦、追觅和添可哪款好用？测评PK谁是清洁之王

对于上班族来说&#xff0c;时间非常宝贵&#xff0c;打扫卫生就成为了一件比较痛苦的事情。现在的都市上班族都会寄托于智能家电。在当前市场上&#xff0c;洗地机已成为家庭清洁的面部工具。洗地机是一种高效的清洁设备&#xff0c;以其自动化、高效率的清洁功能&#xff0c;…
阅读更多...
我想涨工资，请问测试开发该怎么入门？

我想涨工资，请问测试开发该怎么入门？

我是测试开发工程师!欢迎和我交流测试领域相关问题&#xff08;测试入门、技术、python交流都可以&#xff09; 我几乎是靠这套方法&#xff0c;从一个只会功能测试的小白&#xff0c;到成为测试开发工程师的。 别急&#xff0c;先慢慢看&#xff0c;只要按照下面的流程走一遍…
阅读更多...
最新文章

Copyright @ 2022~2023