huggingface学习|云服务器部署Grounded-Segment-Anything：bug总会一个一个一个一个又一个的解决的

文章目录

  • 一、环境部署
    • （一）模型下载
    • （二）环境配置
    • （三）库的安装
  • 二、运行
    • （一） 运行grounding_dino_demo.py文件
    • （二）运行grounded_sam_demo.py文件
    • （三）运行grounded_sam_inpainting_demo.py 文件
  • 三、遇到的问题和bug
    • （一）安装groundingdino库时报错command:'gcc' failed with exit status 1
    • （二）运行grounding_dino_demo.py文件时报错OSError：
    • （三）运行grounded_sam_inpainting_demo.py 文件时报错OSError：

一、环境部署

（一）模型下载

  1. 下载Grounded-Segment-Anything模型（如果git clone不下来可以直接官网上下压缩包然后解压，耗费的时间也不长）。
git clone https://github.com/IDEA-Research/Grounded-Segment-Anything.git

  1. 下载了Grounded-Segment-Anything模型后会发现以下两个文件夹是空的，因此需要另行下载，可以自己手动去官网（VISAM、grounded-sam-osx）下载压缩包解压，并保存在Grounded-Segment-Anything文件夹中所对应的位置。
    在这里插入图片描述

  2. 模型权重下载：将以下模型权重下载后放在Grounded-Segment-Anything的文件夹下
    groundingdino_swint_ogc.pth
    sam_vit_h_4b8939.pth

（二）环境配置

  1. 创建虚拟环境：
conda create -n env_grounded_segment_anything python==3.8.10
  1. 进入虚拟环境：
conda activate env_grounded_segment_anything
  1. 安装pytorch：
    （这里要特别注意torch和cuda的对应关系，pytorch官网）中有写，grounde-segment-anything模型的官方要求的cuda版本是11.3，但是我使用的学校的云服务器配置中cuda版本是12.0，不好换，查了issue里其他人说也是ok的就没有换。
    在这里插入图片描述
pip install torch==2.1.0+cu121 torchvision==0.16.0+cu121 torchaudio==2.1.0 -f https://download.pytorch.org/whl/torch_stable.html
  1. 手动设置环境变量，（在不适用docker，使用cuda构建本地GPU环境的情况下），如果之前cuda版本不是11.3的，记得自己换一下第三条代码。
export AM_I_DOCKER=False
export BUILD_WITH_CUDA=True
export CUDA_HOME=/path/to/cuda-11.3

（三）库的安装

pip install -r requirements.txt
  1. 安装segment_anything：
python -m pip install -e segment_anything
  1. 安装GroundingDINO：
    gcc一定要是9.4.0版本的！！！（血的教训）（不然一直报错gcc）
python -m pip install -e GroundingDINO

python setup.py build
python setup.py install
  1. 安装diffusers：
pip install --upgrade diffusers[torch]
  1. 其他依赖项
pip install opencv-python pycocotools matplotlib onnxruntime onnx ipykernel

pip install --upgrade transformers

二、运行

（一） 运行grounding_dino_demo.py文件

python grounding_dino_demo.py

运行结果：（输出一个annotated_image.jpg）
在这里插入图片描述

（二）运行grounded_sam_demo.py文件

python grounded_sam_demo.py --config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py --grounded_checkpoint groundingdino_swint_ogc.pth --sam_checkpoint sam_vit_h_4b8939.pth --input_image assets/demo1.jpg --output_dir "outputs" --box_threshold 0.3 --text_threshold 0.25 --text_prompt "bear" --device "cuda"

运行结果：生成一个output文件夹，文件夹里包含grouded_sam_output.jpg（显示生成框图片）、mask.jpg（mask掩码图片）、raw_image.jpg（原始图片）和mask.json：
在这里插入图片描述
grouded_sam_output.jpg（显示生成框图片）：
在这里插入图片描述
mask.jpg（mask掩码图片）：
在这里插入图片描述
raw_image.jpg（原始图片）：
在这里插入图片描述

（三）运行grounded_sam_inpainting_demo.py 文件

python grounded_sam_inpainting_demo.py \
  --config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py \
  --grounded_checkpoint groundingdino_swint_ogc.pth \
  --sam_checkpoint sam_vit_h_4b8939.pth \
  --input_image assets/inpaint_demo.jpg \
  --output_dir "outputs" \
  --box_threshold 0.3 \
  --text_threshold 0.25 \
  --det_prompt "bench" \
  --inpaint_prompt "A sofa, high quality, detailed" \
  --device "cuda"

运行结果：生成一个output文件夹，文件夹里包含grouded_sam_output.jpg（显示生成框图片）、grounded_sam_inpainting_output.jpg（修复后图片）和raw_image.jpg（原始图片）：

grounded_sam_output.jpg（显示生成框图片）：
在这里插入图片描述

grounded_sam_inpainting_output.jpg：
在这里插入图片描述
raw_image.jpg（原始图片）：

在这里插入图片描述

三、遇到的问题和bug

（一）安装groundingdino库时报错command:‘gcc’ failed with exit status 1

这个问题困扰了好几天，最终得到的解决方案：

  1. 没有装gcc，这个可以在终端输入gcc -v如果没有输出结果就说明没有，应该去安装
  2. 装了gcc但是依旧报错，说明版本不对，试了很多次查了很多资料后发现gcc9.4.0是ok的（反正我是9.4.0才行）
  3. gcc版本和g++版本不一致，这个就是直接重新装gcc9.4.0的同时就可以解决

由于我用的学校服务器，没有root权限，很多命令比如说sudo等就用不了，因此只能采用以下方式下载gcc9.4.0，实际上可以直接通过sudo等命令直接下载。

gcc9.4.0下载方式：

  1. 下载gcc9.4.0的压缩包gcc-9.4.0.tar.gz：可以直接去官网下载，也可以使用代码：
conda install https://anaconda.org/brown-data-science/gcc/9.4.0/download/linux-64/gcc-9.4.0-0.tar.bz2
  1. 解压
tar -xzf gcc-9.4.0.tar.gz
  1. 进入gcc-9.4.0文件夹新建一个文件夹gcc-9.4.0-build（可以随便取名字），主要是用于安装 gcc
cd gcc-9.4.0
mkdir gcc-9.4.0-build  
​cd gcc-9.4.0-build
  1. 在刚刚创建的文件夹gcc-9.4.0-build中执行以下命令，安装gcc
../configure --disable-checking --enable-languages=c,c++,fortran --disable-multilib --prefix=/path/to/install/gcc-9.4 --enable-threads=posix
  1. 编译环境
    编译的时间特别长，快的话一两个小时，慢的话可能要三四个小时，（所以如果像我一样是在学校服务器上运行代码，尽量申请长点的时间）可以直接用make，也可以在后边加上j+数字，比如说make -j4，表示选择4个核心去编译，速度会快一些。
make
  1. 安装
make install
  1. 添加环境变量

输入以下代码进入bashrc的编辑模式

vim ~/.bashrc

按下a键后进入insert模式（进入insert模式后才能对文件内容进行修改），然后在该界面的最后几行复制粘贴以下代码，其中path就是之前设置的gcc-9.4.0-build的地址

export PATH=/public/home/mcao/usr/xy/source/gcc/bin:$PATH  
export LD_LIBRARY_PATH=/public/home/mcao/usr/xy/source/gcc/lib/:/public/home/mcao/usr/xy/source/gcc/lib64/:$LD_LIBRARY_PATH

输入完成后按ESC键，然后输入 :wq 后回车退出界面
最后输入以下代码使得配置的环境在这个终端生效

source ~/.bashrc

最后可以检查一下gcc版本：

gcc -v

（二）运行grounding_dino_demo.py文件时报错OSError：

OSError: We couldn’t connect to ‘https://huggingface.co’ to load this file, couldn’t find it in the cached files and it looks like bert-base-uncased is not the path to a directory containing a file named config.json.
Checkout your internet connection or see how to run the library in offline mode at ‘https://huggingface.co/docs/transformers/installation#offline-mode’.

解决方法一：（看到有人解决方式是设立代理服务器，但是我没成功）

import os
os.environ['HTTP_PROXY'] = 'http://127.0.0.1:7890'
os.environ['HTTPS_PROXY'] = 'http://127.0.0.1:7890'

解决方式二：手动下载模型到本地库，然后改代码

  • 第一步： 在huggingface的bert-base-uncased库上下载包括 config.json, flax_model.msgpack, pytorch_model.bin, tf_model.h5, tokenizer.json, tokenizer_config.json, vocab.txt的文件：
    在这里插入图片描述
  • 第二步： 创建一个bert-base-uncased文件夹，把第一步中下载的文件放到创建的这个文件夹中， 记住创建的这个文件夹的位置，我是直接放在了Grounded-Segment-Anything的文件夹下（事实证明还是放在这里比较稳妥，因为放在别的地方后边代码不太好改）
  • 第三步： 在Grounded-Segment-Anything/GroundingDINO/groundingdino/util/get_tokenlizer.py文件中将代码进行修改，具体修改方式：红框中注释了的代码是原始代码，注释后的代码下边的代码是我修改后的代码。（这里特别注意修改后的代码中的文件路径是相对于Grounded-Segment-Anything文件夹的相对路径，我之前一直理解成对于get_tokenlizer.py的相对路径，结果一直没成功，理解了之后成功解决问题）
    在这里插入图片描述

（三）运行grounded_sam_inpainting_demo.py 文件时报错OSError：

OSError: Cannot load model runwayml/stable-diffusion-inpainting: model is not cached locally and an error occured while trying to fetch metadata from the Hub. Please check out the root cause in the stacktrace above.

解决方式和上边一样：手动下载模型到本地库，然后改代码
先把stable-diffusion-inpainting模型下载到Grounded-Segment-Anything目录中，然后修改grounded_sam_inpainting_demo.py中的代码，具体修改方式是将下图中第204行-206行被注释掉的代码修改为207行-209行的代码。
在这里插入图片描述

参考：
Grounded-Segment-Anything本地部署
语义分割——Grounded Segment Anything 环境配置和使用教程（已解决 name ‘_C’ is not defined 报错）
Grounded-Segment-Anything环境安装踩坑记录

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/343093.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

机器学习期末复习总结笔记（李航统计学习方法）

机器学习期末复习总结笔记（李航统计学习方法）

文章目录 模型复杂度高---过拟合分类与回归有监督、无监督、半监督正则化生成模型和判别模型感知机KNN朴素贝叶斯决策树SVMAdaboost聚类风险PCA深度学习范数计算梯度下降与随机梯度下降SGD线性回归逻辑回归最大熵模型适用性讨论 模型复杂度高—过拟合 是什么：当模型…
阅读更多...
OSPF基础华为ICT网络赛道

OSPF基础华为ICT网络赛道

6.1.OSPF协议概述 由协议之中OSPF(Open Shortest Path First,开放式最短路径优先)协议是使用场 景非常广泛的动态路由协议之一。 OSPF在RFC2328中定义，是一种基于链路状态算法的路由协议。 静态路由是由工程师手动配置和维护的路由条目，命令行简单明确…
阅读更多...
用Go plan9汇编实现斐波那契数列计算

用Go plan9汇编实现斐波那契数列计算

斐波那契数列是一个满足递推关系的数列，如：1 1 2 3 5 8 ... 其前两项为1，第3项开始，每一项都是其前两项之和。 用Go实现一个简单的斐波那契计算逻辑 func fib(n int) int {if n 1 || n 2 {return 1}return fib(n-1) fib(n-2) …
阅读更多...
Nuxt2.x Error页面返回自定义请求状态码

Nuxt2.x Error页面返回自定义请求状态码

一、问题描述 最近接到一个需求，针对Nuxt2.x的一个项目进行SEO优化，需要对404页面的状态进行修改，将404页面的请求状态码改为301，而不是404： 二、解决方案 1.几种无效尝试 （1）layouts下的err…
阅读更多...
云原生全栈监控解决方案（全面详解）

云原生全栈监控解决方案（全面详解）

【作者】JasonXu 前言 当前全球企业云化、数字化进程持续加速，容器、微服务等云原生技术在软件架构中快速渗透，IT 架构云化、复杂化持续驱动性能监控市场。企业云化、数字化持续转型，以及为了考虑系统的弹性、效率，企业软件开发中…
阅读更多...
最强生产力|卸载并重装Anaconda3

最强生产力|卸载并重装Anaconda3

一、Anaconda3卸载 （一）官方方案一（Uninstall-Anaconda3-不能删除配置文件） 官方推荐的方案是两种，一种是直接在Anaconda的安装路径下，双击： （可以在搜索栏或者使用everything里面搜…
阅读更多...
HTTP代理在Python网络爬虫中的应用

HTTP代理在Python网络爬虫中的应用

网络爬虫是Python中一个非常重要的应用领域，它能够自动抓取互联网上的信息。然而，在进行网络爬虫的过程中，我们经常会遇到一些问题，其中最常见的问题就是被目标网站封禁IP地址。为了解决这个问题，我们可以使用HTTP代理…
阅读更多...
ruoyi框架教程

ruoyi框架教程

心血来潮，写一篇关于ruoyi【若依】框架从0-1的教程。说一下使用感受吧，如果有一个架构师或者老手已经把架构改造完成也能指导你如何快速上手，那么你在后面的增删改查系列开发起来会如鱼得水。如果没有人改造，也没有人教你&#xf…
阅读更多...
Dart基础语法——变量、数据类型

Dart基础语法——变量、数据类型

前言：新年新气象，开卷吧老铁们！ 本文主要介绍 Flutter 开发中 Dart 的基本语法，后续会更新到如何使用 Flutter 开发 Android 与 IOS 及 使用 Flutter 如何开发 Apple Wacth 应用。 学习 Dart 语法的阶段，编辑器使用的是…
阅读更多...
用友 GRP U8 UploadFile 命令执行漏洞

用友 GRP U8 UploadFile 命令执行漏洞

文章目录 前言声明一、漏洞描述二、影响版本三、漏洞复现 前言 用友GRP-U8是一款功能全面、灵活度高、可定制性强的ERP软件，能够协助企业实现资源的高效管理，优化企业运营流程，提升整体管理水平。该产品存在任意文件上传漏洞。 声明 请勿利…
阅读更多...
小型园区组网实例

小型园区组网实例

目录 拓扑需求IP规划路由配置交换机配置NAT配置ACL配置DHCP配置配置过程：配置结果： OSPF配置链路聚合配置配置过程： 网络测试 拓扑 需求 企业网络信息服务平台需实现功能：企业网站服务器、FTP服务器、DNS服务器。企业ip分配地址段…
阅读更多...
linux基础学习（6）：压缩与解压

linux基础学习（6）：压缩与解压

linux中常见的压缩格式有.zip、.tar、.gz、bz2、.tar.gz、.tar.bz2等十几种 1.zip命令 zip格式压缩包是唯一一种windows和linux可以通用的压缩包 linux系统其实不靠文件后缀来区分压缩包，添加后缀是为了方便使用者分辨 （1）压缩命令 zip …
阅读更多...
【LeetCode-135】分发糖果(贪心)

【LeetCode-135】分发糖果(贪心)

LeetCode135.分发糖果 题目描述 老师想给孩子们分发糖果，有 N 个孩子站成了一条直线，老师会根据每个孩子的表现，预先给他们评分。 你需要按照以下要求，帮助老师给这些孩子分发糖果： 每个孩子至少分配到 1 个糖果。…
阅读更多...
什么是ORM思想？

什么是ORM思想？

1. ORM概念 ORM（Object Relational Mapping）对象关系映射模式，是一种技术，解决了面向对象与关系型数据库存互不匹配的现象。 ORM在业务逻辑层和数据库层之间充当了桥梁的作用。 2. ORM由来 在软件开发的过程中，通常…
阅读更多...
Linux系统Shell脚本 ----- 编程规范和变量详细解读

Linux系统Shell脚本 ----- 编程规范和变量详细解读

一、Shell脚本概述 1、什么是Shell Linux系统中运行的一种特殊程序在用户和内核之间充当“翻译官”用户登录Linux系统时，自动加载一个Shell程序Bash是Linux系统中默认使用的Shell程序 2、Shell的作用 Linux系统中的shell是一个特殊的应用程序，它介于操…
阅读更多...
JVM如何找到并清理垃圾？

JVM如何找到并清理垃圾？

如何找到垃圾 若一个对象不被任何对象或变量引用，那么它就是垃圾，需要被回收。 如何找到这个垃圾呢？ •引用计数法（Reference Counting） •可达性分析法（GCRooting Tracing） 引用计数法 在对…
阅读更多...
浏览器无网

浏览器无网

目录 1.运行网络诊断，确认原因 原因A.远程计算机或设备将不接受连接(该设备或资源(Web 代理)未设置为接受端口“7890”上的连接 原因B.DNS服务器未响应 场景A.其他的浏览器可以打开网页，自带的Edge却不行 方法A：关闭代理 Google自带翻译…
阅读更多...
iptables命令详解

iptables命令详解

简介 iptables 是 Linux 系统中用于配置 IPv4 数据包过滤规则的工具。它是 Linux 内核中 Netfilter 框架的一部分，通过设置规则，可以实现网络包的过滤、NAT 转发、端口映射等功能。 基本概念 表（Tables）： filter 表…
阅读更多...
【牛客】几何糕手、国际裁判带师、数位dp?、灵异背包、矩阵快速幂签到、第一次放学

【牛客】几何糕手、国际裁判带师、数位dp?、灵异背包、矩阵快速幂签到、第一次放学

文章目录 《几何糕手》题目描述思路代码 《国际裁判带师》题目描述思路代码 《数位dp?》题目描述思路代码 《灵异背包》题目描述思路代码 《矩阵快速幂签到》题目描述思路代码 《第一次放学》题目描述思路代码 《几何糕手》 题目链接 题目描述 “芝士肾么？” 地…
阅读更多...
Python学习03—Python语法元素分析

Python学习03—Python语法元素分析

一、程序的格式框架 1.1 代码高亮 代码高亮是Python编程环境根据代码不同含义，给予不同色彩标注的一种色彩辅组体系。在不同的代码编程环境中，代码高亮的表现形式各有不同。 1.2 缩进 缩进是一行代码开始前的空白区域，它用来表达程序的格式…
阅读更多...
最新文章

Copyright @ 2022~2023