Stable Diffusion - 图像反推 (Interrogate) 提示词算法 (BLIP DeepBooru)

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/131817599

Function

图像反推 (Interrogate) 功能，是指根据给定的图像生成一个或多个文本提示，这些提示可以描述图像的内容、风格、细节等方面。这个功能可以帮助用户快速找到合适的文本提示，从而生成自己想要的图像变体。图像反推功能，使用了 CLIP (BLIP) 和 DeepBooru 两种提示词反推算法，分别使用 视觉和语言的联合表示 和 基于标签的图像检索。

SD 启动程序：

cd stable_diffusion_webui_docker
conda deactivate
source venv/bin/activate

nohup python -u launch.py --listen --port 9301 --xformers --no-half-vae --enable-insecure-extension-access --theme dark --gradio-queue > nohup.sd.out &

启动日志，时间约 5.5 min (330.5s)：

Python 3.8.16 (default, Mar  2 2023, 03:21:46) 
[GCC 11.2.0]
Version: v1.4.0
Commit hash: 394ffa7b0a7fff3ec484bcd084e673a8b301ccc8
Installing requirements

Launching Web UI with arguments: --listen --port 9301 --xformers --no-half-vae --enable-insecure-extension-access --theme dark --gradio-queue

[-] ADetailer initialized. version: 23.7.6, num models: 12
dirname:  stable_diffusion_webui_docker/localizations
localizations:  {'zh-Hans (Stable)': 'stable_diffusion_webui_docker/extensions/stable-diffusion-webui-localization-zh_Hans/localizations/zh-Hans (Stable).json', 'zh-Hans (Testing)': 'stable_diffusion_webui_docker/extensions/stable-diffusion-webui-localization-zh_Hans/localizations/zh-Hans (Testing).json'}
2023-07-19 12:56:33,823 - ControlNet - INFO - ControlNet v1.1.233
ControlNet preprocessor location: stable_diffusion_webui_docker/extensions/sd-webui-controlnet/annotator/downloads
2023-07-19 12:56:35,787 - ControlNet - INFO - ControlNet v1.1.233
sd-webui-prompt-all-in-one background API service started successfully.
Loading weights [4199bcdd14] from stable_diffusion_webui_docker/models/Stable-diffusion/RevAnimated_v122.safetensors
Creating model from config: stable_diffusion_webui_docker/configs/v1-inference.yaml
LatentDiffusion: Running in eps-prediction mode
DiffusionWrapper has 859.52 M params.
Loading VAE weights specified in settings: stable_diffusion_webui_docker/models/VAE/RevAnimated_Orangemix.vae.pt
Applying attention optimization: xformers... done.
Textual inversion embeddings loaded(5): bad-artist-anime, bad_prompt_version2-neg, badhandv4, EasyNegative, ng_deepnegative_v1_75t
Model loaded in 5.6s (load weights from disk: 0.3s, create model: 0.6s, apply weights to model: 1.8s, apply half(): 0.6s, load VAE: 1.0s, move model to device: 0.8s, load textual inversion embeddings: 0.3s).
preload_extensions_git_metadata for 18 extensions took 23.46s
Running on local URL:  http://0.0.0.0:9301

To create a public link, set `share=True` in `launch()`.
Startup time: 330.5s (import torch: 94.9s, import gradio: 28.4s, import ldm: 23.4s, other imports: 37.3s, opts onchange: 0.2s, setup codeformer: 2.2s, list SD models: 0.3s, load scripts: 105.7s, load upscalers: 0.2s, refresh VAE: 0.1s, initialize extra networks: 0.2s, create ui: 6.9s, gradio launch: 30.0s, app_started_callback: 0.6s).

1. 反推提示词

选择 图生图 通过图像，反推关键词功能，支持 CLIP (BLIP) 和 DeepBooru 两个算法，建议结合使用，即：

  • CLIP：类似图像的描述 (Caption)；
  • DeepBooru：类似图像的分类；

即：
Interrogate
例如，效果如下：

BLIP：

a woman sitting on a boat in the ocean wearing a hat and a white dress with a slit down the side,olive skin,aestheticism,Daphne Fedarb,a bronze sculpture,

DeepBooru，阈值不同，类别的数量有所差异：

score threshold: 0.35

1girl, bare legs, bare shoulders, barefoot, beach, blonde hair, blue sky, boat, day, dress, full body, hat, horizon, lips, long hair, looking at viewer, ocean, outdoors, pier, pool, poolside, railing, realistic, red lips, sitting, sky, sleeveless, sleeveless dress, smile, solo, stairs, sun hat, water, watercraft, white dress

score threshold: 0.5

1girl, barefoot, boat, day, dress, full body, hat, horizon, long hair, ocean, pier, pool, poolside, railing, realistic, sitting, solo, sun hat, water, watercraft, white dress

修改反推设置的建议：

  • num_beams: 增加到 2 。
  • score threshold: 降低至 0.35，一般而言，分类准确率 0.35 已经足够，影响 DeepBooru 的输出。

即：

Config

2. 环境安装

2.1 BLIP (引导的语言-图像预训练)

  • Paper: BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
  • BLIP：用于统一视觉语言理解和生成的语言-图像预训练引导方法

BLIP 的预训练模型架构和目标：BLIP 提出了多模态混合编码解码器，统一的视觉语言模型，可以在以下 3 种功能中运行：

  1. 单模态编码器使用 图像-文本对比（ITC）损失来对齐视觉和语言表示。
  2. 图像引导的文本编码器，使用额外的交叉注意力层来建模，视觉-语言交互，并且使用 图像-文本匹配（ITM）损失，来区分正负图像-文本对。
  3. 图像引导的文本解码器，用因果自注意力层替换双向自注意力层，并且与编码器共享相同的交叉注意力层和前馈网络。解码器使用语言建模（LM）损失，来生成给定图像的字幕。

即

BLIP

安装遇到Bug: (ReadTimeoutError("HTTPSConnectionPool(host='huggingface.co', port=443): Read timed out. (read timeout=10)")

即：

File "stable_diffusion_webui_docker/repositories/BLIP/models/blip.py", line 187, in init_tokenizer
  tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

原因是 bert-base-uncased 依赖需要下载，下载命令：

cd repositories/BLIP/models/
bypy downdir /huggingface/bert-base-uncased bert-base-uncased

下载模型：

load checkpoint from stable_diffusion_webui_docker/models/BLIP/model_base_caption_capfilt_large.pth

手动下载：

bypy downfile /stable_diffusion/models/blip_models/model_base_caption_capfilt_large.pth model_base_caption_capfilt_large.pth

注意：还需要依赖 CLIP 模型 (890M左右)，默认下载地址 ~/.cache/clip，建议手动下载：

cd ~/.cache/clip

bypy downfile /stable_diffusion/models/blip_models/ViT-L-14_cache_clip.pt ViT-L-14_cache_clip.pt
ViT-L-14_cache_clip.pt ViT-L-14.pt

还需要依赖 CLIP 环境，即stable_diffusion_webui_docker/interrogate，以小文件为主，但是下载较慢。

Downloading CLIP categories...

在 GitHub - Bug interrogate CLIP crash in FileExistsError 链接中，下载 interrogate 文件夹，解压即可，这块 2 个算法 (BLIP & DeepBooru)都需要。

2.2 DeepBooru

  • GitHub：TorchDeepDanbooru、DeepDanbooru
  • 应用场景主要是在图片标签自动识别和生成方面，可以帮助用户更方便地搜索和浏览图片，也可以提高图片的可访问性和可利用性。

下载模型日志：

Downloading: "https://github.com/AUTOMATIC1111/TorchDeepDanbooru/releases/download/v1/model-resnet_custom_v3.pt" to stable_diffusion_webui_docker/models/torch_deepdanbooru/model-resnet_custom_v3.pt

手动下载：

wget https://ghproxy.com/https://github.com/AUTOMATIC1111/TorchDeepDanbooru/releases/download/v1/model-resnet_custom_v3.pt -O model-resnet_custom_v3.pt

其他

当修改文件夹名称之后，再次启动 virturalenv，则需要修改 virturalenv 与 pip 的 python 路径，替换为最新路径，即可：

vim pip
vim venv/bin/activate

参考：

  • GitHub - load checkpoint from BLIP/model_base_caption_capfilt_large.pth is so slow

  • GitHub - ViT-L-14.pt的下载地址

  • StackOverflow - How to modify path where Torch Hub models are downloaded

  • StackOverflow - How to change huggingface transformers default cache directory

  • GitHub - CLIP工程的默认模型下载路径

  • GitHub - Bug interrogate CLIP crash in FileExistsError

测试图像：

Img

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/39709.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【C++杂货铺】构造函数和析构函数

【C++杂货铺】构造函数和析构函数

文章目录 一、类的六个默认成员函数二、构造函数三、析构函数 一、类的六个默认成员函数 📖默认成员函数 用户没有显式实现，编译器会自动生成的成员函数，称为默认成员函数。 构造函数：完成对象的初始化工作。析构函数&#xff…
阅读更多...
前端笔记_OAuth规则机制下实现个人站点接入qq三方登录

前端笔记_OAuth规则机制下实现个人站点接入qq三方登录

文章目录 ⭐前言⭐qq三方登录流程💖qq互联中心创建网页应用💖配置回调地址redirect_uri💖流程分析 ⭐思路分解⭐技术选型实现💖技术选型：💖实现 ⭐结束 ⭐前言 大家好，我是yma16，本…
阅读更多...
Vue2计算属性如何传参

Vue2计算属性如何传参

Vue2官网并没解释计算属性应该怎么传值，但是呢，通过闭包的方式(使用箭头表达式)实际上是可以给计算属性传参的（当然，多个参数也是可行的）。 以下是本人项目开发使用自己基于ElementUI封装的集信息采集与文件上传功能的…
阅读更多...
微信小程序基于Promise封装发起网络请求

微信小程序基于Promise封装发起网络请求

1.创建一个request.js // 相当于域名 const baseURL ***************; // 暴露一个request函数 export function request(parms) {// 路径拼接const url baseURL parms.url;// 请求体，默认为{}const data parms.data || {};// 请求方式，默认为GETco…
阅读更多...
攻防世界-web-easytornado

攻防世界-web-easytornado

题目描述：Tornado 框架。打开链接是一个简单的界面 1. 思路分析 看到有个/flag.txt，我们点击进去看下 发现传入了两个参数，一个是filename，还有一个是filehash 看到里面的内容，提示我们真正的flag在 /flllllllllllla…
阅读更多...
curl操作

curl操作

下载路径：https://curl.se/windows/ 参考：https://blog.csdn.net/weixin_45191386/article/details/130652821 操作： curl http://localhost:8085/api/v1/aaa/bbbb/?ccc 652781344055627776
阅读更多...
docker在arm64架构ubuntu系统的安装

docker在arm64架构ubuntu系统的安装

卸载可能存在的旧版本 sudo apt remove docker docker-engine docker-ce docker-io安装依赖使apt可通过HTTPS下载包 sudo apt update && apt install -y apt-tranport-https ca-certificates curl software-properties-commonapt-transport-https用于支持通过HTTPS协…
阅读更多...
能源监测系统：实时监控+数据可视化

能源监测系统：实时监控+数据可视化

能源监测系统是应用物联网技术，对水、电、气、热等能源进行实时监测的系统，能够对各种设备数据进行智能化标准化的管理，从而建立起统一的管理优化平台，是积极响应国家节能降耗政策的典型模范，也是企业建设节能型工厂的…
阅读更多...
自动化测试工具比传统测试工具的优势体现在哪里？

自动化测试工具比传统测试工具的优势体现在哪里？

随着软件行业的快速发展和扩张，自动化测试工具在提高测试效率和质量方面起到了不可或缺的作用，那你知道自动化测试工具比传统测试工具的优势体现在哪里吗？ 首先，自动化测试工具能够大大缩短测试周期。相比于传统手动测试&#xff…
阅读更多...
Offset Explorer2 监视kafka的利器

Offset Explorer2 监视kafka的利器

kafka作为一个生产者和消费者集为一体的框架，消费者必须一直保持打开的状态，并且每隔一段时间接收一次数据，才能够保持生产者放入的数据及时被处理掉，而生产者则可以每隔一段时间发送一波数据，这样消费者就能够接收到了…
阅读更多...
红队打靶：KIOPTRIX1.2打靶思路详解（vulnhub）

红队打靶：KIOPTRIX1.2打靶思路详解（vulnhub）

目录 写在开头 第一步：主机发现和端口扫描 第二步：Web渗透与CMS漏洞利用 第三步：敏感信息搜索 第四步：SSH登录与提权 总结与思考 写在开头 本篇博客根据大佬红队笔记的视频进行打靶，详述了打靶的每一步思路&a…
阅读更多...
pytest实现用例间参数传递的方式

pytest实现用例间参数传递的方式

pytest实现用例间参数传递的方式 一、通过conftest创建全局变量二、使用tmpdir_factory方法 我们在做接口自动化测试的时候，会经常遇到这种场景：接口A的返回结果中的某个字段，是接口B的某个字段的入参。如果是使用postman，那我们可…
阅读更多...
Office如何通过VSTO进行PPT插件开发？

Office如何通过VSTO进行PPT插件开发？

文章目录 0.引言1.工具准备2.PPT外接程序创建和生成3.外接程序生成并使用 0.引言 VSTO（Visual Studio Tools for Office ）是VBA的替代，是一套用于创建自定义Office应用程序的Visual Studio工具包。VSTO可以用Visual Basic 或者Visual C#扩展O…
阅读更多...
php裁剪图片，并给图片加上水印

php裁剪图片，并给图片加上水印

本次以裁剪四个图片为例，图片如下 代码如下 public function cutImg($imgUrl){try{// 读取原始图片$src_img imagecreatefromjpeg($imgUrl);// 获取原始图片的宽度和高度$src_width imagesx($src_img);$src_height imagesy($src_img);// 计算每个部分的宽度和高…
阅读更多...
ROS：pluginlib

ROS：pluginlib

目录 一、前言二、概念三、作用四实际用例4.1需求4.2流程4.3准备4.4创建基类4.5创建插件4.6注册插件4.7构建插件库4.8使插件可用于ROS工具链4.8.1配置xml4.8.2导出插件 4.9使用插件4.10执行 一、前言 pluginlib直译是插件库，所谓插件字面意思就是可插拔的组件&…
阅读更多...
学习react，复制一个civitai-更新2

学习react，复制一个civitai-更新2

更新内容 耗时一个礼拜左右，增加了个新界面：模型图片详情界面。 看看效果图吧： 功能介绍 操作：在模型详情界面点击一个图片，就能到图片详情界面 1.点击哪个图片，就会展示哪个，同时还会更新图…
阅读更多...
vue-element-admin解决跨域问题

vue-element-admin解决跨域问题

更改vue.config.js publicPath: process.env.NODE_ENV production ? /tyzfadmin : /,//开发和生产环境不一样，做个判断 outputDir: dist, assetsDir: static, lintOnSave: false, runtimeCompiler: true, productionSourceMap: false, devServer: {port: port,op…
阅读更多...
暴雪娱乐遭DDoS攻击，《暗黑破坏神》等多款游戏受影响

暴雪娱乐遭DDoS攻击，《暗黑破坏神》等多款游戏受影响

6月25日上午11点，有游戏玩家反应Blizzard Battle.net无法登入、连线缓慢及网站问题，暴雪也证实其电玩平台遭到DDoS攻击。 暴雪娱乐的 Battle.net在线服务遭到分布式拒绝服务（DDoS）攻击，导致玩家无法正常登录游戏或游戏…
阅读更多...
虚幻Voxel插件

虚幻Voxel插件

虚幻Voxel插件 Voxel Plugin Voxel Plugin brings smoothed voxel terrain to Unreal Engine 4. Generate, destroy and terraform the world! 体素插件可以在虚幻引擎中生成平滑的体素地形。创造、破环和改造世界。 Terrain generation and terraforming both in game and i…
阅读更多...
MFC第十八天 非模式对话框、对话框颜色管理、记事本项目（查找替换、文字和背景色、Goto(转到)功能的开发）

MFC第十八天 非模式对话框、对话框颜色管理、记事本项目（查找替换、文字和背景色、Goto(转到)功能的开发）

文章目录 非模式对话框非模式对话框的特点非模式对话框与QQ聊天窗口开发非模态对话框（Modeless Dialog）和模态对话框（Modal Dialog）区别 记事本开发CFindReplaceDialog类的成员查找替换(算法分析)使用RichEdit控件 开发Goto(转到)…
阅读更多...
最新文章

Copyright @ 2022~2023