深度学习算法应用实战 | 利用 CLIP 模型进行“零样本图像分类”

文章目录

    • 1. 零样本图像分类简介
      • 1.1 什么是零样本图像分类?
      • 1.2 通俗一点的解释
    • 2. 模型原理图
    • 3. 环境配置
    • 4. 代码实战
    • 5. Gradio前端页面
      • 5.1 什么是 Gradio ?
    • 6 进阶操作
    • 7. 总结

1. 零样本图像分类简介

在这里插入图片描述

1.1 什么是零样本图像分类?

“零样本图像分类”（Zero-shot image classification）指的是使用一个模型对图像进行分类，而这个模型并没有在包含那些特定类别的标记样本的数据上进行过显式训练。

传统的图像分类方法需要在一组特定的带标签的图像上训练模型。这个模型通过学习，将图像的某些特征与标签相对应。当需要使用这种模型来处理引入了新标签集的分类任务时，通常需要进行模型的微调，以适应新的标签。

与此相反，零样本或开放词汇的图像分类模型通常是多模态模型，这些模型在包含大量图像及其相关描述的数据集上进行训练。这些模型学习了视觉和语言之间对齐的表示方法，可以应用于包括零样本图像分类在内的许多下游任务。

这是一种更为灵活的图像分类方法，它允许模型在不需要额外训练数据的情况下，泛化到新的和未见过的类别。同时，它也使用户能够用自由形式的文本描述来查询他们目标对象的图像。

1.2 通俗一点的解释

上面的内容如果看不懂没关系，下面我来用通俗的语言解释这段话：

比如我们想让一个熊孩子能认识不同的图片（比如区分猫和狗），我们需要给这个熊孩子看很多标有“这是猫”、“这是狗”的图片来训练它。这就像是在教熊孩子“这些特征意味着猫，那些特征意味着狗”。但如果突然出现一个新的动物种类，比如浣熊，而熊孩子之前没有学习过浣熊的图片，它就不知道怎么识别了。这时，我们通常需要给熊孩子更多的浣熊图片来训练它识别浣熊。这就是我们上面提到的传统的图像分类。

然而，“零样本图像分类”就像是给熊孩子一种超能力，让它能在没有直接学习过某个类别（比如浣熊）的情况下也能识别出来。这种方式是通过训练熊孩子理解图片和文字之间的关系来实现的。比如，熊孩子在学习的时候不仅看图片，还学习这些图片的描述。这样，当它遇到一个新的图片（比如浣熊），即使它之前没有直接学习过，它也可以通过理解图片的特征和之间学到的文字描述来猜测这可能是“浣熊”。

总的来说，这就是一种更聪明的方式，让熊孩子能够在没有被直接训练识别某些东西的情况下，也能识别出这些东西来。

那这篇博客， 我就教大家使用 CLIP 搭建一个零样本的分类模型！不需要任何的训练就可以实现你的分类需求！

教程使用 huggingface 的 transformers 库来完成，这样方便我对整个专栏的代码教程进行维护，也方便我为大家分发模型（这种多模态的模型一般都很大，自己下载一次很麻烦，我会在博客中提供模型网盘地址）。

2. 模型原理图

论文地址：[paper] Learning Transferable Visual Models From Natural Language Supervision (arxiv.org)

论文摘要：最近，在大量数据上进行模型预训练的自然语言处理领域取得的突破为计算机视觉领域的类似基础模型铺平了道路。这些模型可以通过生成通用视觉特征（即，适用于不同图像分布和任务且无需微调的特征）来大大简化任何系统中图像的使用。本研究表明，如果在来自不同来源的足够多的策划数据上训练，现有的预训练方法，特别是自监督方法，可以产生这样的特征。我们重新审视现有方法，并结合不同技术来扩展我们的预训练，包括数据和模型规模方面。大部分技术贡献旨在加速和稳定大规模训练。在数据方面，我们提出了一个自动化管道，用于构建专用的、多样化的、策划的图像数据集，而不是像自监督文献中通常做的那样使用未策划的数据。在模型方面，我们训练了一个拥有10亿参数的ViT模型，并将其蒸馏成一系列较小的模型，这些模型在大多数图像和像素级基准测试中超过了现有最佳的通用特征，即OpenCLIP。

在这里插入图片描述

3. 环境配置

后续所有教程都使用conda环境，请大家自行配置好~

conda create --name huggingface-env python==3.8 -y

conda activate huggingface-env

pip install transformers

4. 代码实战

本次实战我们选择 openai 团队开源的 clip-vit-base-patch32 版本。借助 transformers 库 ，我们可以通过几行代码就完成一个零样本分类任务。

下载好我提供的模型后，修改以下两处就可以顺利运行代码:

  1. 将model路径和processor路径指定到你下载下来文件的位置。
  2. image_path路径换成本地图片路径。
# 导入Python图像库PIL和requests库
from PIL import Image
import requests

# 导入transformers库中的CLIP处理器和CLIP模型
from transformers import CLIPProcessor, CLIPModel

# 从预训练路径加载CLIP模型
model = CLIPModel.from_pretrained("/home/models/clip-vit-base-patch32")
# 从预训练路径加载CLIP处理器
processor = CLIPProcessor.from_pretrained("/home/models/clip-vit-base-patch32")

# 设置一个图像的路径
image_path = "000000039769.jpg"
# 使用PIL的Image打开它
image = Image.open(image_path)

# 使用处理器处理文本（这里有两个文本：猫和狗的照片）和图片，将它们转换为模型可以处理的格式
inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)

# 将处理好的输入数据传递给模型并得到输出
outputs = model(**inputs)
# 从输出中获取图像与文本之间的相似性分数
logits_per_image = outputs.logits_per_image 
# 使用softmax函数计算标签的概率
probs = logits_per_image.softmax(dim=1) 
# 打印出概率
print(probs)
# tensor([[0.9949, 0.0051]], grad_fn=<SoftmaxBackward0>)

模型地址：

链接：https://pan.baidu.com/s/1eg95QBmMOx9P0GvX-pshMg
提取码：hhze

小知识：

如果你够细心，你就会发现打印出来的概率后面有一个grad_fn标识。

grad_fn=<SoftmaxBackward0> 是一个表示该张量是通过某个操作产生的，并且这个操作在PyTorch的自动微分系统中具有可微性（即可以进行梯度反向传播）的标识。

  • tensor([[0.9949, 0.0051]]：这是一个包含概率值的张量。在这个例子中，它表示图片被模型识别为第一个类别（"a photo of a cat"）的概率是99.49%，识别为第二个类别（"a photo of a dog"）的概率是0.51%。
  • grad_fn：这是"gradient function"的缩写，意味着这个张量是作为一个计算结果产生的，而这个计算是可以进行梯度反向传播的。在这种情况下，<SoftmaxBackward0>是一个特定的梯度函数，它指的是这个张量是通过Softmax函数计算得到的，并且如果需要的话，可以通过这个函数来计算梯度。

我们这篇内容就是那模型进行推理，所以我们不需要关心这个grad_fn属性。

5. Gradio前端页面

每次都使用黑洞洞的终端推理图片是不是很无聊呢？下面为大家介绍一个工具，它可以快速的为算法实现一个前端页面，方便我们以图形化的方式推理图片。

5.1 什么是 Gradio ?

项目地址：gradio-app

文档地址：Gradio Interface Docs

Gradio 是一个开源库，旨在为机器学习模型提供快速且易于使用的网页界面。它允许开发者和研究人员轻松地为他们的模型创建交互式的演示，使得无论技术背景如何的人都可以方便地试用和理解这些模型。使用Gradio，你只需几行代码就可以生成一个网页应用程序，该应用程序可以接收输入（如图片、文本或音频等），并展示模型的输出。这对于测试、展示和获取模型反馈非常有用，特别是在协作、教育或研究的环境中。此外，它还提供了一系列用于增强用户体验的功能，如输入验证、自定义布局和分析工具，这些都使得Gradio成为机器学习领域中展示和共享模型的受欢迎工具。

安装方式很简单，一行指令搞定。

pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple

下面是我基于这个库实现的 CLIP 零样本分类模型页面，同时为大家分别准备了一张猫一张狗的图片，以便大家能够更好地体验和使用这个工具。

请添加图片描述
请添加图片描述

import gradio as gr
from PIL import Image
from transformers import CLIPProcessor, CLIPModel
import torch
import requests

# 从预训练的路径中加载CLIP模型和处理器
model = CLIPModel.from_pretrained(
    "/home/models/clip-vit-base-patch32"
)
processor = CLIPProcessor.from_pretrained(
    "/home/models/clip-vit-base-patch32"
)


def classify_image_with_text(image, text):
    # 根据逗号分割输入文本，以处理多个标签
    labels = text.split(",")
    # 处理输入数据：将文本和图像转换为模型可以处理的格式
    inputs = processor(text=labels, images=image, return_tensors="pt", padding=True)

    # 获取模型的输出
    with torch.no_grad():
        outputs = model(**inputs)

    # 计算概率
    logits_per_image = outputs.logits_per_image  # 这是图像与文本之间的相似度分数
    probs = logits_per_image.softmax(dim=1).tolist()[0]  # 用softmax获取标签概率

    # 创建一个响应字典，用于输出每个标签的概率
    response = {label: prob for label, prob in zip(labels, probs)}
    return response


# 创建Gradio界面
# fn指定了要运行的函数，inputs定义了输入类型，outputs定义了输出类型
iface = gr.Interface(
    fn=classify_image_with_text,
    inputs=[gr.Image(type="pil"), gr.Textbox(label="Text Input")],  # 图片和文本框输入
    outputs="json",  # 输出为JSON格式
    examples=[
        [
            "https://gitee.com/diffiehellman/diffiehellman_personal_blog_gallery/raw/master/cdog.jpg",
            "dog, cat, tigers, lions, elephants, pandas, giraffes",
        ],
        [
            "https://gitee.com/diffiehellman/diffiehellman_personal_blog_gallery/raw/master/ccat.jpg",
            "dog, cat, tigers, lions, elephants, pandas, giraffes",
        ],
    ],
    title="CLIP零样本图像分类",
    description="上传一张图片获得json格式的零样本分类结果",
)

# 启动界面
iface.launch()

6 进阶操作

在我们学习了如何使用 CLIP 之后，接下来我们将利用这些知识来实施一个小型项目。这个项目的目的是通过实际操作来加强大家对 Python 中一些常用库的熟悉程度。

这一次，我们的项目相对简单：我们将从一个包含猫和狗图片的混合文件夹中，使用我们学习的算法自动区分并归类这两种图片。

这个案例不仅是一个很好的机器学习入门项目，也是一个非常实用的技能，可以应用于各种图片分类任务，用来清洗个数据集什么的非常的方便~

算法步骤

  1. 加载模型：使用transformers库加载预训练的 CLIP 模型和处理器。
  2. 读取图片：使用 PIL 读取图片。
  3. 图像预处理：使用 CLIP 的处理器对图片进行预处理。
  4. 模型预测：对每张处理过的图片使用 CLIP 模型，获取其与“猫”和“狗”文本描述的相似度。
  5. 分类和保存：根据模型的预测将图片分类为猫或狗，并保存到相应的文件夹。

使用到的Python库

  • PIL（Python Imaging Library）：一个强大的图像处理库，可用于打开、操作和保存多种图像格式。
  • OS：用于与操作系统进行交互。它提供了丰富的方法来处理文件和文件夹。通过os库可以执行诸如创建、删除、移动文件和目录，以及获取文件属性等操作。
from PIL import Image
import requests
from transformers import CLIPProcessor, CLIPModel
import os

# 加载预训练的CLIP模型和处理器
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

# 定义读取图片的文件夹路径
folder_path = "/path/to/your/folder"

# 定义保存分类后图片的路径
save_path_cats = "/path/to/save/cats"
save_path_dogs = "/path/to/save/dogs"

# 读取文件夹中的所有图片文件
for filename in os.listdir(folder_path):
    if filename.endswith(".jpg") or filename.endswith(".png"):  # 检查文件格式
        # 打开图片
        image = Image.open(os.path.join(folder_path, filename))

        # 使用处理器处理图片和文本
        inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)

        # 模型预测
        outputs = model(**inputs)
        probs = outputs.logits_per_image.softmax(dim=1)

        # 根据预测结果分类图片
        if probs[0, 0] > probs[0, 1]:  # 如果“猫”的概率高于“狗”
            image.save(os.path.join(save_path_cats, filename))  # 保存到猫的文件夹
        else:
            image.save(os.path.join(save_path_dogs, filename))  # 保存到狗的文件夹

print("分类完成！")

7. 总结

这篇教程是我们系列文章的开篇之作。虽然内容相对简单，但我们实现的算法 CLIP 是一个在多模态领域极具影响力的模型。这个经典的模型不仅在本教程中发挥了重要作用，而且在后续的博客中，我们还将继续利用它来实施更多的有趣项目。

这个系列旨在逐步深入，让大家不仅了解算法的基础知识，还能学习如何将这些算法应用于实际的、有意义的项目中。每一篇教程都是精心设计的，以确保即使是初学者也能够跟上节奏，并逐步提升自己的技能。

我非常欢迎大家在评论区提出自己遇到的实际任务，或者对特定算法的疑问和讨论。

感谢大家的支持！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/308860.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

CentOS 6 制作openssl 1.1.1w rpm包 —— 筑梦之路

CentOS 6 制作openssl 1.1.1w rpm包 —— 筑梦之路

参考资料&#xff1a; CentOS 7 制作openssl 1.1.1w 版本rpm包 —— 筑梦之路_centos7 openssl 1.1.1 rpm包-CSDN博客 直接上spec文件如下&#xff1a; Name: openssl Version: 1.1.1w Release: 1%{?dist} Summary: Utilities from the general purpose cryptography li…
阅读更多...
yolo 分割label格式标注信息图片显示可视化查看

yolo 分割label格式标注信息图片显示可视化查看

参考： https://github.com/ultralytics/ultralytics/issues/3137 https://blog.csdn.net/weixin_42357472/article/details/135218349?spm=1001.2014.3001.5501 需要把坐标信息在图片上显示 代码 1）只画出了坐标边缘 import cv2 import numpy as np from random impor…
阅读更多...
上海雏鸟科技无人机灯光秀跨年表演点亮三国五地夜空

上海雏鸟科技无人机灯光秀跨年表演点亮三国五地夜空

2023年12月31日晚&#xff0c;五场别开生面的无人机灯光秀跨年表演在新加坡圣淘沙、印尼雅加达、中国江苏无锡、浙江衢州、陕西西安等五地同步举行。据悉&#xff0c;这5场表演背后均出自上海的一家无人机企业之手——上海雏鸟科技。 在新加坡圣淘沙西乐索海滩&#xff0c;500架…
阅读更多...
【读书笔记】网空态势感知理论与模型（七）

【读书笔记】网空态势感知理论与模型（七）

通过网络级对象依赖关系揭示0Day攻击路径 1. 研究动机 0Day攻击是攻击者和防御者之间信息不对称的结果。赛门铁克研究人员认为&#xff0c;典型的0Day攻击平均隐藏312天才会被觉察。 受到SKRM模型启发&#xff0c;Patrol系统以全局视野来调查在某一个路径上的0Day攻击行为。从…
阅读更多...
16_线程池

16_线程池

文章目录 完整的线程状态转换图理论层面代码层面 线程池3种线程池线程池的使用 多线程的实现方式三:实现Callable接口单例设计模式&#xff08;线程安全&#xff09; 完整的线程状态转换图 理论层面 代码层面 线程池 提高效率 3种线程池 Executors&#xff1a; 线程工具类,…
阅读更多...
统一网关 Gateway【微服务】

统一网关 Gateway【微服务】

文章目录 1. 前言2. 搭建网关服务3. 路由断言工厂4. 路由过滤器4.1 普通过滤器4.2 全局过滤器4.3 过滤器执行顺序 5. 跨域问题处理 1. 前言 通过前面的学习我们知道&#xff0c;通过 Feign 就可以向指定的微服务发起 http 请求&#xff0c;完成远程调用。但是这里有一个问题&am…
阅读更多...
【JAVA】线程的run()和start()有什么区别？

【JAVA】线程的run()和start()有什么区别？

&#x1f34e;个人博客&#xff1a;个人主页 &#x1f3c6;个人专栏&#xff1a; JAVA ⛳️ 功不唐捐&#xff0c;玉汝于成 目录 前言 正文 run() 方法&#xff1a; start() 方法&#xff1a; 区别总结&#xff1a; 结语 我的其他博客 前言 多线程编程是Java中一个重要…
阅读更多...
生成式 AI 如何重塑软件开发流程和开发工具？

生成式 AI 如何重塑软件开发流程和开发工具？

生成式AI正在重塑开发流程和开发工具&#xff0c;通过自动化和优化软件开发过程&#xff0c;提高开发效率和质量。它可以帮助开发人员快速生成代码、测试和部署应用程序&#xff0c;同时减少错误和缺陷。此外&#xff0c;生成式AI还可以帮助开发人员快速理解和解决复杂的技术问…
阅读更多...
Vulnhub靶机：Corrosion1

Vulnhub靶机：Corrosion1

一、介绍 运行环境&#xff1a;Virtualbox 攻击机&#xff1a;kali&#xff08;10.0.2.15&#xff09; 靶机&#xff1a;corrosion:1&#xff08;10.0.2.12&#xff09; 目标&#xff1a;获取靶机root权限和flag 靶机下载地址&#xff1a;https://www.vulnhub.com/entry/c…
阅读更多...
Vue3-46-Pinia-获取全局状态变量的方式

Vue3-46-Pinia-获取全局状态变量的方式

使用说明 在 Pinia 中&#xff0c;获取状态变量的方式非常的简单 &#xff1a; 就和使用对象一样。 使用思路 &#xff1a; 1、导入Store&#xff1b;2、声明Store对象&#xff1b;3、使用对象。 在逻辑代码中使用 但是 Option Store 和 Setup Store 两种方式定义的全局状态变量…
阅读更多...
0109作业

0109作业

1> 思维导图 2> 使用手动连接&#xff0c;将登录框中的取消按钮使用qt4版本的连接到自定义的槽函数中&#xff0c;在自定义的槽函数中调用关闭函数 将登录按钮使用qt5版本的连接到自定义的槽函数中&#xff0c;在槽函数中判断ui界面上输入的账号是否为"admin&quo…
阅读更多...
设计与实现基于Java+MySQL的模拟银行ATM操作系统

设计与实现基于Java+MySQL的模拟银行ATM操作系统

课题背景 随着现代经济的发展&#xff0c;电子支付和自动化银行服务已成为人们生活中不可或缺的一部分。自动取款机&#xff08;ATM&#xff09;作为一种常见的自助服务设备&#xff0c;使用户能够方便地进行资金的存取、查询余额、转账等操作&#xff0c;而无需到银行柜台。 …
阅读更多...
浅淡A100-4090-性价比

浅淡A100-4090-性价比

大模型的训练用 4090 是不行的&#xff0c;但推理&#xff08;inference/serving&#xff09;用 4090 不仅可行&#xff0c;在性价比上还能比 H100 稍高。4090 如果极致优化&#xff0c;性价比甚至可以达到 H100 的 2 倍。 -------------------- FP64&#xff08;双精度浮点&a…
阅读更多...
pycharm社区版配置flask开发环境

pycharm社区版配置flask开发环境

新建配置文件&#xff0c;类型选择Shell Script 设置Execute中flask.exe的路径 设置options &#xff1a;--appflask_app.py run --port5000 --debug 设置working 路径 设置环境变量FLASK_APPflask_app.py;FLASK_ENVdevelopment 注意&#xff1a;FLASK_APPflask_app.py和上…
阅读更多...
automa插件使用的一些经验

automa插件使用的一些经验

automa&#xff0c;我承认我写不出来这样的代码&#xff0c;早年的时候公司想过做一个爬虫的工具&#xff0c;那个时候RPA还没有火&#xff0c;虽然下载也没怎么火.RPA再牛&#xff0c;还是需要工程师&#xff0c;想一点经验都没有人来做&#xff0c;还是理解不了。能够简化数据…
阅读更多...
Java接口的解析

Java接口的解析

在 Java 中&#xff0c;接口&#xff08;Interface&#xff09;是一种抽象类型&#xff0c;用于定义一组相关方法的契约。接口只包含方法的签名&#xff0c;而没有方法的实现。实现接口的类必须提供接口中定义的方法的具体实现。 以下是对 Java 接口的解析&#xff1a; 这只是…
阅读更多...
【uniapp】遇到的一些问题

【uniapp】遇到的一些问题

一、小程序中textarea ios样式不生效的方法 默认有内边距&#xff0c;加个disable-default-padding"true" 二、uni-data-picker循环使用&#xff0c;一个改了全局的值 换成了uni自带的picker&#xff0c;下面括号里必须有默认值&#xff0c;为空字符串的时候&…
阅读更多...
国产AI工具钉钉AI助理：开启个性化助手服务的新篇章

国产AI工具钉钉AI助理：开启个性化助手服务的新篇章

钉钉AI助理是钉钉平台的一项功能&#xff0c;它可以根据用户的需求提供个性化的AI助手服务。用户可以在AI助理页面一键创建个性化的AI助理&#xff0c;如个人的工作AI助理、旅游AI助理、资讯AI助理等。企业也可以充分使用企业所沉淀的知识库和业务数据&#xff0c;在获得授权后…
阅读更多...
Python实现PDF—＞Excel的自动批量转换（附完整代码）

Python实现PDF—＞Excel的自动批量转换（附完整代码）

Python实现PDF—>Excel的自动批量转换&#xff08;附完整代码&#xff09; 话不多说&#xff0c;先看效果&#xff01; 需要转换的PDF&#xff1a; 转换后的Excel&#xff1a; 01、底层原理 PDF 到 Excel 的转换涉及不同文件格式之间的数据提取和重构。底层原理可以简…
阅读更多...
【GDAL】Windows下VS+GDAL开发环境搭建

【GDAL】Windows下VS+GDAL开发环境搭建

Step.0 环境说明&#xff08;vs版本&#xff0c;CMake版本&#xff09; 本地的IDE环境是vs2022&#xff0c;安装的CMake版本是3.25.1。 Step.1 下载GDAL和依赖的组件 编译gdal之前需要安装gdal依赖的组件&#xff0c;gdal所依赖的组件可以在官网文档找到&#xff0c;可以根据…
阅读更多...
最新文章

Copyright @ 2022~2023