openai.CLIP多模态模型简介

介绍

OpenAI CLIP（Contrastive Language–Image Pretraining）是一种由OpenAI开发的多模态学习模型。它能够同时理解图像和文本，并在两者之间建立联系，实现了图像和文本之间的跨模态理解。

如何工作

CLIP模型的工作原理是将来自图像和文本的数据嵌入到一个共同的语义空间中。在这个语义空间中，相关的图像和文本会靠近彼此，而不相关的则会远离彼此。CLIP模型通过对比学习的方式，在这个共同的语义空间中对图像和文本进行编码，从而实现跨模态理解。

# image_encoder - ResNet or Vision Transformer
# text_encoder - CBOW or Text Transformer
# I[n, h, w, c] - minibatch of aligned images
# T[n, l] - minibatch of aligned texts
# W_i[d_i, d_e] - learned proj of image to embed
# W_t[d_t, d_e] - learned proj of text to embed
# t - learned temperature parameter
# extract feature representations of each modality
I_f = image_encoder(I) #[n, d_i]
T_f = text_encoder(T) #[n, d_t]
# joint multimodal embedding [n, d_e]
I_e = l2_normalize(np.dot(I_f, W_i), axis=1)
T_e = l2_normalize(np.dot(T_f, W_t), axis=1)
# scaled pairwise cosine similarities [n, n]
logits = np.dot(I_e, T_e.T) * np.exp(t)
# symmetric loss function
labels = np.arange(n)
loss_i = cross_entropy_loss(logits, labels, axis=0)
loss_t = cross_entropy_loss(logits, labels, axis=1)
loss = (loss_i + loss_t)/2

模型架构

CLIP模型由一个图像编码器和一个文本编码器组成，它们共享参数。图像编码器负责将图像嵌入到语义空间中，而文本编码器则负责将文本嵌入到同样的语义空间中。CLIP模型使用了Transformer架构来实现这两个编码器，这种架构能够处理长距离的依赖关系，并且在大规模数据上进行预训练。

在这里插入图片描述

应用

CLIP模型在多个任务上都表现出色，包括但不限于：

图像分类：给定一张图像，预测图像所属的类别。
图像检索：给定一段文本描述，检索出与描述相匹配的图像。
文本分类：给定一段文本，预测文本所属的类别。
文本生成：根据给定的文本描述，生成与描述相匹配的图像。

使用示例1

下面是一个使用CLIP模型进行图像分类的Python代码示例：

import os
import clip
import torch
from torchvision.datasets import CIFAR100

# Load the model
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load('ViT-B/32', device)

# Download the dataset
cifar100 = CIFAR100(root=os.path.expanduser("~/.cache"), download=True, train=False)

# Prepare the inputs
image, class_id = cifar100[3637]
image_input = preprocess(image).unsqueeze(0).to(device)
text_inputs = torch.cat([clip.tokenize(f"a photo of a {c}") for c in cifar100.classes]).to(device)

# Calculate features
with torch.no_grad():
    image_features = model.encode_image(image_input)
    text_features = model.encode_text(text_inputs)

# Pick the top 5 most similar labels for the image
image_features /= image_features.norm(dim=-1, keepdim=True)
text_features /= text_features.norm(dim=-1, keepdim=True)
similarity = (100.0 * image_features @ text_features.T).softmax(dim=-1)
values, indices = similarity[0].topk(5)

# Print the result
print("\nTop predictions:\n")
for value, index in zip(values, indices):
    print(f"{cifar100.classes[index]:>16s}: {100 * value.item():.2f}%")

使用示例2

下面是一个使用CLIP模型进行文本-图像相似度检索的Python代码示例：

import torch
import clip
from PIL import Image

device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

image = preprocess(Image.open("CLIP.png")).unsqueeze(0).to(device)
text = clip.tokenize(["a diagram", "a dog", "a cat"]).to(device)

with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)
    
    logits_per_image, logits_per_text = model(image, text)
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

print("Label probs:", probs)  # prints: [[0.9927937  0.00421068 0.00299572]]