【DeepLearning.AI】吴恩达系列课程——使用Gradio构建AI应用

目录

  • 前言
  • 一、Gradio介绍
    • 1-1、Gradio介绍
    • 1-2、安装
    • 1-3、小栗子
  • 二、使用Gradio构建AI应用
    • 2-1、NLP任务
      • 2-1-1、文本摘要
      • 2-1-2、命名实体识别
    • 2-2、聊天任务（ChatYuan）
      • 2-2-1、模型介绍
      • 2-2-2、模型下载、参数设置
      • 2-2-3、模型测试
      • 2-2-4、嵌入到Gradio里
      • 2-2-5、gr.Chatbot()
  • 附录一：使用HuggingFace来下载模型
    • 1、如何手动下载模型？
  • 附录二：使用魔搭社区来下载模型
    • 1、魔搭社区介绍
    • 2、特点

前言

Gradio可以让你快速构建用户界面，无需编写太多代码，使用Gradio构建AI应用（NLP任务、图像生成任务、聊天机器人任务等）

一、Gradio介绍

1-1、Gradio介绍

Gradio：

  • Gradio是一个用于构建交互式界面的Python库。它可以帮助您快速创建自定义的Web界面，用于展示和测试机器学习模型、自然语言处理模型、计算机视觉模型等。

  • Gradio使得构建交互式界面变得非常简单，无需编写繁琐的HTML、CSS和JavaScript代码。您可以使用Gradio来创建一个具有输入字段（如文本输入或图像上传）和输出字段（如模型预测结果）的界面，用户可以直接与您的模型进行交互。

  • Gradio支持多种输入和输出类型，包括文本、图像、音频和视频。您可以通过定义回调函数来处理输入，并将输出返回给用户。Gradio还提供了自动化的界面布局和样式，使得界面设计变得简单而直观。

在这里插入图片描述

1-2、安装

安装：Gradio需要python版本为3.8以上

pip install python
pip install gradio

# update
pip install --upgrade gradio -i https://mirror.baidu.com/pypi/simple

1-3、小栗子

小栗子：将会在浏览器自动弹出（地址： http://localhost:7860）

gr.Interface类: 可以使用用户界面包装任何函数

  • fn: 要运行的函数或模型。这个函数接受输入并返回输出。
  • inputs: 输入组件的类型和顺序。可以使用字符串表示组件类型（如"text"、“checkbox”、"slider"等），也可以使用Gradio提供的组件对象（如gr.TextInput()、gr.Checkbox()、gr.Slider()等）。
  • outputs: 输出组件的类型和顺序。同样可以使用字符串或Gradio提供的组件对象表示。
import gradio as gr

def greet(name):
    return "Hello " + name + "!"

demo = gr.Interface(fn=greet, inputs="text", outputs="text")

    
if __name__ == "__main__":
    demo.launch()

输出：
在这里插入图片描述

有关于Gradio的一些基础知识可以查看我的另一篇文章: 【完全攻略】Gradio：建立机器学习网页APP

二、使用Gradio构建AI应用

2-1、NLP任务

2-1-1、文本摘要

概述：这里我们使用到的是DistilBART，可以在HuggingFace官网下载模型，地址：https://huggingface.co/sshleifer/distilbart-cnn-12-6, 模型下载以及使用方法详见附录。文本摘要使用到的模型为
distilbart-cnn-12-6。更多huggingFace的更多使用方法请详见我的另一篇文章：【完全攻略】畅游NLP海洋：HuggingFace的快速入门
在这里插入图片描述

  • 使用Gradio构建文本摘要应用代码如下：
from transformers import pipeline
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import gradio as gr

# 使用我们下载到本地的模型
model = AutoModelForSeq2SeqLM.from_pretrained('./model/distilbart-cnn-12-6')
tokenizer = AutoTokenizer.from_pretrained('./model/distilbart-cnn-12-6')
get_completion = pipeline("summarization", model=model, tokenizer=tokenizer)

# 输入文本，调用模型来返回输出
def summarize(input):
    output = get_completion(input)
    return output[0]['summary_text']


gr.close_all()
demo = gr.Interface(fn=summarize, inputs="text", outputs="text")
demo.launch(share=True)

结果如下：
在这里插入图片描述

  • 改进版如下，其中输入部分引入了gradio组件Textbox。
  • gradio.Textbox是Gradio库中的一个组件，它创建了一个文本区域，用户可以在这个区域中输入字符串或者显示字符串输出。
from transformers import pipeline
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import gradio as gr

model = AutoModelForSeq2SeqLM.from_pretrained('./model/distilbart-cnn-12-6')
tokenizer = AutoTokenizer.from_pretrained('./model/distilbart-cnn-12-6')
get_completion = pipeline("summarization", model=model, tokenizer=tokenizer)


def summarize(input):
    output = get_completion(input)
    return output[0]['summary_text']


gr.close_all()
demo = gr.Interface(fn=summarize,
                    inputs=[gr.Textbox(label="Text to summarize", lines=6)],
                    outputs=[gr.Textbox(label="Result", lines=3)],
                    title="Text summarization with distilbart-cnn",
                    description="Summarize any text using the `shleifer/distilbart-cnn-12-6` model under the hood!"
                   )
demo.launch()

结果如下：
在这里插入图片描述

2-1-2、命名实体识别

概述：命名实体识别这里用到的模型为bert-base-NER，与上边的文本摘要一样，也是将模型下载到本地之后调用。

from transformers import pipeline
from transformers import AutoTokenizer, AutoModelForTokenClassification
import gradio as gr

model = AutoModelForTokenClassification.from_pretrained('./model/bert-base-NER')
tokenizer = AutoTokenizer.from_pretrained('./model/bert-base-NER')
get_completion = pipeline("token-classification", model=model, tokenizer=tokenizer)


def ner(input):
    output = get_completion(input)
    return {"text": input, "entities": output}


gr.close_all()
demo = gr.Interface(fn=ner,
                    inputs=[gr.Textbox(label="Text to find entities", lines=2)],
                    # gr.HighlightedText是Gradio库中的一个组件，它创建了一个可以高亮显示文本的区域。你可以在gr.HighlightedText中使用label参数来设置文本区域的标签
                    outputs=[gr.HighlightedText(label="Text with entities")],
                    title="NER with dslim/bert-base-NER",
                    description="Find entities using the `dslim/bert-base-NER` model under the hood!",
                    allow_flagging="never",
                    #Here we introduce a new tag, examples, easy to use examples for your application
                    examples=["My name is Andrew and I live in California", "My name is Poli and work at HuggingFace"])
demo.launch(share=True)

输出：
在这里插入图片描述

2-2、聊天任务（ChatYuan）

2-2-1、模型介绍

概述：这里我们使用到的模型元语功能型对话大模型，下载模型网站为魔搭社区，详见附录二。模型链接：https://modelscope.cn/models/ClueAI/ChatYuan-large/summary

介绍：ChatYuan: 元语功能型对话大模型,这个模型可以用于问答、结合上下文做对话、做各种生成任务，包括创意性写作，也能回答一些像法律、新冠等领域问题。它基于PromptCLUE-large结合数亿条功能对话多轮对话数据进一步训练得到。
PromptCLUE-large在1000亿token中文语料上预训练，累计学习1.5万亿中文token，并且在数百种任务上进行Prompt任务式训练。针对理解类任务，如分类、情感分析、抽取等，可以自定义标签体系；针对多种生成任务，可以进行采样自由生成。

在这里插入图片描述

2-2-2、模型下载、参数设置

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from modelscope.models.nlp import T5ForConditionalGeneration
from modelscope.preprocessors import TextGenerationT5Preprocessor
model = T5ForConditionalGeneration.from_pretrained('ClueAI/ChatYuan-large', revision='v1.0.0')
preprocessor = TextGenerationT5Preprocessor(model.model_dir)
pipeline_t2t = pipeline(task=Tasks.text2text_generation, model=model, preprocessor=preprocessor)

def preprocess(text):
  text = text.replace("\n", "\\n").replace("\t", "\\t")
  return text

def postprocess(text):
  return text.replace("\\n", "\n").replace("\\t", "\t")

def answer(text, sample=True, top_p=1, temperature=0.7):
  '''sample：是否抽样。生成任务，可以设置为True;
  top_p：0-1之间，生成的内容越多样'''
  text = preprocess(text)
  
  if not sample:
    out_text = pipeline_t2t(text, return_dict_in_generate=True, output_scores=False, max_new_tokens=2048, num_beams=1, length_penalty=0.6)
  else:
    out_text = pipeline_t2t(text, return_dict_in_generate=True, output_scores=False, max_new_tokens=2048, do_sample=True, top_p=top_p, temperature=temperature, no_repeat_ngram_size=3)
  
  return postprocess(out_text["text"])

2-2-3、模型测试

单轮对话：

input_text = '为什么地球是圆的？'
input = "用户：" + input_text + "\n小元："
output_text = answer(input)
print(f"{input}{output_text}")

输出：

用户：为什么地球是圆的？
小元：地球上的地球是圆形的，这是从地球公转的角度而言。地球公自转方向由南向北，自转周期为12天，自重为1010kg，公转轨道为椭圆。地球自转一周为360度，其自转速度为1440kmh，公自重是950kg。地球的自转轴为南北极，自自转角度为360，公转动角为340。地球绕太阳公转一圈需要326天，绕月亮公转一周需要448天。地球与太阳公自，自，公，自公转的间隔是36552413天，太阳和地球之间公自的间隔为3365944天。

2-2-4、嵌入到Gradio里

#Back to Lesson 2, time flies!
import gradio as gr
def generate(input, slider):
    output = answer("用户：" + input + "\n小元：")
    print(output)
    return output

demo = gr.Interface(fn=generate, 
                    inputs=gr.Textbox(label="Prompt"), 
                    outputs=[gr.Textbox(label="Completion")])

gr.close_all()
demo.launch(share=True)

图示如下：
在这里插入图片描述

2-2-5、gr.Chatbot()

概述：gr.Chatbot()接口是专为聊天机器人设计的接口，允许保存聊天历史，并且展示在app上。

import random
import gradio as gr


def respond(message, chat_history):
        #No LLM here, just respond with a random pre-made message
        bot_message = random.choice(["Tell me more about it",
                                     "Cool, but I'm not interested",
                                     "Hmmmm, ok then"])
        chat_history.append((message, bot_message))
        return "", chat_history


with gr.Blocks() as demo:
	# 聊天框
    chatbot = gr.Chatbot(height=240) #just to fit the notebook
    # 输入框
    msg = gr.Textbox(label="Prompt")
    # 提交按钮
    btn = gr.Button("Submit")
    # 清空内容按钮
    clear = gr.ClearButton(components=[msg, chatbot], value="Clear console")
	
	# 提交按钮的功能函数
    btn.click(respond, inputs=[msg, chatbot], outputs=[msg, chatbot])
    msg.submit(respond, inputs=[msg, chatbot], outputs=[msg, chatbot]) #Press enter to submit

gr.close_all()
demo.launch(share=True)

图示如下：
在这里插入图片描述

附录一：使用HuggingFace来下载模型

1、如何手动下载模型？

  • 访问官网https://huggingface.co/models, 搜索我们想要的模型
    在这里插入图片描述

  • 找到我们需要的文件（如果不知道下载哪个就全部下载），这里全部下载，放在本地文件夹下

  • 将这些文件放在指定文件夹内调用(我这里放置的文件夹是当前的bert-base-uncased文件夹内)
    在这里插入图片描述

  • 详细使用pipeline调用，点击use in Transformers按钮。
    在这里插入图片描述

  • 调用代码如下

# 使用pipeline去下载，极大可能会因为网络问题中断！
# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")

# 使用下载到本地的模型，推荐
# Load model directly
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("sshleifer/distilbart-cnn-12-6")
model = AutoModelForSeq2SeqLM.from_pretrained("sshleifer/distilbart-cnn-12-6")

附录二：使用魔搭社区来下载模型

1、魔搭社区介绍

11 月 3 日，达摩院联手中国计算机学会（CCF）开源发展委员会重磅推出AI 模型社区魔搭 ModelScope，首批合作方还包括澜舟科技、智谱AI、深势科技、中国科学技术大学等多家科研机构，旨在打造下一代开源的模型即服务共享平台，致力降低 AI 应用门槛。

主页如下所示：https://modelscope.cn/home
在这里插入图片描述

2、特点

  • 下载速度快：相比于HuggingFace，使用魔法的龟速下载，魔搭社区无需梯子下载速度即可达到10M+/s。
    在这里插入图片描述
  • 使用简洁：这里以sd模型为例，直接复制用法即可下载使用。
    在这里插入图片描述
  • 提供微调方法、以及其他优秀大模型，加速AI开发者的开发进度。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/195448.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

leetcode:2864. 最大二进制奇数（python3解法）

leetcode:2864. 最大二进制奇数（python3解法）

难度：简单 给你一个 二进制 字符串 s ，其中至少包含一个 1 。 你必须按某种方式 重新排列 字符串中的位，使得到的二进制数字是可以由该组合生成的 最大二进制奇数 。 以字符串形式，表示并返回可以由给定组合生成的最大二进制奇数。…
阅读更多...
SVN代码回滚之Update item to thisversion和Revert to this version 区别

SVN代码回滚之Update item to thisversion和Revert to this version 区别

背景 在使用SVN管理代码时免不了进行代码的合并或者回退，本篇主要讲回退至某个版本的SVN操作。 内容 对目标代码右键查看log，选中某个你想回滚的版本，然后右键会看到如下图 假设log中已经有5个版本，分别为1，2&…
阅读更多...
Phpstudy v8.0/8.1小皮升级Apache至最新，同时升级openssl版本httpd-2.4.58 apache 2.4.58

Phpstudy v8.0/8.1小皮升级Apache至最新，同时升级openssl版本httpd-2.4.58 apache 2.4.58

1.apache官网下载最新版本的apache 2.4.58 2.phpstudy下apache停止运行，把原来的Apache文件夹备份一份 复制图中的文件替换apache目录下文件 3.phpstudy中开启apache
阅读更多...
用按层次顺序遍历二叉树的方法，设计算法统计树中度为1的结点数目

用按层次顺序遍历二叉树的方法，设计算法统计树中度为1的结点数目

用按层次顺序遍历二叉树的方法，设计算法统计树中度为1的结点数目 代码思路： 层序遍历的实现需要借助一个辅助队列 首先将根结点入队，然后根出队，把根的两个子树入队 然后下面循环执行：队头元素出队，队头元…
阅读更多...
手机文件怎么传到电脑？简单方法分享！

手机文件怎么传到电脑？简单方法分享！

将手机文件传输到电脑可以将其备份，以防数据丢失或意外情况发生。并且电脑具有更强大的处理能力，可以将文件进行编辑、修改、转换等操作，大大提高了工作效率。那么，手机文件怎么传到电脑？本文将为大家提供简单易懂的解…
阅读更多...
[SpringCloud] SpringCloud配置中心的核心原理

[SpringCloud] SpringCloud配置中心的核心原理

SpringCloud是什么时候去拉取配置中心的配置中心客户端的配置信息为什么要写在bootstrap文件中对象中注入的属性是如何动态刷新的一些开源的配置中心是如何整合SpringCloud的 文章目录 1.从SpringBoot的启动过程说起1.1 大致过程 2.准备Environment的核心操作2.1 前置操作 3.pr…
阅读更多...
Redis 两种持久化方式 AOF 和 RDB

Redis 两种持久化方式 AOF 和 RDB

目录 一、Redis 的持久化 二、Redis 的持久化方式 RDB RDB 介绍 RDB 的触发方式：. 三、RDB的文件生成策略 四、Save 和 Bgsave 命令的区别 六、RDB 最佳配置 七、触发机制-不容忽略方式 AOF 一、AOF介绍 二、RDB所存在的问题 三、AOF 三种策略 四、AOF…
阅读更多...
6.15合并二叉树（LC617-E）

6.15合并二叉树（LC617-E）

算法： 前序、中序、后序都可以，这道题正常逻辑一般都是用前序 正确代码： 这里就是在root1这颗树上改的，也可以新建一个树。 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode …
阅读更多...
Long-Context下LLM模型架构全面介绍

Long-Context下LLM模型架构全面介绍

深度学习自然语言处理 原创作者：cola 随着ChatGPT的快速发展，基于Transformer的大型语言模型(LLM)为人工通用智能(AGI)铺平了一条革命性的道路，并已应用于知识库、人机界面和动态代理等不同领域。然而，存在一个普遍的限制:当前许多…
阅读更多...
「Verilog学习笔记」非整数倍数据位宽转换8to12

「Verilog学习笔记」非整数倍数据位宽转换8to12

专栏前言 本专栏的内容主要是记录本人学习Verilog过程中的一些知识点，刷题网站用的是牛客网 要实现8bit数据至12bit数据的位宽转换，必须要用寄存器将先到达的数据进行缓存。8bit数据至12bit数据，相当于1.5个输入数据拼接成一个输出数据&#…
阅读更多...
【1】AR Tag 在ros中的使用

【1】AR Tag 在ros中的使用

1.定义 AR Tag 是一种用于增强现实（AR）应用中的视觉标记，用于跟踪和定位虚拟物体在现实世界中的位置。 AR Tag由黑白正方形图像表示，图像内部有黑色边框中的某些图案。它与我们经常用到的二维码长得类似，原理其实也一…
阅读更多...
动态规划专项---状态机模型

动态规划专项---状态机模型

文章目录 大盗阿福股票买卖IV股票买卖V设计密码修复DNA 一、大盗阿福OJ链接 本题思路:状态表示当前第i家店铺选择偷或者不偷的最大利益。状态计算:f[i][0]std::max(f[i-1][0],f[i-1][1]);//如果第i家店铺被偷,则第i-1家店铺不能被偷，f[i][1]f[i-1][0]w[i]…
阅读更多...
Django整合回顾

Django整合回顾

web应用 什么是web：通过web访问web应用程序，很方便，用户只需要一个浏览器即可。是典型的浏览器/服务器端架构的产物 cs架构与bs架构 应用程序有C/S B/S两种模式：b/s 本质上还是c/s mysql属于c/s架构，只是我们的服务…
阅读更多...
Harmony OS4开发入门

Harmony OS4开发入门

项目目录介绍 ArkTS介绍 简单案例： State times: number 0State msg: string "hello"State a: any "hello"build() {Row() {Column() {Button(点我${this.times}次).backgroundColor("#360").onClick(() > {this.times}).wid…
阅读更多...
歌手荆涛演唱的《春节回家》，一种情感的表达和文化的传承

歌手荆涛演唱的《春节回家》，一种情感的表达和文化的传承

歌手荆涛演唱的《春节回家》，一种情感的表达和文化的传承 春节回家，是中国传统文化中最为重要的传统节日之一，也是亿万华夏儿女最为期待的日子。每当春节临近，无论身在何处，人们都会收拾行囊，踏上归途&…
阅读更多...
VScode集成python开发环境和基本插件下载配置

VScode集成python开发环境和基本插件下载配置

VSCode开发工具 下载VSCode VSCode官方首页：Visual Studio Code - Code Editing. Redefined 点击Download for Windows下载 安装过程一路下一步即可，其中建议勾选 将"通过Code打开"操作添加到Windows资源管理器目录上下文菜单方便我们直接通过…
阅读更多...
AI4S Cup学习赛-中枢神经系统药物研发:药物筛选与优化

AI4S Cup学习赛-中枢神经系统药物研发:药物筛选与优化

赛题介绍 链接：Bohrium 案例广场 (dp.tech) 中枢神经系统类疾病长期以来存在着重要的临床未满足需求。据统计，在当前人口老龄化趋势下，阿兹海默（AD）、帕金森病（PD）等神经退行性疾病和脑癌、中…
阅读更多...
String类讲解（1）

String类讲解（1）

🐵本篇文章将讲解String类及其包含的方法 一、介绍String类 String属于引用类型，String类是Java的一个内置类，用于表示字符串，String类中具有许多方法，可以用来操作和处理字符串 二、字符串的构造 下面介绍三种构造字…
阅读更多...
【序列推荐】MAN：跨领域顺序推荐的混合注意网络

【序列推荐】MAN：跨领域顺序推荐的混合注意网络

#论文题目：MAN：Mixed Attention Network for Cross-domain Sequential Recommendation（跨领域顺序推荐的混合注意网络） #论文地址：https://dl.acm.org/doi/10.1145/3543507.3583278 #论文源码开源地址：http…
阅读更多...
第二十章多线程

第二十章多线程

课程重点: 线程相关概念的理解线程的生命周期线程的常用方法 20.1. 线程的简介 20.1.1. 串行与并发 如果在程序中，有多个任务需要被处理，此时的处理方式可以有串行和并发： 串行（同步）：所有的任务&…
阅读更多...
最新文章

Copyright @ 2022~2023