基于EasyAnimate模型的视频生成最佳实践

EasyAnimate是阿里云PAI平台自主研发的DiT的视频生成框架，它提供了完整的高清长视频生成解决方案，包括视频数据预处理、VAE训练、DiT训练、模型推理和模型评测等。本文为您介绍如何在PAI平台集成EasyAnimate并一键完成模型推理、微调及部署的实践流程。

背景信息

本文为您介绍以下两种视频生成的方式：

  • 方式一：使用DSW

DSW是为算法开发者量身打造的一站式AI开发平台，集成了JupyterLab、WebIDE、Terminal多种云端开发环境，其中，Gallery提供了丰富的案例和解决方案，帮助您快速熟悉研发流程。您可以打开DSW Gallery中的案例教程，实现一键式运行Notebook，完成基于EasyAnimate的视频生成模型的推理和训练任务，也可以进行模型推理和微调等二次开发操作。

  • 方式二：使用快速开始

快速开始集成了众多AI开源社区中优质的预训练模型，并且基于开源模型支持零代码实现从训练到部署再到推理的全部过程，您可以通过快速开始一键部署EasyAnimate模型并生成视频，享受更快、更高效、更便捷的AI应用体验。

费用说明

  • 如果您的账号为DSW或EAS的新用户，可以免费试用相应产品。关于免费试用的额度、领取方式及注意事项等详细信息，请参见新用户免费试用。

说明：在本教程中，仅支持使用DSW免费资源类型ecs.gn7i-c8g1.2xlarge。

  • 如果您的账号非新用户，使用DSW和EAS会产生相应费用。更多计费详情，请参见交互式建模（DSW）计费说明、模型在线服务（EAS）计费说明、快速开始（QuickStart）计费说明。

前提条件

  • 创建PAI工作空间。具体操作，请参见开通PAI并创建默认工作空间。
  • （可选）开通OSS或NAS。具体操作，请参见开始使用OSS、NAS入门概述。

方式一：使用DSW

步骤一：创建DSW实例

  1. 进入DSW页面。
    1. 登录PAI控制台。
    2. 在概览页面选择目标地域。
    3. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击目标工作空间名称，进入对应工作空间内。
    4. 在工作空间页面的左侧导航栏选择模型开发与训练>交互式建模（DSW），进入DSW页面。
  2. 单击创建实例。
  3. 在配置实例向导页面，配置以下关键参数，其他参数保持默认即可。
参数说明
实例名称本教程使用的示例值为：AIGC_test_01
资源规格选择GPU规格下的ecs.gn7i-c8g1.2xlarge，或其他A10、GU100规格。
镜像选择官方镜像的easyanimate:1.1.4-pytorch2.2.0-gpu-py310-cu118-ubuntu22.04。
挂载配置（可选）单击添加，单击创建数据集，创建OSS或NAS数据集。
  1. 单击确定。

步骤二：安装EasyAnimate模型

  1. 打开DSW实例。
    1. 登录PAI控制台。
    2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击目标工作空间，进入对应工作空间。
    3. 在页面左上方，选择使用服务的地域。
    4. 在左侧导航栏，选择模型开发与训练>交互式建模（DSW）。
    5. 单击目标DSW实例操作列下的打开，进入DSW实例的开发环境。
  2. 在Notebook页签的Launcher页面，单击快速开始区域Tool下的DSW Gallery，打开DSW Gallery页面。
  3. 在DSW Gallery页面中，搜索EasyPhoto: 基于EasyAnimate的AI视频生成示例，单击在DSW中打开，即可自动将本教程所需的资源和教程文件下载至DSW实例中，并在下载完成后自动打开教程文件。

image.png

  1. 下载EasyAnimate相关代码和模型并进行安装。

在教程文件easyanimate.ipynb中，单击image.png运行环境安装节点命令，包括定义函数、下载代码和下载模型。当成功运行一个步骤命令后，再顺次运行下个步骤的命令。

步骤三：推理模型

方式一：使用代码进行推理

单击image.png运行模型推理>使用代码进行推理节点的命令进行模型推理。您可在**/mnt/workspace/demos/easyanimate/EasyAnimate/samples/easyanimate-videos**目录中查看生成结果。
您可以修改不同的参数来达到不同的效果，参数说明：

参数名说明类型
prompt用户输入的正向提示词。string
negative_prompt用户输入的负向提示词。string
num_inference_steps用户输入的步数。int
guidance_scale引导系数。int
sampler_name采样器类型。在生成风景类animation时，采样器 (sampler_name) 推荐使用DPM++和Euler A。在生成人像类animation时，采样器推荐使用Euler A和Euler。string
width生成视频宽度。int
height生成视频高度。int
video_length生成视频帧数。int
fps保存的视频帧率。int
save_dir保存视频文件夹 （相对路径）。string
seed随机种子。int
lora_weightLoRA模型参数的权重。float
lora_path额外的LoRA模型路径。用于生成人物视频可以修改为预置的模型路径：models/Personalized_Model/easyanimate_portrait_lora.safetensorsstring
transformer_pathtransformer模型路径。用于生成人物视频可以修改为预置的模型路径：models/Personalized_Model/easyanimate_portrait.safetensorsstring
motion_module_pathmotion_module模型路径。string
方式二：使用WebUI进行推理
  1. 单击image.png运行模型推理>UI启动节点的命令，进行模型推理。
  2. 单击生成的链接，进入WebUI界面。

image.png

  1. 在WebUI界面选择预训练的模型路径、微调后的基模型和LoRA模型，设置LoRA权重，其它参数按需配置即可。

image.png

  1. 单击Generate（生成），等待一段时间后，即可在右侧查看或下载生成的视频。

image.png

步骤四：微调LoRA

EasyAnimate提供了丰富的模型训练方式，包括DiT模型的训练（LoRA微调和基模型的全量微调）和VAE的训练。关于Gallery中内置的LoRA微调部分，更多信息，请参见EasyAnimate。

准备数据

单击image.png执行模型训练>数据准备节点的命令，即可下载示例数据，用于模型训练。您也可以按照如下格式要求自行准备数据文件。
文件数据格式如下。

project/
├── datasets/
│   ├── internal_datasets/
│       ├── videos/
│       │   ├── 00000001.mp4
│       │   ├── 00000002.mp4
│       │   └── .....
│       └── json_of_internal_datasets.json

其中，JSON文件数据格式和参数说明如下。

[
    {
      "file_path": "videos/00000001.mp4",
      "text": "A group of young men in suits and sunglasses are walking down a city street.",
      "type": "video"
    },
    {
      "file_path": "videos/00000002.mp4",
      "text": "A notepad with a drawing of a woman on it.",
      "type": "video"
    }
    .....
]
参数说明
file_path视频/图片数据的存放位置（相对路径）。
text数据的文本描述。
type视频为video，图片为image。
训练模型
  1. 将对应的训练脚本中的DATASET_NAME及DATASET_META_NAME设置为训练数据所在目录及训练文件地址。
export DATASET_NAME=“” # 训练数据所在目录
export DATASET_META_NAME=“datasets/Minimalism/metadata_add_width_height.json” # 训练文件地址
  1. 单击image.png执行启动训练>LoRA训练节点的命令。
  2. 训练完成后，将生成的模型移动至models/Personalized_model文件夹，即可在UI界面中选择，或单击image.png执行LoRA模型推理节点的命令，指定lora_path进行视频生成。

方式二：使用快速开始

步骤一：部署模型

  1. 进入快速开始页面。
    1. 登录PAI控制台。
    2. 在左侧导航栏单击工作空间列表，在工作空间列表页面单击目标工作空间名称，进入对应工作空间内。
    3. 在左侧导航栏单击快速开始，进入快速开始页面。
  2. 在快速开始页面，搜索EasyAnimate 高清长视频生成，然后单击部署，配置相关参数。

EasyAnimate目前仅支持使用bf16进行推理，请选择A10及其以上的显卡。
image.png

  1. 单击部署，在弹出的计费提醒对话框中，单击确定，页面将自动跳转到服务详情页面。

当状态变为运行中时，即表示模型部署成功。

步骤二：使用模型

模型部署完成后，您可以使用WebUI及API两种方式调用服务来生成视频。

WebUI方式
  1. 在服务详情页面，单击查看WEB应用。

image.png

  1. 在WebUI界面选择预训练的模型路径，其它参数按需配置即可。

image.png

  1. 单击Generate（生成），等待一段时间后，即可在右侧查看或下载生成的视频。

image.png

API方式
  1. 在服务详情页面的资源详情区域，单击查看调用信息，获取调用服务所需的信息。

image.png

  1. 通过接口更新Transformer模型，可在DSW实例或本地Python环境中执行。

如果已经在WebUI中选择模型，则无需发送请求重复调用。如遇请求超时，请在EAS日志中确认模型已加载完毕。加载完成，日志中将提示Update diffusion transformer done。
Python请求示例如下。

import json
import requests


def post_diffusion_transformer(diffusion_transformer_path, url='http://127.0.0.1:7860', token=None):
    datas = json.dumps({
        "diffusion_transformer_path": diffusion_transformer_path
    })
    head = {
        'Authorization': token
    }
    r = requests.post(f'{url}/easyanimate/update_diffusion_transformer', data=datas, headers=head, timeout=15000)
    data = r.content.decode('utf-8')
    return data

def post_update_edition(edition, url='http://0.0.0.0:7860',token=None):
    head = {
        'Authorization': token
    }

    datas = json.dumps({
        "edition": edition
    })
    r = requests.post(f'{url}/easyanimate/update_edition', data=datas, headers=head)
    data = r.content.decode('utf-8')
    return data
  
if __name__ == '__main__':
    url = '<eas-service-url>'
    token = '<eas-service-token>'

    # -------------------------- #
    #  Step 1: update edition
    # -------------------------- #
    edition = "v2"
    outputs = post_update_edition(edition,url = url,token=token)
    print('Output update edition: ', outputs)

    # -------------------------- #
    #  Step 2: update edition
    # -------------------------- #
    # 默认路径不可修改
    diffusion_transformer_path = "/mnt/models/Diffusion_Transformer/EasyAnimateV2-XL-2-512x512"
    outputs = post_diffusion_transformer(diffusion_transformer_path, url = url, token=token)
    print('Output update edition: ', outputs)

其中：

  • ：替换为步骤1中查询到的服务访问地址。
  • ：替换为步骤1中查询到的服务Token。
  1. 调用服务，生成视频或图片。
  • 服务输入参数说明
参数名说明类型默认值
prompt_textbox用户输入的正向提示词。string必填。无默认值
negative_prompt_textbox用户输入的负向提示词。string“The video is not of a high quality, it has a low resolution, and the audio quality is not clear. Strange motion trajectory, a poor composition and deformed video, low resolution, duplicate and ugly, strange body structure, long and strange neck, bad teeth, bad eyes, bad limbs, bad hands, rotating camera, blurry camera, shaking camera. Deformation, low-resolution, blurry, ugly, distortion.”
sample_step_slider用户输入的步数。int30
cfg_scale_slider引导系数。int6
sampler_dropdown采样器类型。stringEluer
在 [Eluer, EluerA, DPM++, PNDM, DDIM] 中选择
width_slider生成视频宽度。int672
height_slider生成视频高度。int384
length_slider生成视频帧数。int144
is_image是否是图片。boolFALSE
lora_alpha_sliderLoRA模型参数的权重。float0.55
seed_textbox随机种子。int43
lora_model_path额外的LoRA 模型路径。stringnone
若有，则会在请求时带上lora。在当次请求后移除。
base_model_path需要更新的transformer模型路径。stringnone
motion_module_path需要更新的motion_module模型路径。stringnone
  • Python请求示例

服务返回base64_encoding，为base64结果。
您可以在**/mnt/workspace/demos/easyanimate/**目录中查看生成结果。

import base64
import json
import sys
import time
from datetime import datetime
from io import BytesIO

import cv2
import requests
import base64


def post_infer(is_image, length_slider, url='http://127.0.0.1:7860',token=None):
    head = {
        'Authorization': token
    }

    datas = json.dumps({
        "base_model_path": "none",
        "motion_module_path": "none",
        "lora_model_path": "none", 
        "lora_alpha_slider": 0.55, 
        "prompt_textbox": "This video shows Mount saint helens, washington - the stunning scenery of a rocky mountains during golden hours - wide shot. A soaring drone footage captures the majestic beauty of a coastal cliff, its red and yellow stratified rock faces rich in color and against the vibrant turquoise of the sea.", 
        "negative_prompt_textbox": "Strange motion trajectory, a poor composition and deformed video, worst quality, normal quality, low quality, low resolution, duplicate and ugly, strange body structure, long and strange neck, bad teeth, bad eyes, bad limbs, bad hands, rotating camera, blurry camera, shaking camera", 
        "sampler_dropdown": "Euler", 
        "sample_step_slider": 30, 
        "width_slider": 672, 
        "height_slider": 384, 
        "is_image": is_image,
        "length_slider": length_slider,
        "cfg_scale_slider": 6,
        "seed_textbox": 43,
    })
    r = requests.post(f'{url}/easyanimate/infer_forward', data=datas, headers=head,timeout=1500)
    data = r.content.decode('utf-8')
    return data

if __name__ == '__main__':
    # initiate time
    now_date    = datetime.now()
    time_start  = time.time()  
    
    url = '<eas-service-url>'
    token = '<eas-service-token>'

    # -------------------------- #
    #  Step 3: infer
    # -------------------------- #
    is_image = False
    length_slider = 27
    outputs = post_infer(is_image, length_slider, url = url, token=token)
    
    # Get decoded data
    outputs = json.loads(outputs)
    base64_encoding = outputs["base64_encoding"]
    decoded_data = base64.b64decode(base64_encoding)

    if is_image or length_slider == 1:
        file_path = "1.png"
    else:
        file_path = "1.mp4"
    with open(file_path, "wb") as file:
        file.write(decoded_data)
        
    # End of record time
    time_end = time.time()  
    time_sum = (time_end - time_start) % 60 
    print('# --------------------------------------------------------- #')
    print(f'#   Total expenditure: {time_sum}s')
    print('# --------------------------------------------------------- #')

其中：

  • < eas-service-url>：替换为步骤1中查询到的服务访问地址。
  • < eas-service-token>：替换为步骤1中查询到的服务Token。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/723559.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

数据分析-相关性

数据分析-相关性

0、提高数据样本质量 首先是确保数据采集的准确性与可靠性&#xff0c;也就是如何降低数据误差 系统误差是由测量工具不精确和测量方法选择不当造成的。这类误差我们可以通过校准工具或者选择更合适的测量方法来消除&#xff1b;随机误差是由环境因素等外部不可控原因导致的&…
阅读更多...
PXE无人值守批量装机操作步骤

PXE无人值守批量装机操作步骤

目录 PXE PXE所需环境 开机过程 部署PXE有人值守操作步骤 一. 配置环境 FTP DHCP和TFTP 二. 测试 部署无人值守操作步骤 一. 环境配置 二. 测试 总结 1. 实现PXE远程装机所需要的组件 2. PXE网络引导安装过程 PXE PXE&#xff1a;Preboot eXecution Environment…
阅读更多...
印刷企业数字工厂管理系统规划方案

印刷企业数字工厂管理系统规划方案

一、引言 随着科技的快速发展&#xff0c;数字化、智能化已成为制造业发展的重要趋势。对于印刷企业而言&#xff0c;数字化不仅是提升生产效率、降低成本的关键&#xff0c;更是适应市场变化、增强竞争力的必然选择。因此&#xff0c;本规划方案旨在构建一套完善的印刷企业数…
阅读更多...
功能测试 之 单模块测试----抢购模块

功能测试 之 单模块测试----抢购模块

1.先测后台&#xff0c;再测前台 面试题1: 当你发现研发实现的结果与需求不一致时怎么办? 需求评审的时候&#xff1a;需要确认所有输入类型的校验是针对单独的输入框做的还是在最终提交时校验 抢购模块&#xff1a;需求跟实现的内容不一致 (跟产品和研发一起确认。研发为什…
阅读更多...
现在的ai是否和当年的5g一样被夸大了

现在的ai是否和当年的5g一样被夸大了

AI写作、AI绘画对普通人影响也很大&#xff0c;为此也成就了一大批人。这是一个大趋势&#xff0c;AI能极大提高工作效率&#xff0c;这点毋庸置疑。不仅如此&#xff0c;对于普通人来说AI也对我们有很大的帮助&#xff0c;用AI回答遇到的问题&#xff0c;写一写文章什么的&…
阅读更多...
003.Linux SSH协议工具

003.Linux SSH协议工具

我 的 个 人 主 页&#xff1a;&#x1f449;&#x1f449; 失心疯的个人主页 &#x1f448;&#x1f448; 入 门 教 程 推 荐 &#xff1a;&#x1f449;&#x1f449; Python零基础入门教程合集 &#x1f448;&#x1f448; 虚 拟 环 境 搭 建 &#xff1a;&#x1f449;&…
阅读更多...
储备教师和正式教师的区别是什么？

储备教师和正式教师的区别是什么？

当谈论教育行业的未来&#xff0c;是否曾想过&#xff0c;那些被称为"储备教师"的群体&#xff0c;与我们熟知的"正式教师"之间&#xff0c;有何本质的区别&#xff1f; 储备教师&#xff0c;顾名思义&#xff0c;是学校为了应对未来可能的教学需求而提前招…
阅读更多...
【C语言 || 排序】希尔排序

【C语言 || 排序】希尔排序

文章目录 前言1.希尔排序1.1 直接插入排序1.2 直接插入排序的实现1.2.1 直接插入排序的代码实现 1.3 直接插入排序的时间复杂度1.4 希尔排序1.4.1 希尔排序概念1.4.1 希尔排序的代码实现 前言 1.希尔排序 1.1 直接插入排序 在写希尔排序之前&#xff0c;我们需要先了解直接插入…
阅读更多...
Boost 网络库

Boost 网络库

asio 网络编程的基本流程创建 socket绑定acceptor连接指定的端点服务器接受连接 网络编程的基本流程 服务端 1&#xff09;socket----创建socket对象。 2&#xff09;bind----绑定本机ipport。 3&#xff09;listen----监听来电&#xff0c;若在监听到来电&#xff0c;则建…
阅读更多...
Java 开发面试题精选：RocketMQ 一篇全搞定

Java 开发面试题精选：RocketMQ 一篇全搞定

前言 RocketMQ作为一个高性能、高可用的分布式消息和流处理平台&#xff0c;广泛应用于分布式系统中的解耦、异步通信和数据流处理场景。这篇文章我精选了一些关于RockerMQ面试题目&#xff0c;这些问题涵盖了RocketMQ的所有关键知识点&#xff0c;从基本概念到高级应用&#…
阅读更多...
堪称2024最强的前端面试场景题，让419人成功拿到offer

堪称2024最强的前端面试场景题，让419人成功拿到offer

前言 2024年的秋季招聘还有两个月就即将到来&#xff0c;很多同学开始思考前端面试中场景题的重要性。这里我提供一些见解和建议来帮助大家准备即将到来的面试。 首先&#xff0c;理解面试中场景题的必要性是至关重要的。与算法或理论问题不同&#xff0c;场景题更贴近实际工…
阅读更多...
从网络配置文件中提取PEAP凭据

从网络配置文件中提取PEAP凭据

我的一位同事最近遇到了这样一种情况&#xff1a;他可以物理访问使用802.1X连接到有线网络的Windows计算机&#xff0c;同时保存了用于身份验证的用户凭据&#xff0c;随后他想提取这些凭据&#xff0c;您可能认为这没什么特别的&#xff0c;但是事情却有点崎岖波折…… 如何开…
阅读更多...
利用AI云防护实现高效负载均衡

利用AI云防护实现高效负载均衡

在当今高度数字化的世界里&#xff0c;保证网站和应用的高可用性和响应速度对企业的业务连续性和用户体验至关重要。传统的负载均衡技术虽然能够分发流量&#xff0c;但在面对突发流量、DDoS攻击或资源动态调整时往往力不从心。本文将探讨如何借助AI云防护服务&#xff0c;不仅…
阅读更多...
使用芯片为ZYNQ—7020，基于野火FPGA ZYNQ开发板

使用芯片为ZYNQ—7020，基于野火FPGA ZYNQ开发板

使用芯片为ZYNQ—7020&#xff0c;基于野火FPGA ZYNQ开发板 肤色模型简介 YCrCb也称为YUV&#xff0c;主要用于优化彩色视频信号的传输。与RGB视频信号传输相比&#xff0c;它最大的优点在于只需占用极少的频宽&#xff08;RGB要求三个独立的视频信号同时传输&#xff09;。其…
阅读更多...
轻松获取指定日期所在周的周一和周日

轻松获取指定日期所在周的周一和周日

哈喽&#xff0c;大家好呀&#xff0c;好久不见&#xff01;今天是一篇浅记。根据传入日期自动获取所在周一和周日… 正常基操方法&#xff0c;根据传入日期自动获取所在周一和周日。注意传入日期是周日的情况哈&#xff0c;需要往前推7天才是周一。 楼主方法中已处理&#xf…
阅读更多...
为何Proteus用户争相拥抱SmartEDA？揭秘背后的强大吸引力！

为何Proteus用户争相拥抱SmartEDA？揭秘背后的强大吸引力！

在电路设计与仿真领域&#xff0c;Proteus一度以其稳定性能和丰富功能赢得了众多用户的青睐。然而&#xff0c;近年来&#xff0c;越来越多的Proteus用户开始转向SmartEDA&#xff0c;这一新兴电路仿真软件正迅速崭露头角&#xff0c;成为行业内的翘楚。那么&#xff0c;究竟是…
阅读更多...
数据模型——饮食记录

数据模型——饮食记录

数据模型——饮食记录 本次实验完成饮食记录的数据模型&#xff0c;如下图所示 该饮食记录模型与上次的记录项数据模式定义处理方式相同&#xff0c;我们首先分析其数据结构&#xff0c;我们发现首先有早餐、午餐、晚餐等记录类型数据模型&#xff0c;其包括了id、类型名称、类…
阅读更多...
几个小实验

几个小实验

小实验 shh远程管理 ssh是一种安全通道协议&#xff0c;只能用来实现字符界面的远程登录。远程复制&#xff0c;远程文本传输。 ssh对通信双方的数据进行了加密。 用户名和密码登录 密钥对认证方式&#xff08;可以实现免密登录&#xff09; ssh 22 网络层 传输层 数据传…
阅读更多...
龙虎斗(2018)c++

龙虎斗(2018)c++

题目描述 输入 输出 样例输入&#xff0c;输出 输入 #1 输出 #1 6 2 2 3 2 3 2 3 4 6 5 2 输入 #2 输出 #2 6 …
阅读更多...
最新技术：跨境电商源码，应对多国市场需求，让您轻松开展全球业务！

最新技术：跨境电商源码，应对多国市场需求，让您轻松开展全球业务！

随着全球化进程的不断推进&#xff0c;跨境电商已成为企业拓展国际市场的重要途径。为了满足不同国家和地区消费者不断增长的需求&#xff0c;跨境电商源码应运而生&#xff0c;为企业提供了便捷高效的全球化业务发展方案。 一、全球化运营的关键 跨境电商源码的核心功能在于…
阅读更多...
最新文章

Copyright @ 2022~2023