LLM实现视频切片合成 前沿知识调研

1.相关产品

产品链接
腾讯智影https://zenvideo.qq.com/
可灵https://klingai.kuaishou.com/
即梦https://jimeng.jianying.com/ai-tool/home/
Runwayhttps://aitools.dedao.cn/ai/runwayml-com/
Descripthttps://www.descript.com/?utm_source=ai-bot.cn/
Opus Cliphttps://www.opus.pro/not-available?utm_source=ai-bot.cn/
Wondershare Filmorahttps://www.wondershare.com
AI Podcast Clipshttps://app.simplified.com/social-media
Vadoo AIhttps://ai.vadoo.tv/
WUI.AIhttps://www.wui.ai/zh-CN/clip-settings
FunCliphttps://github.com/modelscope/FunClip
AutoCuthttps://github.com/mli/autocut

2. 功能

产品功能
腾讯智影支持在线剪辑、素材库比较多、文生视频、视频解说、数字人播报
可灵文本生成视频、图片生成视频、文字生成图片
即梦文本生成视频、图片生成视频、文字生成图片
Runway图片生成视频、文本生成视频、文本转语音(提供大量音色)、文本生成图片
Descript基于文本剪辑视频
Opus Clip视频切片:自动从长视频中提取精彩片段,生成短视频。AI分析:使用人工智能技术分析视频内容,识别亮点和重要时刻。一键生成短视频:提供快速生成短视频的选项,简化编辑流程。片段选择:允许用户手动选择或调整Al挑选的片段,以确保最多视频符合预期。视频编辑:提供基本的视频编辑功能,如裁剪、排序和调整片段。
Wondershare FilmoraAI助手剪辑:使用个人AI助理编辑视频(分段,有点短),改善编辑流程。AI文字型编辑:将视频转换成文字,并使用基于文字的AI编辑,像编辑文件一样方便。AI缩略图制作:使用有效的缩略图吸引观众目光。AI音乐生成器:立即创作各种风格、情感和节奏的音乐。10,000+高质视频模板:告别枯燥的编辑工作,提升影片品质。创意资源拓展:超过1,500万个文字、音频、转场、特效和贴纸等资源。跨平台支持:在电脑、iPad和手机上编辑、存储和分享内容。
AI Podcast Clips自动分析视频:识别关键时刻和说话人变化。长视频变短视频(精华):自动生成带有字幕的短视频剪辑。 提供视频编辑器以调整视频比例和分辨率预测视频剪辑在社交媒体上的潜在表现(分数)。支持最大500MB的视频文件。
Vadoo AI长视频变短视频
WUI.AI长切短、总结、拆分章节、增加字幕
FunClip阿里开源的基于LLM的智能剪辑
AutoCut基于Markdown的可视化剪辑

3. 使用体验

目前国内大多数聚焦于大模型实现文生图文生视频很少有基于LLM实现智能剪辑的应用。国外关于LLM实现智能剪辑的产品较多,如WUI.AIOpus Clip(国内不能访问),智能剪辑体验起来比较丝滑,但存在剪辑视频断头断尾技术不开源的问题。国内阿里开源的FunClip提供了智能视频剪辑的解决方案,但同样存在剪辑视频断头断尾文字和时间戳不在同一轨道的情况。

4. FunClip底层技术

阿里开源的Funclip技术如下:
1)将视频转化为音频(ffmpeg);
2)使用ASR模型完成音频的转录;
3)基于转录的字幕使用LLM完成精华的提取;
4)根据LLM提取的内容,使用movie完成基于时间戳实现视频的剪辑。
在这里插入图片描述

5. Autocut底层技术

AutoCut 对你的视频自动生成字幕。然后你选择需要保留的句子,AutoCut 将对你视频中对应的片段裁切并保存。你无需使用视频编辑软件,只需要编辑文本文件即可完成剪切。采用的ASR模型是Open AI开源的whisper模型。
在这里插入图片描述
在使用AutoCut的时候,剪辑需要基于Markdown进行点击(费时费眼),且需要自己对视频理解的十分透彻。为此我们可以基于LLM完成精彩片段的提炼,然后编写正则表达式对Markdown内容进行自动点击。

6.未完待续

1)使用OCR实现ASR识别字幕的不准确性。

参考内容 https://zhuanlan.zhihu.com/p/10856868833

2)编写长变短、按照主题提取的Prompt模版。
参考
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/954854.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

ASP.NET Core - 依赖注入(四)

ASP.NET Core - 依赖注入(四) 4. ASP.NET Core默认服务5. 依赖注入配置变形 4. ASP.NET Core默认服务 之前讲了中间件,实际上一个中间件要正常进行工作,通常需要许多的服务配合进行,而中间件中的服务自然也是通过 Ioc…

刷刷题刷题刷题

springaop 和 aspect aop的区别 springaop 是动态代理增强 aspect aop 是静态代理,在编译阶段生成aop代理类。这个时候是编译时增强 aop通知执行顺序 AOP 、OOP是啥 aop是面向切面 oop是面向对象 ComponentScan 不设置 basepackage也能进行扫描 没有配置&…

【6】Word:海名公司文秘❗

目录 题目 List.docx Word.docx List.docx和Word.docx 题目 List.docx 选中1/4全角空格复制→选中全部文本→开始→替换:粘贴将1/4全角空格 替换成 空格选中全部文本→插入→表格→将文本转化成表格→勾选和布局→自动调整→勾选 选中第一列,单机右键…

【Linux】gawk编辑器二

一、变量 gawk编程语言支持两种变量:内建变量和自定义变量。 1、内建变量 gawk使用内建变量来引用一些特殊的功能。 字段和记录分隔符变量 数据字段变量 此变量允许使用美元符号($)和字段在记录中的位置值来引用对应的字段。要引用记录…

Kafka客户端-“远程主机强迫关闭了一个现有的连接”故障排查及解决

Kafka客户端-“远程主机强迫关闭了一个现有的连接”故障排查及解决 1. 故障现象 Kafka客户端发送数据时,出现“远程主机强迫关闭了一个现有的连接”错误,导致数据发送失败。错误信息如下: 2. 故障排查 【1】. 查看服务网络状态 出现故障…

机器视觉5-全连接神经网络

机器视觉5-全连接神经网络1 图像表示多层感知器全连接神经网络一、两层全连接网络表达式二、三层全连接网络表达式三、关于非线性操作的说明四、全连接神经网络的映射原理 全连接神经网络的权值一、线性分类器二、两层全连接网络三、总结 全连接神经网络线性不可分全连接神经网…

Android BottomNavigationView不加icon使text垂直居中,完美解决。

这个问题网上千篇一律的设置iconsize为0,labale固定什么的,都没有效果。我的这个基本上所有人用都会有效果。 问题解决之前的效果:垂直方向,文本不居中,看着很难受 问题解决之后:舒服多了 其实很简单&…

1️⃣Java中的集合体系学习汇总(List/Map/Set 详解)

目录 01. Java中的集合体系 02. 单列集合体系​ 1. Collection系列集合的遍历方式 (1)迭代器遍历(2)增强for遍历​编辑(3)Lambda表达式遍历 03.List集合详解 04.Set集合详解 05.总结 Collection系列…

聚铭网络6款产品入选CCIA《网络安全专用产品指南》

近日,中国网络安全产业联盟CCIA正式发布《网络安全专用产品指南》(第二版)(以下简称《指南》)。聚铭网络凭借突出技术优势、创新能力以及市场积累,旗下安全产品成功入选防火墙、网络安全审计、日志分析、网…

nacos环境搭建以及SpringCloudAlibaba脚手架启动环境映射开发程序

1:下载nacos 地址:https://github.com/alibaba/nacos/tags 2:选择server的zip包下载 3:启动mysql服务,新建数据库:nacos_yh 4:解压下载的nacos_server 进入conf目录 5:mysql运行sql脚本变得到下面的表 6&a…

Mac安装配置使用nginx的一系列问题

brew安装nginx https://juejin.cn/post/6986190222241464350 使用brew安装nginx,如下命令所示: brew install nginx 如下图所示: 2.查看nginx的配置信息,如下命令: brew info nginxFrom:xxx 这样的,是n…

Linux系统离线部署MySQL详细教程(带每步骤图文教程)

1、登录官网下载对应的安装包 MySQL :: Developer Zone 2、将压缩包上传到服务器上,这里直接上传到/usr/local路径上 使用sftp工具上传到/usr/local目录上 3、解压压缩包 tar -xf mysql-8.0.39-linux-glibc2.17-x86_64.tar.xz 4、将mysql-8.0.39-linux-glibc2.17…

鸿蒙开发实战二 TypeScript和JavaScript的区别

简介 基于第一篇文章中提到的:https://mp.csdn.net/mp_blog/creation/editor/143515906 声明式开发范式:采用基于TypeScript声明式UI语法扩展而来的ArkTS语言,从组件、动画和状态管理三个维度提供UI绘制能力。 类Web开发范式:采…

初学stm32 --- CAN

目录 CAN介绍 CAN总线拓扑图 CAN总线特点 CAN应用场景 CAN物理层 CAN收发器芯片介绍 CAN协议层 数据帧介绍 CAN位时序介绍 数据同步过程 硬件同步 再同步 CAN总线仲裁 STM32 CAN控制器介绍 CAN控制器模式 CAN控制器模式 CAN控制器框图 发送处理 接收处理 接收过…

Mybatis-Plus:乐观锁与悲观锁

文章目录 一、场景二、乐观锁与悲观锁三、模拟修改冲突3.1 数据库中增加商品表3.2 添加数据3.3 添加实体3.4 添加mapper3.5 测试 四、乐观锁实现流程4.1 Mybatis-Plus实现乐观锁 一、场景 一件商品,成本价是80元,售价是100元。老板先是通知小李&#xf…

MySQL 8.0在windows环境安装及配置

文章目录 一、下载二、安装三、配置环境变量 一、下载 1、先彻底卸载之前的MySQL,并清理其 残留文件 。 2、登录网址https://www.mysql.com/ 3、点击网址左下角“中文”按钮,切换到中文界面 4、点击网页上方的“下载”按钮,然后点击网…

Python 实现 NLP 的完整流程

💖 欢迎来到我的博客! 非常高兴能在这里与您相遇。在这里,您不仅能获得有趣的技术分享,还能感受到轻松愉快的氛围。无论您是编程新手,还是资深开发者,都能在这里找到属于您的知识宝藏,学习和成长…

redux 结合 @reduxjs/toolkit 的使用

1,使用步骤 使用React Toolkit 创建 counterStore(store目录下) --> 为React注入store(src下面的index) --> React组件使用store中的数据(组件) 2,例如下面有一个简单加减的…

GDC杂感:怎么提高游戏销量?

1、2018年的一个独立游戏制作人在GDC分享了其教训总结,得奖但销量不佳, 大意是:画面,辨识度的重要性,平庸的游戏容易扑街; 直播对不同类型的作用不同,差别能达到几十倍。 游戏品质与销量并不…

【Kotlin】上手学习之类型篇

一、类型 1.1 基本类型 主要分为 数字及其无符号版布尔字符字符串数组 1.1.1 数字 整数类型 Kotlin 提供了一组表示数字的内置类型。 对于整数,有四种不同大小的类型,因此值的范围也不同: 类型大小(比特数)最小…