学习新技术,慢慢也有了施展拳脚的地方。今天我们给ComfyUI中文爱好者社区成员提供了一个工作机会,有需要可以联系我们的小助手:
相信这几天大家都看到了我们更新了些论文笔记出来,阅读1篇英文论文我们需要花几个小时,如果阅读14篇,那估计1天也看不完。
LLM遇上Video#14篇论文精选
这14篇论文我是怎么看完的?花了大概3小时,最后浓缩成了一段话,这段话代表着最近半年LLM+Video领域的技术发展趋势:
整体来看,可以从视频提取每秒的字幕,然后通过提示工程让LLM进行总结;
通过LLM来提取每个画面的主体,然后经过多轮的prompt处理,完成一致性梳理,再引导LLM来生产布局,可以生成布局的dsl,通过类似于GLIGEN的方法生成图像甚至是视频;
使用音频和视频,进行多模态大模型的训练也是值得关注的方向;
另外,通过LLM来实现视频的剪辑和处理,是一个值得探索的新型设计工具的方向。
如果你正在考虑应该在视频这个方向做点什么,我觉得:
# 制作知识库:给视频做基于时间戳的文字摘要,方便查找视频信息
# 制作prompt提示:使用LLM来生产视频分镜的Prompt提示词
# 设计师应该提前思考,基于LLM的设计工具的人机交互方式,大模型原生驱动产品设计规范。
这就是为什么要阅读论文,了解技术趋势,因为这些信息可以给我们非常多的启发。
为此,我们专门创建了一个社群:
MiX论文精选学习基地
特色:人类编辑精选、AI整理、同频交流。
主编:由我和薛志荣一起
编辑精选:我们每周从AI助手整理的几百篇中挑选出3-5篇精选
更新频率:一周一次,平时不定期交流
微信交流社群:可以和同频的人交流、讨论精选的论文
时效:一年有效期
为什么要做这个精选社群?
arXiv的论文数据已经达到200万篇+,而且每天更新的数据已经不是普通人可以阅读完的量级了,另外,由于arXIv是开放的发布平台,最新的研究大概率都会第一时间发布到arXiv上,我们需要经常去阅读arXiv的新论文。但是,论文良莠不齐,存在挑选精读的难度。
我们使用LLM进行第一步的过滤,然后再进行人类编辑精选,这个方式节约了大量的时间和金钱。
精选社群主编介绍:
shadow:爱好研究趋势,开发新产品
薛志荣:四本人机交互领域书籍的作者
《AI改变设计》、《前瞻交互》、《写给设计师的技术书》、《智能座舱HMI设计》
这个社群会聚集爱好学习的人,大家可以同频交流最新的论文趋势。
扫码备注:论文社群
社群门票:早鸟价 ¥69
赠送:AIGC知识库(价值¥699,限量50名,送完即止)
如果你犹豫了,请不要付费(进群)。
入群要求:发自我介绍,积极讨论论文。