ChatTTS的爆火是必然,它正在重新定义我们与机器对话的方式

当AI技术与语音合成相遇,开源技术众多,为什么 ChatTTS 能够一夜爆火?你有听说过能说情感真切文字的 AI 吗?

前言

想象一下,你只需输入一句话,AI就能念得声情并茂,不仅支持中英文混读,还能克隆声音,甚至在合适的地方加入语气词和停顿,听起来如同真人一般。

这并不是科幻小说中的场景,而是如今已经实现的技术。

近期,一款名为 ChatTTS 的开源文本转语音(TTS)工具一夜爆火,引起了广泛关注,现如今GitHub标星量已突破 24.1k

它究竟有何魅力,能在行业内外引起如此轰动呢?

ChatTTS 介绍

ChatTTS一个专为对话场景设计的文本转语音(TTS)模型,特别适用于大语言模型(LLM)助手对话任务、对话语音生成以及视频介绍等应用场景。

它不仅支持中英文混合文本的语音合成,更重要的是,音色表现极其逼真,几乎达到了真假难辨的程度。

与字节跳动最新推出的LLM语音合成工具相比,ChatTTS在音质之外的各个方面表现更为出色。

这个项目在GitHub上一夜爆火,引起了广泛的关注和讨论。

该模型经过了超过10万小时的中英文数据训练,目前在HuggingFace上开源的版本为经过4万小时训练且未进行后续微调的版本。

特色功能:

  • 中英文混读: 无论是中文还是英文,ChatTTS都能流畅地进行语音合成,且能够在一句话中实现两种语言的自然切换。

  • 情感表达: ChatTTS不仅能简单地读出文字,还能根据内容的需要,自动添加合适的语气词和停顿,使得语音听起来更有感情。

  • 高保真音色: 通过大量数据训练,ChatTTS的语音输出极其逼真,甚至可以模仿特定人物的声音,让人难辨真假。

  • 语速与停顿调节: 用户可以微调控制语速和加入停顿,满足个性化的语音需求。

  • 开源与可扩展性: 作为开源项目,用户可以自行部署和测试ChatTTS,进行个性化调整和开发。

使用方法

要使用ChatTTS,你可以选择自行部署或使用已经搭建好的平台。

1、自行部署

  • **环境准备:**确保你有一张性能良好的显卡,并安装所需的软件环境。

  • **获取代码:**在GitHub上克隆ChatTTS项目代码

  • **安装依赖:**按照项目文档安装所有必要的依赖项。

  • **运行模型:**使用提供的脚本运行ChatTTS模型,输入文本即可生成语音。

  • **微调与测试:**根据需要对模型进行微调,测试不同的语速、停顿和音色设置,获取最佳效果。

2、第三方开发者搭建ChatTTS平台

自从ChatTTS这个项目爆火之前,很多个人开发者或者企业已经着手免费或付费的方式搭建了私有的平台。

接下来为大家提供几个ChatTTS免费使用平台。

ChatTTS.com 这款工具应该是使用人数比较多的一款在线ChatTTS了,毕竟它真的很官方,但听别人说是三方部署的,支持多国语言。

chattts.in 也是可以的,但是你会发现很多再搭建的平台都是基于chattts.com的模版来的。

那么应该如何使用它来帮助我们生成一个具有情感的音频呢,只需在输入栏输入想要转换成语音的文本,其他参数默认即可(纯中文、纯英文、中英混合都可以)

示例:Let’s practice writing now! 就像踢足球一样,各个方面都需要不断锻炼才能进步。Writing is like playing football, you need to keep practicing to improve.写作就是要不断积累词汇和句型,多读多写才能提高自己的写作水平。Don’t be afraid of making mistakes, making mistakes can help us learn more.不要害怕写错了,多犯错才能学到更多东西。Believe in yourself, persevere, and success is waiting for us ahead!相信自己,坚持下去,成功就在前方等着我们!

示例音频结果:

实际效果真的不骗人,比以往用的任何开源TTS效果都要好。还有就是如果文本太长,生成的语音超过30秒,ChatTTS会拆取前30秒音频片段作为结果,因为它最长就是支持30秒。

如果想要了解ChatTTS 其他各个参数代表什么意思,下面我也为大家罗列说明下,基于自己的理解可以一一尝试效果有什么不同之处。

Audio Seed: 用于初始化随机数生成器的种子值。设置相同的 Audio Seed 可以确保重复生成一致的语音,便于实验和调试。推荐 Seed: 3798-知性女、462-大舌头女、2424-低沉男。

Text Seed: 类似于 Audio Seed,在文本生成阶段用于初始化随机数生成器的种子值。

Refine Text: 勾选此选项可以对输入文本进行优化或修改,提升语音的自然度和可理解性。

Audio Temperature️: 控制输出的随机性。数值越高,生成的语音越可能包含意外变化;数值较低则趋向于更平稳的输出。

Top_P: 核采样策略,定义概率累积值,模型将只从这个累积概率覆盖的最可能的词中选择下一个词。

Top_K: 限制模型考虑的可能词汇数量,设置为一个具体数值,模型将只从这最可能的 K 个词中选择下一个词。

生成结果文本中,你会发现多出了这样[]的符号,它是表示一些预期、停顿以及笑声之类的控制。

[oral_(0-9)]: 控制口音强度

[laugh_(0-2)]:控制笑声

[break_(0-7)]: 控制停顿时间

应用场景

无论输入中文还是英文,ChatTTS都能以不同音色将文字念出,更可以微调语速、加入停顿和语气词,甚至模仿口头禅。

ChatTTS的应用场景非常广泛,无论是智能助手对话任务、视频介绍,还是任何需要语音输出的场合,ChatTTS都能提供高质量的语音服务。它让机器的声音更加人性化,提升了用户体验。

  • **智能助手:**为智能助手提供更自然的语音交互体验,使用户感觉仿佛在与真人对话。

  • **教育领域:**为在线课程和教育平台生成高质量的语音内容,提升学习体验。

  • **视频制作:**为视频内容添加生动的语音解说,增加观众的参与感。

  • **客户服务:**在自动化客服系统中使用,提供更友好、更具互动性的服务体验。

  • **个性化语音服务:**为有特殊需求的用户,如视障人士,提供个性化的语音辅助。

总结

ChatTTS的爆火并非偶然, ChatTTS以其逼真的语音合成效果和强大的功能,彻底突破了开源TTS模型的天花板。

它不仅在中英文混读、情感表达等方面表现出色,还提供了高度的可调节性和个性化服务潜力。这款工具的出现,无疑为各类对话场景和语音应用带来了新的可能性。

如果你对语音合成技术感兴趣,不妨亲自体验一下ChatTTS的强大功能。只需输入文字,它便能为你生成如同真人一般的语音效果。赶快试试吧,探索AI技术带来的无穷可能!

GitHub项目地址:github.com/2noise/ChatTTS

小编也收集了一些三方ChatTTS搭建平台,如有需要文本资料可后台回复“ChatTTS”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/790594.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Webpack安装以及快速入门

3 Webpack 1 什么是Webpack https://webpack.js.org/ (官网) webpack 是一个现代 javascript 应用程序的 静态模块打包器 (module bundler) 待会要学的 vue-cli 脚手架环境, 集成了 webpack, 所以才能对各类文件进行打包处理 webpack是一个 静态模块 打包器,可以做以下的这…

一文彻底搞懂性能测试

性能测试概念 我们经常看到的性能测试概念,有人或称之为性能策略,或称之为性能方法,或称之为性能场景分类,大概可以看到性能测试、负载测试、压力测试、强度测试等一堆专有名词的解释。 针对这些概念,我不知道你看到的…

牛刀小试--下三角对称矩阵压缩存储

解析博客: 矩阵存储和特殊矩阵的压缩存储_n阶对称矩阵压缩-CSDN博客 函数功能: //为N阶下三角矩阵初始化成的一维数组分配空间 void Init_triangular_matrix(int *&matrix); //返回二维下三角矩阵的值(压缩存取) int get_Value_triangular_matrix(int matrix[],int x,int …

Canvas:实现在线画板操作

想象一下,用几行代码就能创造出如此逼真的图像和动画,仿佛将艺术与科技完美融合,前端开发的Canvas技术正是这个数字化时代中最具魔力的一环,它不仅仅是网页的一部分,更是一个无限创意的画布,一个让你的想象…

谷粒商城学习笔记-22-分布式组件-SpringCloud-OpenFeign测试远程调用

文章目录 一,OpenFeign的简介二,OpenFeign的使用步骤1,场景说明2,引入依赖2,开启OpenFeign3,编写Feign接口4,使用feign调用远程接口5,验证 错误记录 上一节学习了注册中心&#xff0…

Linux-shell编程入门基础

文章目录 前言Shell编程bash特性shell作用域变量环境变量$特殊变量$特殊状态变量 $特殊符号(很重要)其他内置shell命令shell语法的子串截取统计 指令执行时间练习shell特殊扩展变量父子shell的理解内置和外置命令区别 数值计算双括号(())运算letexprexpr模式匹配 bcawk中括号 s…

ts语法---泛型和泛型约束

泛型 泛型,动态类型,是一个初始化不明确的类型,类似于函数中的形参(不明确参数值), 泛型一般用在function定义函数时动态约束类型,和type定义类型时动态约束类型, 泛型一般使用任…

Jenkins教程-18-常用插件-description-setter

上一小节我们学习了Jenkin常用插件Environment Injector的使用方法,本小节我们讲解一下Jenkin常用插件description-setter的使用方法。 在某些情况下,用户可能希望根据构建过程中的某些关键信息来自定义构建的描述,比如部署的用户信息、提交…

​李白一生的过往轨迹矢量地图

今天我们来看一下“天子呼来不上船,自称臣是酒中仙”大诗人李白过往轨迹,看看他一生都去过哪些地方? 我们将李白一生去过的地方搜集整理了一份矢量地图,有需要请在文末查看该数据的领取方法。 李白一生的过往轨迹 李白&#xf…

stm32按键设置闹钟数进退位不正常?如何解决

🏆本文收录于《CSDN问答解惑-专业版》专栏,主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收…

JavaScript-日期对象

日期对象 作用:用来表示时间的对象 获取当前时间 const datenew Date();console.log(date);可以得到日期对象,里面的属性有星期,年月日,时分秒 获取指定时间 const datenew Date(2023-05-01);console.log(date); 获取时间戳 时间…

Deepspeed : AttributeError: ‘DummyOptim‘ object has no attribute ‘step‘

题意:尝试在一个名为 DummyOptim 的对象上调用 .step() 方法,但是这个对象并没有定义这个方法 问题背景: I want to use deepspeed for training LLMs along with Huggingface Trainer. But when I use deepspeed along with trainer I get …

实习记录3

1.Mybaits懒加载 MyBatis 延迟加载(懒加载)一篇入门-腾讯云开发者社区-腾讯云 (tencent.com) 2.高级映射 106-高级映射之多对一映射第一种方式_哔哩哔哩_bilibili 3.TableId(type IdType.INPUT) Mybatis-plus 主键生成策略_mybatis-plus 自增主键等于…

和鲸科技荣耀入选2024 H1 「中国最具价值 AGI 创新机构 TOP 50」

以下文章来源于Founder Park,作者Founder Par 大模型的盛宴,不应该只属于那些无数光环加身的算法天才们。 模型的冰山一角下,是应用层的暗流涌动,这是一个更庞大,也更隐秘的蓝海。但发掘这一切的前提是,所…

redis哨兵模式搭建

先搭建主从结构 当需要运行多个Redis实例时,可以通过为每个实例使用不同的配置文件的方式来实现。 复制redis目录下的redis.conf文件将其重命名为redis6380.conf和redis6381.conf,或者将其放到单独文件夹中,这里为了偷懒,简单实现…

使用 MinIO 赢得 RAG 权利

人们常说,在人工智能时代,数据是你的护城河。为此,构建生产级 RAG 应用程序需要合适的数据基础架构来存储、版本控制、处理、评估和查询构成专有语料库的数据块。由于 MinIO 采用数据优先的 AI 方法,因此对于此类项目,…

TotalSegmentator---针对CT/MRI数据的自动分割

很高兴在雪易的CSDN遇见你 VTK技术爱好者 QQ:870202403 公众号:VTK忠粉 前言 本文分享开源软件TotalSegmentator,该开源项目针对CT/MRI数据类型,对主要的解剖学结构进行自动分割,并且被集成到MITK中。希望对各…

Global Mapper:地理信息的温柔探索

引言 在这纷繁复杂的世界里,地理信息系统(GIS)如同一把利器,帮助我们剖析、理解和改造这个世界。而在众多GIS软件中,Global Mapper无疑是其中的佼佼者。作为一款功能全面且易于使用的GIS应用程序,Global M…

springboot养老院管理系统-计算机毕业设计源码00010

摘要 本文介绍了一种基于Spring Boot框架的养老院管理系统的设计与实现。该系统旨在帮助养老院管理者更有效地管理机构内的各项事务,并提供更好的服务于老年人。系统的设计考虑了养老院管理的特殊需求,包括系统用户、老人信息管理、服务分类管理、医疗服…

谷歌个人开发者账号14天封测审核通过技巧,你还不知道吗?

众所周知,目前在Google play应用商店上架应用已经不是那么容易了,谷歌各种政策的更新以及审核系统的升级,给开发者们带来了不少挑战。 尤其针对个人开发者账号需要20人连续14天的封测的要求,周期长,且随着政策执行力度…