语音识别大模型，是人工智能领域的一项重要技术，它能够将人类的语音转换为文本。近年来，随着深度学习技术的不断发展，语音识别大模型取得了显著的进展，并在各个领域得到了广泛应用。

主流语音识别大模型

目前，市面上涌现出许多优秀的语音识别大模型，它们在性能、功能和应用场景上各有侧重。以下是一些主流的语音识别大模型：

• OpenAI Whisper: 由OpenAI公司开发的Whisper，是一个强大的多语言语音识别模型。它在多个语音识别任务上表现出色，能够处理各种口音、语速和噪音环境下的语音。
• Google Cloud Speech-to-Text: 谷歌云提供的语音识别服务，支持多种语言和方言，具有高准确率和低延迟的特点。它还提供了丰富的定制化功能，以满足不同场景的需求。
• 讯飞星火: 讯飞公司推出的星火认知大模型，具备强大的语音识别能力，尤其在中文语音识别方面表现突出。它还支持多种方言和少数民族语言的识别。
• 阿里云语音识别: 阿里云提供的语音识别服务，支持多种语言和场景，具有高性价比和稳定性。它还提供了丰富的API和SDK，方便开发者集成到自己的应用中。
• 华为云语音识别: 华为云推出的语音识别服务，支持多种语言和方言，具有高准确率和实时性。它还提供了定制化模型训练服务，以满足特定领域的需求。

开源的语音识别大模型

• Whisper

  • 介绍：OpenAI 开发的通用语音识别模型，功能强大，支持多种语言识别和翻译。
  • 特点：
    • 多语言支持
    • 多种模型大小可选择
    • 开源免费，方便研究和定制
  • 项目地址：https://github.com/openai/whisper

• MooER

  • 介绍：摩尔线程开发的音频理解大模型，是业界首个基于国产全功能 GPU 进行训练和推理的大型开源语音模型。
  • 特点：
    • 支持中英文语音识别和中译英语音翻译
    • 基于国产 GPU 训练和推理
    • 开源推理代码和模型
  • 项目地址：https://github.com/MooreThreads/MooER

• Mini-Omni

  • 介绍：清华大学和智谱 AI 提出 Mini-Omni，是首个开源的端到端实时语音多模态模型，支持语音输入、流式语音输出的多模态交互能力。
  • 特点：
    • 文本-语音同时生成
    • 支持语音输入、流式语音输出
    • 开源免费
  • 项目地址：https://github.com/gpt-omni/mini-omni
• SenseVoice

SenseVoice多语言音频理解模型，支持语音识别、语种识别、语音情感识别、声学事件检测、逆文本正则化等能力，采用工业级数十万小时的标注音频进行模型训练，保证了模型的通用识别效果。模型可以被应用于中文、粤语、英语、日语、韩语音频识别，并输出带有情感和事件的富文本转写结果。 

• FunASR

FunASR希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过发布工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并推动语音识别生态的发展。让语音识别更有趣！项目地址：https://github.com/modelscope/FunASR

 

 OpenAI的Whisper模型

OpenAI 提供了两个基于开源的 Whisper large-v2 模型的语音到文本API服务：

• 转录（transcriptions）：将音频转录为音频所使用的任何语言。
• 翻译（translations）：将音频翻译并转录为英语

目前文件上传限制为 25 MB，支持以下输入文件类型：mp3、mp4、mpeg、mpga、m4a、wav 和 webm。

语音转录 Transcription API

输入音频文件，返回转录对象（JSON）

参数

• file（文件）：需要转录的音频文件对象（不是文件名），支持以下格式：flac、mp3、mp4、mpeg、mpga、m4a、ogg、wav 或 webm。
• model（'whisper-1'）：使用的模型 ID。目前仅可使用由我们的开源 Whisper V2 模型驱动的 whisper-1。
• language（语言，可选）：输入音频的语言。提供 ISO-639-1 格式的输入语言可以提高准确性和响应速度。
• prompt（提示，可选）：可选文本，用于指导模型的风格或继续前一个音频片段。提示应与音频语言相匹配。
• response_format（响应格式，可选）：转录输出的格式，默认为 json。可选的格式有：json、text、srt、verbose_json 或 vtt。
• temperature（温度，可选）：采样温度，范围从 0 到 1。更高的值，如 0.8，将使输出更随机，而更低的值，如 0.2，将使输出更集中和确定。如果设置为 0，模型将使用对数概率自动提高温度，直到达到某些阈值。
• timestamp_granularities[]（时间戳粒度，可选）：为此转录填充的时间戳粒度，默认为 segment。响应格式必须设置为 verbose_json 才能使用时间戳粒度。支持以下一个或两个选项：word 或 segment。注意：segment 时间戳不增加额外延迟，但生成 word 时间戳会增加额外延迟。

返回值

• 转录对象（Transcription Object）或详细转录对象（Verbose Transcription Object）。

使用 Whisper 实现中文转录代码演示

将语音文件转成文字。输入语音 输出文字。

from openai import OpenAI
client = OpenAI()

audio_file= open("./audio/liyunlong.mp3", "rb")

transcription = client.audio.transcriptions.create(
  model="whisper-1", 
  file=audio_file
)

print(transcription.text)

 返回

二营长,你他娘的意大利泡呢?给我拉来!

 

语音翻译 API

输入音频文件，返回翻译文本。

请求体

• file（文件）：需要翻译的音频文件对象（不是文件名），支持以下格式：flac、mp3、mp4、mpeg、mpga、m4a、ogg、wav 或 webm。
• model（'whisper-1'）：使用的模型 ID。目前只有由我们的开源 Whisper V2 模型驱动的 whisper-1 可用。
• prompt（提示，可选）：可选文本，用于指导模型的风格或继续前一个音频片段。提示应为英文。
• response_format（响应格式，可选）：转录输出的格式，默认为 json。可选的格式包括：json、text、srt、verbose_json 或 vtt。
• temperature（温度，可选）：采样温度，范围从 0 到 1。较高的值，如 0.8，将使输出更随机，而较低的值，如 0.2，将使输出更集中和确定。如果设置为 0，模型将使用对数概率自动增加温度，直到达到特定阈值。

返回值

• translated_text: 翻译后的文本。

 使用 Whisper 实现中文识别+翻译

audio_file= open("./audio/liyunlong.mp3", "rb")

translation = client.audio.translations.create(
    model="whisper-1", 
    file=audio_file,
    prompt="Translate into English",
)

print(translation.text)

返回英文：

Second Battalion Commander, where is your Italian gun? Bring it to me.

语音与文字互转

Whisper： 语音--->文字

TTS：文字--->语音

可以将这2个大模型一起使用，形成 【语音-->文字/翻译--->语音】模式，比如将中文语音转英语语音，将你的录音翻译成外语并且转语音。

Whisper---> TTS 的代码演示

gdg_audio_file = open("./audio/gdg.mp3", "rb")
gdg_speech_file = "./audio/gdg_en.mp3"

translation = client.audio.translations.create(
  model="whisper-1", 
  file=gdg_audio_file
)

print(translation.text)

with client.audio.speech.with_streaming_response.create(
    model="tts-1",
    voice="onyx",
    input=translation.text
) as response:
    response.stream_to_file(gdg_speech_file)