上周小米汽车发布，其中有一个特色功能就是智能语音，小爱同学整合了语音大模型，实现智能座舱体验。
雷老板的PPT也演示了，一些口语化的对话就能触发各种指令，无论是开空调、播放音乐，还是找手机、识别前方汽车，丝滑流畅。
其实这个就是语言大模型中的函数调用能力，ChatGPT老早就已经能力支持了，只是很多小伙伴们没有发觉，或者看到冗长的技术文档就觉得是很复杂的功能。
本期文章就聊聊如何简单、快速地使用语言大模型实现一个小米汽车同款的智能语音助手。
语音输入
语言转文字有很多成熟的解决方案，openai的wisper-1模型，或者讯飞听见，甚至是手机电脑自带的语音识别，识别语音的准确度都是很高的。
函数调用
ChatGPT大模型是现在市面上训练地最充分，也是国外的大模型中对中文支持最友好的一个。基于工作难度和响应速度考虑，gpt-3.5-turbo模型已经够用了。
系统预设
当然，为了让语言大模型能够准确地了解我们的使用场景，可以适当地添加系统预设，例如：
{
"role": "system",
"content": "你是一辆汽车内置的智能语言系统“小爱同学”，为乘客提供智能的语言交互服务，输出指令集。"
}函数定义
然后就是指令集的定义，可以参考openai官方文档
https://platform.openai.com/docs/guides/function-calling
使用json-schema定义函数，语言大模型会根据语境输出如何调用函数。这里给大家提供一个json-schema数据的编辑工具
https://texttools.cn/json-schema/
我们可以简单定义一些车内的设备操作和程序指令，例如：
[
{
"name": "instruction_set",
"description": "指令集",
"parameters": {
"type": "object",
"title": "指令集",
"properties": {
"控制空调": {
"type": "object",
"title": "",
"properties": {
"opeartion": {
"type": "string",
"title": "",
"enum": [
"开启,关闭,调高温度,调低温度,调大风速,调低风速"
]
}
}
},
"控制音乐": {
"type": "object",
"title": "",
"properties": {
"opeartion": {
"type": "string",
"title": "",
"enum": [
"播放,暂停,大声,小声"
]
}
}
},
"执行程序": {
"type": "object",
"title": "",
"properties": {
"program": {
"type": "array",
"title": "",
"items": {
"type": "string",
"title": "程序名称",
"enum": [
"获取当前位置",
"识别前方车辆",
"识别左方建筑",
"识别右方建筑",
"推荐附近美食",
"定位手机"
]
}
}
}
}
}
}
}
]这里为了直观直接使用了中文的key，强迫症程序猿请忽略
语言输入
然后我们就可以模拟一下在车内的时候跟车载语音助手的互动，可以在一句话中包含了多个信息，现在的语言大模型是可以轻松地理解对话内容。
例如我们可以说：
"我有点热，车里太安静了，左边那个建筑是什么，前面那辆车是什么车"
接口调用
然后请求接口
可以看到返回结果
{
"控制空调": {
"opeartion": "调低温度"
},
"控制音乐": {
"opeartion": "播放"
},
"执行程序": {
"program": ["识别左方建筑", "识别前方车辆"]
}
}返回的指令集包括了：
-
空调调低温度
-
播放音乐
-
执行程序 识别左方建筑
-
执行程序 识别前方车辆
这个指令集是严格按照我们预设的结构生成的，拿到这个指令集之后，就可以识别并执行对应的程序，还可以在预设这些场景输出的回答内容，例如“已调低空调温度”等。
贴一下详细的curl，执行的时候只要将 THIS_IS_YOUR_APIKEY 替换为你的apikey即可。
curl --request POST \
--url https://api.smarttxt.net/v1/chat/completions \
--header 'Authorization: Bearer THIS_IS_YOUR_APIKEY' \
--header 'Content-Type: application/json' \
--header 'content-type: application/json' \
--data '{
"model": "gpt-3.5-turbo",
"messages": [
{
"role": "system",
"content": "你是一辆汽车内置的智能语言系统“小爱同学”，为乘客提供智能的语言交互服务，输出指令集。"
},
{
"role": "user",
"content": "我有点热，车里太安静了，左边那个建筑是什么，前面那辆车是什么车"
}
],
"functions": [{"name":"instruction_set","description":"指令集","parameters":{"type":"object","title":"指令集","properties":{"控制空调":{"type":"object","title":"","properties":{"opeartion":{"type":"string","title":"","enum":["开启,关闭,调高温度,调低温度,调大风速,调低风速"]}}},"控制音乐":{"type":"object","title":"","properties":{"opeartion":{"type":"string","title":"","enum":["播放,暂停,大声,小声"]}}},"执行程序":{"type":"object","title":"","properties":{"program":{"type":"array","title":"","items":{"type":"string","title":"程序名称","enum":["获取当前位置","识别前方车辆","识别左方建筑","识别右方建筑","推荐附近美食","定位手机"]}}}}}}}]
}'点击获取apikey
到此，我们就已经实现了智能语音助手中最关键的“对话转指令”的能力。但是我们这个功能依赖的是线上的服务，为了保证离线时系统的可用性，我们还可以和小米汽车一样在本地部署一个大模型。
ps：有需要本地部署大模型可以联系站长。
