聆思CSK6大模型开发板英语评测类开源SDK详解

离线英文评测算法SDK

能力简介

CSK6 大模型开发套件可以对用户通过语音输入的英文单词进行精准识别,并对单词的发音、错读、漏读、多读等方面进行评估,进行音素级的识别,根据用户的发音给出相应的建议和纠正,帮助用户更好地掌握单词的发音。

离线单词评测 算法具备以下特性:

  • 支持单词评测,评测准确率98%以上
  • 支持音素级识别
  • 支持单词发音评分
  • 支持识别无效评测音频

功能交互展示

视觉语音大模型AI开发套件SDK 配套了离线英文评测这一示例工程,文本将对本示例工程进行说明。

1.固件运行后,可以在显示屏上看到 单词评测 的图标,点击图标即可进入单词评测应用:

2.目前固件提供了三种单词短语句子评测模式,点击对应选项课进入对应的模式:

3.以单词评测为例,进入该模式后,固件将给出若干个英文单词,可点击右下角评测按钮进行评测:

4.对着开发套件读出单词后,点击右下角图标结束评测,固件将给出此次评测的结果:

离线英译中SDK

能力简介

基于transformer模型,使用聆思科技开源的AI生态工具链LNN(ListenAI Neural Network),完成中英翻译任务的训练、量化、模型转换、仿真调试等一系列步骤,并实现在聆思CSK6芯片上进行推理。

SDK提供的示例集成了这个模型,可以让聆思CSK6开发板实现英译中功能,可用于体验离线翻译功能。

触摸屏UI交互翻译

固件烧录完毕后,程序将自动运行,您也可以通过复位按键(RST)对程序进行复位,复位后的UI界面如下:

  • 点击画面中心的输入框,可通过屏幕上显示的键盘输入句子
  • 点击输入框左侧的按钮,可随机填入一句演示的句子
  • 点击下方翻译按钮,即可输出改句子的中文翻译

UART串口交互翻译

本示例也支持通过串口 UART 进行离线翻译,操作如下:

  • 打开 聆思在线串口终端,选择开发板对应的串口,点击连接

在下方输入框输入待翻译的英文内容,点击发送按钮,即可在接收区查看到翻译后的中文结果。

离线字母拼读算法SDK

能力简介

CSK6 大模型开发套件可以对用户的语音输入进行字母(a~z)的识别,通过语音拼读单词字母,快速准确地查询单词的发音和含义,可应用于扫描词典笔、单词卡、学习机等产品。

可以对用户的语音输入进行字母(a~z)的识别,通过语音拼读单词字母,快速准确地查询单词的发音和含义。

功能交互展示

聆思 CSK6 大模型开发套件出厂集成提供了字母拼读算法的示例,长按即可加载示例进行使用,无需联网。

1.固件运行后,可以在显示屏上看到操作提示词:

2.按住按键进行单词拼读:

3.拼读完成后,固件将会给出单词的发音和含义:

 SDK资源下载

以上3个离线英语评测SDK可以在以下地址下载:

1、 语音视觉大模型开发板 SDK:https://cloud.listenai.com/CSKG962172/duomotai_ap/-/tree/master/

  • 字母拼读:apps目录下,工程目录名称为 lcd_wsp

  • 英文评测: apps目录下,工程目录名称为 lcd_csps

  • 英译中: apps/thinker_service目录下,工程目录名称为 translation

2、离线英译中transformer模型项目地址:GitHub - dwzhang00/Offline-translation: An offline translation model based on transformer

补充开发板信息

开发板具备丰富语音图像功能与硬件外设的开发板,采用有着丰富组件生态的 Zephyr RTOS 作为操作系统,默认配套开箱即玩的 AI 应用,也可以配合聆思的模型训练推理工具 LNN 将自己的算法模型部署至芯片上,构建自己的 AI 应用,开发板详情参考:https://docs2.listenai.com/x/nTn9kMMCU

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/689788.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Java学习书籍推荐

本文推荐了Java基础,并发,虚拟机学习过程中,比较好的书籍,如果大家需要视频教程,可参考【软件开发】Java学习路线 或者B站文件夹同时会收藏其他Java视频,感谢关注。 指路:Java学习-创建者&…

全光网络与传统网络架构的对比分析

随着信息技术的飞速发展,网络已经成为我们日常生活中不可或缺的一部分。在这个信息爆炸的时代,全光网络和传统网络架构作为两种主流的网络技术,各有其特点和适用范围。本文将对这两种网络架构进行详细的对比分析,帮助读者更好地了…

【TB作品】MSP430F5529 单片机,简单电子琴

使用MSP430制作一个简单电子琴 作品功能 这个项目基于MSP430单片机,实现了一个简单的电子琴。通过按键输入,电子琴可以发出对应的音符声音。具体功能包括: 按下按键时发出对应音符的声音。松开按键时停止发声。支持C调低音、中音和高音。 …

nomachine使用记录以及录包

录包命令: rosbag record 话题名字(可以是原相机话题和执行程序的话题)rosbag play 包名(可以离线播放包的数据) rqt_image_view 话题可视化

从VS Code源码看清晰代码之美

VS Code的产品做的很优秀,其源码也质量颇高,清晰、整洁、富有美感。 下面是 src\vs\workbench\common\notifications.ts 文件中的两段代码,大家感受一下: get sticky(): boolean {if (this._sticky) {return true; // explicitl…

2024上海初中生古诗文大会倒计时4个多月:单选题真题和独家解析

现在距离2024年初中生古诗文大会还有4个多月时间,我们继续来看10道选择题真题和详细解析,以下题目截取自我独家制作的在线真题集,都是来自于历届真题,去重、合并后,每道题都有参考答案和解析。 为帮助孩子自测和练习&…

Redis到底支不支持事务?

文章目录 一、概述二、使用1、正常执行:2、主动放弃事务3、全部回滚:4、部分支持事务:5、WATCH: 三、事务三阶段四、小结 redis是支持事务的,但是它与传统的关系型数据库中的事务是有所不同的 一、概述 概念: 可以一次执行多个命令,本质是一…

STM32项目分享:智能家居安防系统

目录 一、前言 二、项目简介 1.功能详解 2.主要器件 三、原理图设计 四、PCB硬件设计 1.PCB图 2.PCB板及元器件图 五、程序设计 六、实验效果 七、资料内容 项目分享 一、前言 项目成品图片: 哔哩哔哩视频链接: https://www.bilibili.c…

【数据分析基础】实验numpy、pandas和matplolib

文件score.xlsx 中存放了学生的各个科目的考试成绩(如下图), 1. 编程实现:输入任意一个学号,将该学号对应的成绩,通过雷达图显示。 (1)程序代码: import pandas as pd…

9.1 Go 接口的定义

💝💝💝欢迎莅临我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:「stormsha的主页」…

JavaScript 动态网页实例 —— 图像显示

图像是网页设计中必不可少的内容之一,而图像的显示方式更是关系到网站的第一印象。本章介绍图像的显示,主要包括:图片的随机显示、图像的显示和隐藏、图像的滚动显示、图像的探照灯扫描显示、多幅图像的翻页显示、图像的水纹效果显示、全景图效果显示手电照射效果显示以及雷达…

16_ Vue.js高级指南:条件渲染、列表渲染与数据双向绑定

文章目录 1. 条件渲染v-if2. 列表渲染v-for3. 数据双项绑定v-model4. 计算属性Appendix 1. 条件渲染v-if v-if标签直接接收函数或boolean类型变量 v-if 为true,则当前元素会进入到dom树v-else会自动执行 前方v-if的取反操作 v-show v-show值为true则值展示值不展示…

【Python】解决Python报错:TypeError: ‘int‘ object is not callable

​​​​ 文章目录 引言1. 错误详解2. 常见的出错场景2.1 误用变量名2.2 混淆函数与结果 3. 解决方案3.1 明确变量类型3.2 使用函数调用() 4. 预防措施4.1 代码审查4.2 单元测试 结语 引言 在Python开发中,TypeError 是一种常见的错误类型,尤其是在尝试…

kafka-重试和死信主题(SpringBoot整合Kafka)

文章目录 1、重试和死信主题2、死信队列3、代码演示3.1、appication.yml3.2、引入spring-kafka依赖3.3、创建SpringBoot启动类3.4、创建生产者发送消息3.5、创建消费者消费消息 1、重试和死信主题 kafka默认支持重试和死信主题 重试主题:当消费者消费消息异常时&…

C++基础7:STL六大组件

目录 一、标准容器 1、顺序容器 vector ​编辑 deque list 容器适配器 stack queue prority_queue: 关联容器 有序关联容器set、mutiset、map、mutimap 增删查O(log n) 无序关联容 unordered_set、unordered_mutiset、unordered_map、unordered_mutimap 增删…

C语言实现map数据结构 key—value对应

1.首先43行 createKeyValuePair(char*key ,int value)这个函数就是给一个keyValuePair *pair的指针来通过内存分配将数据key和value存入这个pair指针所对应的内存空间 2.52行freeKeyValuePair这个函数是释放内存空间 3.头文件 struct结构体KeyValuePair就是一个指针一个值 4…

个人博客的未来出路在哪里?

说起个人博客的未来这就是个悲伤的话题,估计不少个人博客站长们都在苦苦的坚持和挣扎着吧,反正明月这两年感受最深刻的就是又有不少个人博客站点停更和 404 了都。自从坚持写博客这近十来年这种情况也都见怪不怪了,但这两年最突出的就是很多站长都是迷茫和悲观。 明月去年在…

Vue CLI 环境变量使用指南

一、简介 Vue CLI 是一个强大的前端工程化工具,它提供了丰富的配置选项,包括环境变量的管理。环境变量允许开发者根据不同的运行环境(如开发、测试和生产)应用不同的配置,而无需更改代码。本文将详细介绍如何在 Vue C…

AI图书推荐:用ChatGPT来写非虚构类书籍

这本书《用ChatGPT来写非虚构类书籍 》(ChatGPT For KDP_ A manual from an experienced self-publisher to nonfiction authors for writing the book you were born to write with ChatGPT prompts mastering)是一本专为非虚构类书籍作者编写的指南&am…

英伟达黄仁勋最新主题演讲:“机器人时代“已经到来

6月2日,英伟达联合创始人兼首席执行官黄仁勋在Computex 2024(2024台北国际电脑展)上发表主题演讲,分享了人工智能时代如何助推全球新产业革命。 黄仁勋表示,机器人时代已经到来,将来所有移动的物体都将实现…