使用超低功耗TinyML模型检测聋哑人士的手势语言

论文标题：Detecting Gesture Language for Deaf and Mute People Using Ultra-Low-Power TinyML Model

作者信息：

Basel A. Dabwan，来自也门Albaydha的Albaydha University的信息系统系。
Mukti E. Jadhav，来自印度Buldhana区Chikhali的Shri Shivaji Science & Art College的计算机科学系。
Omar A. Ismil，来自沙特阿拉伯Najran University的信息系统系。
Eman A. Hassan，来自沙特阿拉伯Najran University的计算机科学系。
Enaam A. Farah，来自沙特阿拉伯Najran University的计算机科学系。
Ashraf A. Mohammad，来自沙特阿拉伯Najran University的信息系统系预备部。
Yahya A. Ali，来自沙特阿拉伯Najran University的信息系统系。

论文出处：2024 International Conference on Data Science and Network Security (ICDSNS)

摘要： 手语是聋人交流的一种方式，通过手势和身体动作来传递信息。它包括手形、动作、方向和面部表情等元素，每个手势不仅代表一个词，还传达细微的语调。许多聋人面临口头交流的挑战，影响他们的文化技能。因此，开发一个手语翻译系统，特别是手语识别（SLR系统）对于他们的生活具有重要意义，它在连接聋人和听力正常人群方面发挥着重要作用，是人机交互研究中的关键领域。为了解决这一问题，我们使用了TinyML模型，该模型支持在微控制器上进行本地数据处理，而不依赖云服务。这项技术支持在资源和功耗受限的情况下，对机器学习模型进行推理，包括深度学习模型。我们的方法涉及使用代表ASL字母的数据集来训练TinyML模型，包括24类英文手语字母（不包括J和Z，因为它们涉及运动）。训练数据集包括27,455个实例，测试数据集为7,172个实例。我们将80%的数据集分配给训练目的，剩余的20%用于测试。结果非常令人鼓舞，达到了98%的准确率。这一成功强调了我们的模型在自动识别美国手语手势方面的潜力，从而改善了听力受损人群的交流和可访问性。

**关键词：**聋哑人、人工神经网络、深度学习、手势、图像处理、TinyML模型

引言： 手势对于有听力或言语障碍的个体来说，在促进交流方面发挥着至关重要的作用，为他们提供了一种替代的互动方式。它们是一种通用的交流工具，跨越语言障碍，在不同的文化背景和紧急情况下都非常宝贵。然而，由于手部动作的复杂性，掌握手语面临挑战，容易被混淆。因此，迫切需要一个能够自动识别手语的自动化系统来增强可访问性。

相关工作： Tiny Machine Learning（TinyML）正在推动智能制造业、医疗保健和自动驾驶等各个物联网领域的实质性进步。通过在通常在毫瓦级运行的超低功耗设备上本地运行深度学习任务，TinyML支持实时数据分析和解释。这种能力在延迟、隐私和成本效率方面提供了显著的优势。TinyML的一个关键目标是通过减少计算需求和数据消耗来优化深度学习系统的效率，从而促进边缘AI和物联网市场的增长。

提出模型： 我们的方法涉及一个系统化的过程。最初，我们收集了训练数据。随后，我们进行了数据清洗和准备，以便训练。接下来，我们将数据分为训练集和测试集。最后，我们采用了一种称为TinyML的专用模型进行手势分类。