联合CTC和Transformer的轮式移动机器人语音控制研究

作     者：唐咸荣 高瑞贞 TANG Xianrong;GAO Ruizhen

作者机构：河北工程大学机械与装备工程学院河北邯郸056038 

出 版 物：《中国测试》 (China Measurement & Test)

年 卷 期：2024年第50卷第6期

页      面：117-123页

学科分类：08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：河北省高校科技攻关项目(ZD2018207) 

主　　题：轮式移动机器人 语音控制 Transformer 连接时序分类 

摘      要：针对人机交互过程中手动控制轮式移动机器人步骤繁琐且双手受到限制的问题,提出并实现基于深度学习算法的轮式移动机器人语音控制系统。系统选取树莓派4B开发板作为主控制器,科大讯飞6阵列语音模块作为语音采集器,STM32单片机作为底层轮式移动机器人的控制器。语音识别算法部分设计基于Transformer的端到端语音识别模型,并加入连续时序分类算法来辅助模型的训练,模型的收敛速度和鲁棒性都得到相应的提升。模型在AISHELL-1语音数据集上测试的字错率为5.57%,相对于Transformer单独训练,字错率相对下降5.1%。经过平台搭建和实验,实现轮式移动机器人根据用户语音指令完成相对应动作的目的,有利于提高工作效率和解放用户的双手。