基于大语言模型的人机交互移动检测机器人导航方法
Large language model-based approach for human-mobile inspection robot interactive navigation作者机构:香港理工大学工业及系统工程学系中国香港特别行政区999077
出 版 物:《计算机集成制造系统》 (Computer Integrated Manufacturing Systems)
年 卷 期:2024年第30卷第5期
页 面:1587-1594页
核心收录:
学科分类:080202[工学-机械电子工程] 08[工学] 0804[工学-仪器科学与技术] 0802[工学-机械工程]
基 金:香港研究资助局资助项目(15210222 15206723)
主 题:人机交互 大语言模型 视觉语言导航 智能制造 工业5.0
摘 要:在工业制造领域,移动机器人的广泛应用已成为提高作业安全和效率的关键。然而,现有的机器人系统只能完成预定义的导航任务,无法适应非结构化场景。为了突破这一瓶颈,提出一种基于大语言模型(LLM)的人机交互移动检测机器人导航方法,可代替操作人员进入工业环境中的危险区域进行检测,并且可以根据人类自然语言指令完成复杂的导航任务。首先,通过高分辨率网络(HRNet)模型进行场景语义分割,并在点云融合阶段将语义分割结果渲染到重建的三维场景网格模型中,得到三维语义地图;然后利用大语言模型让机器人可以理解人类的自然语言指令,并根据创建的三维语义地图生成Python代码控制机器人完成导航任务。最后,通过一系列非结构化场景下的实验验证了该系统的有效性。