商标3840-480

基于深度学习网络 在可穿戴式机器人中使用IMU实现人体活动实时识别

可穿戴式外骨骼机器人已成为支持人类运动的一种新兴高科技产品,能够在人体康复训练、日常活动和制造任务中提供必要的运动支持,而搭建高精度、低延迟的人体活动识别系统,能够帮助可穿戴式机器人快速准确地识别人体活动,更好地协助人类完成各项任务。

来自韩国的Tae-Seong Kim团队用一个集成了IMU(惯性测量单元)的可穿戴式机器人,在其边缘设备中嵌入了轻型的深度学习模型,以此来测试可穿戴式机器人实时识别人体活动的可行性。

图1 可穿戴式机器人和搭建的人体活动识别系统:(a)可穿戴式外骨骼机器人   (b)数据收集和预处理

(c)深度学习模型   (d)硬件平台   (e)识别的活动

该可穿戴式机器人有两种主要的传感器元件负责记录活动信号:

1、两个旋转编码器位于执行器模块内部,负责测量髋关节角度。

2、一个九轴IMU传感器,集成在机器人的背包中。

该实验考虑了八种活动:

①站立(Stand)②站起(Stand up)③弯腰(Bend)④蹲下(Crouch)

⑤行走(Walk)⑥坐下(Sit down)⑦上楼(Stairs ascend)⑧下楼(Stairs descend)

收集了两种数据集:

1、历时数据集:八种活动被重复多次,并记录下每次迭代期间的活动信号。此数据集经过预处理和扩增后进行分割,80%作为训练集,20%作为测试集,用于训练、验证和优化PC和边缘设备上的深度学习模型。

2、连续数据集:多个动作依次进行。此数据集用于测试边缘设备上人体活动识别系统的可行性。

团队采用了五种深度学习模型用于人体活动识别:CNN、RNN、LSTM、Bi-LSTM和GRU。模型结构如下图所示:

图2 深度学习模型结构:(a)CNN  (b)RNN  (c)LSTM  (d)Bi-LSTM  (e)GRU

实验结果表明,系统对站立、弯腰、 蹲下、行走、坐下、坐起和上下楼梯等8个动作的平均识别准确率为97.35%,推理时间低于10ms。

该实验验证了使用可穿戴式机器人实现实时人体活动识别的可行性,但是存在一个明显的缺点:对过渡活动的错误识别,这个问题未来可以通过部署更多的IMU传感器或者在深度学习模型中对这些活动进行建模和训练来解决,让可穿戴式机器人更好地帮助工人搬运重物,或是在人体康复过程中更有效地帮助患者进行康复训练。