人体姿势估量是计算机视觉研讨中的一个紧张课题，在生活中也有着普遍的利用场景，比如安防、自动驾驶、智能家居等等。不外，在实际利用中，基于视觉或者说基于可见光的人体姿势估量有一个重大的局限，那就是障碍物遮挡——光线无奈穿透书橱、墙壁等不透明的物体，假如身体被遮挡就无奈去估量。
在一项最新的研讨中，MIT人工智能实验室（MIT CSAIL）团队，设计了一个基于Wi-Fi的人体姿势估量体系，能够穿透墙壁进行精确的人体姿势估量，取得了Wi-Fi人体姿势识别的历史最高精度。这项事情大大拓宽了人体姿势估量体系的适用范围，有很强的利用代价。
相干的研讨论文曾经被CVPR 2018接管，作者是Dina Katabi传授和她的博士生赵明民(论文第一作者)、MIT传授Antonio Torralba、博士后Mohammad Abu Alsheikh、博士生黎天鸿、田永龙和赵行。他们将CVPR 2018上展现这项事情。
穿墙透视，用Wi-Fi识别人体姿态
人体姿态估计，就是将一幅图像或一段视频中，人的头、手、躯干和腿部关节点位置恢复出来，做出一个由关节点构成的骨架（见下图）。
MIT的WiFi人体姿态估量体系，在人走到墙后时也能提取关键点，天生人体姿态枢纽关头点骨架。最上面一行是RGB图，中央是相信点图，最上面一行便是枢纽关头点骨架。起源：MIT CSAIL
当有遮挡物存在时，曩昔常用的办法是揣摸，也即计划算法依据看得见的部门去推想被遮挡的身材部门的环境。然则，因为人体是在赓续在活动的，揣摸很容易出错。别的，当一个人完整被遮挡，比如说走到一堵墙的后边时，这类办法就行不通了。
MIT CSAIL的团队提出了一种完整分歧的办理方案。他们的起点很简略：假如可见光会被这些障碍物阻拦，那末就改用其他旌旗灯号。无线旌旗灯号，比如Wi-Fi，就能穿透墙壁，而且Wi-Fi还有一个好处是会被人体反射，非常适合用来停止“穿墙”人体追踪。
然则，曩昔的Wi-Fi体系固然能穿墙找到人的位置，或者天生一个大致的轮廓，成果还是比较粗糙的，远远没有达到视觉人体姿态估量体系的精细程度，没有对人体枢纽关头部位停止精确定位。
为了办理无线旌旗灯号精度低的成绩，这一次研究人员应用了“AI教授教养”的办法。他们练习了一个神经网络，让这个神经网络从无线旌旗灯号中进修并估量人体姿态。
AI教授教养，后来居上而胜于蓝
不过，这里又遇到了一个难点，便是如何为这个神经网络供给练习样本。基于图片或视频的人体姿态辨认体系，练习样本可以或许由人手工来标注。但在练习基于无线旌旗灯号的神经网络时，这个办法就行不通了，因为人看不见Wi-Fi旌旗灯号，也无奈从无线旌旗灯号中看出人的姿态，更无从教会神经网络了。
“咱们的办理办法是跨状态的监视进修。”研究论文的第一作者、MIT博士生赵明民奉告新智元：“这里面的设法主意也很简略，便是同时收集图片和无线旌旗灯号，并应用基于图片的神经网络来练习基于无线旌旗灯号的神经网络。”
研究人员应用一个基于图片的神经网络来做“先生”，另一个基于无线旌旗灯号的神经网络来当“门生”。先生看图片晓得里面的人体姿态而后奉告门生，门生则必要学会从无线旌旗灯号中也找到异样的成果。经由过程如许的办法练习进去的“门生”神经网络，就具有了应用无线旌旗灯号辨认人体姿态的才能。
很风趣一点，“门生”神经网络不只学会“先生”教他的内容，还
学到了“先生”都无奈做到的工作，堪称后来居上而胜于蓝：固然“先生”树模的都是没有障碍物的环境，基于无线旌旗灯号的“门生”也学会了在有障碍物的环境下估量人体姿态，乃至是穿墙透视。他们新提出的这个体系，名叫RF-Pose，可以或许剖析无线旌旗灯号并从中提掏出精确的2D人体姿态，即使有墙壁遮挡也异样。上面的视频展示了RF-Pose人体姿态估量跟踪实例。
创下Wi-Fi人体姿态辨认史上最高精度
RF-Pose展示出了非常优良的机能：可以或许穿墙透视，用于光芒昏暗的场景，即使在没有遮挡物的环境下，它的精度也与以后机能最优的基于视觉的体系相称。
RF-Pose的结构示意：由门生和先生两个神经收集构成。上面是“先生”神经收集，供给练习监视，下面是“门生”神经收集，仅利用RF热图提取人体姿态。在练习过程中，体系利用同步的无线旌旗灯号和视觉输入，从视觉流中提取姿态信息，并利用这些信息来指导练习过程。练习完毕后，收集只要利用无线旌旗灯号停止姿态估量。其结果是，该体系只要利用无线旌旗灯号来估量人体姿态，而不需要人类标注作为监视。起源：研讨论文
除跨状态监视以外，RF-Pose的计划还斟酌了RF旌旗灯号的内涵特征，包含低空间分辨率、人体在穿过墙壁时对RF频率的镜面反射，以及RF旌旗灯号与监控视频流在表现和透视上的差异。
研讨人员利用在校园周围公共情况中收集的数据来练习和测试RF-Pose。这个数据集包含数百个分歧的人停止分歧的室内活动：走路、坐、走楼梯、等电梯、开门、和同伙聊天等。他们在分歧的情况下停止测试和练习，以确保收集能够或许推广到新的场景。
此外，试验结果还表明，从RF旌旗灯号中学习到的人体骨架，能够或许准确地反应一小我在移动时的特征。研讨人员停止了一个试验，他们练习了一个CNN分类器，让这个分类器基于RF骨架辨认人群中的某小我，发明准确率能够到达83%以上。
赵明民表现，这项研讨有许多利用远景。许多疾病，比方帕金森、老年痴呆，都邑反应在平常举措中，基于无线旌旗灯号的人体姿态估量能够在家里，经由过程察看阐发咱们的举措来赞助这些疾病的诊断医治。
在安防范畴，受阻碍物的影响，许多时刻需要在各个角度装置许多装备，这时刻无线装备的穿墙才能就可以施展用场。
无人驾驶也能够或许斟酌联合视觉和无线旌旗灯号来做感知。无线旌旗灯号能更好的穿透雾等阻碍，能在极度天气和光照条件下供给鲁棒性。无线旌旗灯号也能够或许提早赞助汽车断定阻碍物前面能否有行人。
研讨人员表现，将来他们筹划进一步拓展这个体系，从2D到3D，将无线感知与视觉相联合，供给更丰硕的信息。
閱讀更多 智能與時尚 的文章
