EPFL的科学家们开发了一款基于深度学习的动作捕捉软件，该软件使用多个摄像机视图来模拟苍蝇的三维动作。最终目标是利用这些知识来设计飞行型机器人。
“想想苍蝇能做什么，”帕万·拉姆迪亚教授说，他在EPFL大脑心智研究所的实验室与EPFL计算机科学研究所的帕斯卡·富阿教授的实验室共同领导了这项研究。“苍蝇可以爬过轮式机器人无法爬过的地带。”
苍蝇并不讨人喜爱，在我们的日常生活中，苍蝇是一种令人讨厌的物种 。但有一条意想不到的救赎之路:机器人。事实证明，苍蝇有一些特征和能力可以为机器人系统的新设计提供信息。
“与大多数脊椎动物不同，苍蝇几乎可以攀爬任何地形，”Ramdya说。“它们能粘在墙上和天花板上，因为它们的腿上有可粘的垫子和爪子。这让他们基本上可以去任何地方。这引人思考，因为如果你可以在任何表面上休息，你就可以通过等待正确的行动时机来控制你的能量消耗。”
正是这种提取控制苍蝇行为的原理的愿景，推动了DeepFly3D的发展，这是一种针对果蝇的动作捕捉系统，一种几乎在生物学中广泛使用的生物模型。
在Ramdya的实验装置中，一只苍蝇在一个像小型跑步机一样的微小浮球上行走，同时有七台摄像机记录它的每一个动作。这只苍蝇的上半部分被粘在一个固定的舞台上，这样当它在球上行走的时候就可以一直呆在原地。然而，苍蝇认为它是自由移动的。
收集到的相机图像随后由DeepFly3D进行处理，这是一款由Ramdya和Fua实验室的博士生Semih Gunel开发的深度学习软件。“这是一个很好的例子，说明了跨学科合作的必要性和变革性，”Ramdya说。“通过利用计算机科学和神经科学，我们解决了一个长期存在的挑战。”
果蝇的不同姿态被多个摄像机捕捉到，并用DeepFly3D软件进行处理。
DeepFly3D的特别之处在于，它可以推断出苍蝇——甚至其他动物——的3D姿态，这意味着它可以自动预测并以前所未有的分辨率对各种生物应用进行行为测量。该软件不需要手动校准，它使用相机图像自动检测和纠正它在计算苍蝇姿态时所犯的任何错误。最后，它还使用主动学习来提高自己的性能。
DeepFly3D开辟了一种有效和准确地建立果蝇三维运动、姿势和关节角度模型的方法。这可能会激发一种标准的方法来自动模拟其他生物体的三维姿态。
“苍蝇，作为一种模式生物，很好地平衡了易用性和复杂性，”Ramdya说。“如果我们了解它是如何工作的，我们就可以对机器人和医学产生重要影响，或许最重要的是，我们可以在相对较短的时间内获得这些见解。”
