苹果和谷歌频繁下注的新科技看不懂?看完这个还不懂来找我

「有无相生」出自老子《道德经》,还有一个词,叫做「虚实结合」。

或许在其他的语境中,我们会阐释出其他的意思,但我想,这八个字用在AR或MR,也可以说是非常合适了。之前我们反复提到过,什么是AR,相信大家也有一定的认识。那么也许我们可以想象这样的未来:在进行宣传时,品牌可以用身临其境的互动体验来吸引和吸引顾客,而不受空间限制;员工可以学习如何在复杂的装配线上更有效地操作设备,降低企业的成本和风险,同时提升企业的效益;学生可以在3D模型中看到复杂的图表,或者是再也不需要自己想象某些3D画面,比如医学学习时的人体器官,这样能够增进学习效率以及学生对于学习的兴趣。以上,AR/MR都可以做到。

但是到目前为止,「增强现实」的经验还处于初级阶段,大多数所谓的AR体验仅仅是对现实世界的一个简单的2D数字覆盖,虚拟内容和我们的现实世界之间没有真正的联系。比如一只《Pokemon Go》中的皮卡丘或者杰尼龟并不能感知周围环境。

苹果和谷歌频繁下注的新科技看不懂?看完这个还不懂来找我

为了在现实世界中消费上下文相关的AR内容,有必要了解观看者设备的精确位置和方向。尽管GPS使用非常普遍,但它的全球平均用户范围误差(URE)≤7.8 m。对于虚拟内容而言,这与现实世界(尤其是在密闭空间中)对齐是非常不准确的。由于这种不精确性,同一空间中的两个人最终将获得两个不同的参照系,从而无法实现同步的多用户体验。

要实现AR的大规模采用,内容必须跨越空间、时间和设备在现实世界中持久存在。「持久」可以这么理解:我今天可以在实体空间创造AR体验,明天再回来与它互动。另一个用户也可以在不同的设备上与它协作。举个例子,艺术家可以把他们的AR艺术品放在广场上,让所有人都能和它互动,而不管其他用户使用的是哪种设备。这个作品将“活”在那个空间,就像它真的存在一样,不会在不同的应用程序会话之间消失。我想这个场景其实大家应该很熟悉,换一个例子,那就是当我在北京使用电脑访问某个网址,和你在海南用手机访问某个网址,内容其实是一样的。同样的我们可以分别用电脑和手机的方式与网页交互。回到如何让内容「持久」,实现多用户同时访问、将虚拟对象隐藏在物理对象后面是其中必须的功能。为了实现这些功能,并且让用户有流畅体验,需要「AR云」。

据6D.ai的CEO——Matt Miesnieks表示。AR云是一个“现实世界的机器可读1:1比例模型”,也有人称之为“世界的实时空间地图”。把AR云想象成我们世界的一个平行宇宙,在那里,物体、建筑、自然都被数字化了。AR云是计算中最重要的软件基础设施,远比Facebook的社交图或谷歌的PageRank指数更有价值。或许,用一个词来形容,叫做「数字孪生」。

AR云是一个不断更新的机器可读数据集的集合,主要是稀疏或密集的点云,加上每个点或点组的特征描述符和其他元数据。AR云数据是任何能够帮助准确确定AR设备的位置和姿态、从语义上理解场景和在物理空间中定位数字内容的数据集(包括多边形几何、可视描述符、图像、视频、“简单地理特征”等)。

由于现实世界空间的不断变化,AR云必须不断更新新的数据,以使AR设备能够在这些动态变化的环境中进行准确定位。AR云数据来自一系列技术(稀疏slam地图、点云、遮挡网格、真实感纹理、BIM数据),并通过版本化来反映多种状态,包括一天中的时间、环境变化、天气或照明变化。

通过Ubiquity6,6D.ai和其他平台的观点,AR云能够实现以下功能:

• 持久AR,室内室外均可

• 多人基于“增大化现实”技术

• 静态或半静态(停放的汽车、树叶)物体的遮挡

• 神经网络训练数据库

• 内容元数据(例如,持久内容的坐标)托管

• 内容状态管理

• 语义场景理解

• 以各种形式展示真实世界的3D数据(稀疏slam地图、点云、遮挡网格,逼真纹理,BIM数据)

值得注意的是,Spatial Web是一个更广泛的术语,它由若干技术组成,其中包括AR云解决方案。Spatial Web是物联网、自主身份、人工智能、边缘计算、空间浏览器、数字账本技术等的集合。

科技巨头正在投资AR

苹果CEO蒂姆·库克曾表示,AR的意义和影响深远。它能够延伸人类的许多行为,因此,苹果在AR中投入了大量精力。

2017年,有五个主要的AR开发平台。随着ARKit和ARCore的发布,Apple和Google在帮助AR进入新阶段处于领先地位。借助ARCore和ARKit,开发人员当前可以开发利用以下功能的应用程序:手机的6个自由度姿势,每个会话使用新坐标;部分接地平面。加入这个行列的还有Facebook的AR Studio,Snapchat的Lens Studio和亚马逊的Sumerian。

苹果和谷歌频繁下注的新科技看不懂?看完这个还不懂来找我

a16z的合伙人本尼迪克特·埃文斯认为,AR可能是取代手机的下一个设备。 通用接口将取代多点触控。 埃文斯(Evans)描述了新技术倾向于遵循S曲线。 首先,随着基本概念的制定,研发阶段的进展缓慢。 然后,会有一段快速变化,创新和功能扩展的时期。 最后,随着市场的成熟,发展会逐渐变慢,而创新也将不断增加。 我们已经看到了移动时代的这一周期,在2007年,iPhone的首次发布引发了整个智能手机的革命。 与其他技术平台的变化相比,今天的AR是10年前的智能手机,如果可以预测技术周期,那么三年后,AR将会处于S曲线的增长阶段。

苹果和谷歌频繁下注的新科技看不懂?看完这个还不懂来找我

如何构建AR云

Inbar列出了AR云的三个重要特征:

1. 一个可伸缩和可共享的点云,它与真实世界的坐标以及相关的元数据保持一致

2. 能够在任何地方和多设备上立即本地化

3.能够将虚拟内容放入世界的软拷贝中,并与之进行实时、设备上和远程交互

在三维坐标系统中,点云只是由x、y和z坐标定义的一组数据点,通常用于表示对象的外表面。点云通常是密集的数据点,因此它们经常被转换成更轻的多边形网格来表示一个表面的几何形状。

苹果和谷歌频繁下注的新科技看不懂?看完这个还不懂来找我

对于AR Cloud,点云必须是持久的、可访问的并且与现实世界的坐标对齐。 它需要具有足够高的分辨率以支持遮挡(将虚拟对象隐藏在物理对象后面),碰撞(将虚拟对象与物理对象碰撞)并从场景中提取语义(例如,将对象彼此分割,识别对象, 确定表面的物理性质等)。

为了说明这一点,总部位于温哥华的GeoSim公司通过从空中和地面扫描温哥华,创造了温哥华最精确和详细的3D模型。他们融合从空中和地面的激光雷达/摄影中收集的数据,创建了一个高保真的城市三维模型,具有1厘米的视觉分辨率和5-10厘米的空间精度。这是AR云所需要的精度类型,然而,GPS并不能产生相同水平的空间精度。


苹果和谷歌频繁下注的新科技看不懂?看完这个还不懂来找我

我们需要如此详细的点云的原因是我们需要参考数据来定位我们的设备。对设备进行本地化仅意味着设备上的相机需要了解其相对于其环境的精确空间坐标。

借助合适的计算机视觉技术和强大的点云,该设备将能够立即将关键特征数据点与AR云中的数据点进行比较,从而找到匹配。然后,在用户设备上运行的应用程序使用AR SDK进行跟踪,如用于苹果的ARKit、用于Android设备的ARCore或其他。例如,苹果的ARKit使用了一种名为视觉-惯性测程的技术,该技术将来自iOS设备的运动感知硬件的信息与计算机对场景的视觉分析结合起来,以确定设备的位置和运动。


苹果和谷歌频繁下注的新科技看不懂?看完这个还不懂来找我

目前来说,针对小型的本地点云的设备定位其实已经没有技术上的难度了。然而,如果希望AR云定位器将能够从任意角度对大量的本地点云进行定位,并且能够与多个跨平台设备共享点云,还是有些困难。世界各地的许多公司目前都在解决这个问题,使持久的多用户AR体验成为可能。也就是,通过使用智能手机的摄像头,他们可以重建任何3D场景,并与其他跨平台设备共享这些数据。简单地说,如果你的iPhone已经扫描了你的客厅,你朋友的Android设备也可以访问这些数据,并在你的客厅里享受同样持久的AR体验。这就是AR云的另一个特性:能够定位和可视化以3D形式注册的虚拟内容。这为多个用户提供了一种新的可能性,使其可以以各种角度和远程实时与虚拟对象进行交互。每个人都将能够以其独特的视角体验虚拟物体,就像他们将如何与真实的全息图互动一样。

纵观整个计算机科学发展史,AR云将成为计算历史上最重要的基础架构之一,不仅是世界的对应空间图,更加是生活的历史记录或世界的软拷贝。

尽管AR云目前描绘的非常美好、智能,但构建它仍然还是面临非常多技术上的挑战。 创建实时基础架构需要强大的计算机视觉技术,该技术可以连续收集和更新空间数据,同时还要区分静态和动态元素。 此外,为了使AR云有效高效地工作,智能手机、智能眼镜、摄像头,自动驾驶、无人机和卫星网络等各种设备都需要就如何捕获,处理和解释数据达成一致。 也就是说,就像万维网一样,一旦建成,它的应用将远远超出增强现实,扩展到无人机路由,自动驾驶车辆,其他自动机器人等等。这也就是我在文章开头说的,抛开3D不说,其实AR云的概念很好理解,放到互联网+移动互联网,我们在不同的地点用着不同的设备,打开同一个网址,呈现出来的内容是一样的。但是作为AR云来说,会要比万维网更具吸引力,也能激发更多潜能。

「AR圈子」专注AR行业观察


分享到:


相關文章: