远程现实，下一个万亿美金的方向
-
2021-06-08 06:08:54 -
光子晶体科技
文章转载自Charlie Fink，负责《福布斯》VR、AR和新媒体
编者按：Telepresence中文直译为“临场感“、“远程呈现”，实际上考虑到这个方向巨大的应用前景，它应该有一个更恰当的中文翻译。和虚拟现实、增强现实相对，我觉得应该翻译成“远程现实“更加合适。Telepresence的首次使用者是"人工智能之父"马文-明斯基(Marvin LeeMinsky)，他是"虚拟现实"(virtual reality)的倡导者。早在20世纪60年代,明斯基就自己造了个名词,叫telepresence,直译应为"遥远的存在"或"远距离介入",是把人远程虚拟传输到另外一个地方，和另外一个地方的现实交互。我们翻译了这篇福布斯的综述性文章。
我们决定找出微软所说的话是否正确：远程体积远程现实和协作能够并且将比人们想象的要早完成，尽管存在明显的技术障碍，但它将成为增强和虚拟现实的杀手级应用。
回顾历史，个人计算机花了大约15年的时间才达到拐点并成为每个人都必须拥有的消费产品。起初，大多数人首先使用的杀手级应用程序电子邮件似乎并没有那么革命性。公司外几乎没有人在使用它。尚未出现网络效应，即当更多的人使用服务时服务变得更有价值的现象。新技术总是在企业出现之前就渗透到企业中。人们开始使用个人电子邮件地址获得Internet在线服务后，便使PC成为了每个人都必须在家中使用的东西。电话是另一个很好的例子。得到的人越多，必须拥有的人就越多。
同样，消息传递和社交媒体是智能手机的杀手级应用。不论技术将我们带到何方，我们与他人联系的需求都会跟随我们。当新技术使我们已经在做的事情变得更好，更便宜，更快时，它就会成功。自然而然地，远程现实同样应该成为AR和VR的杀手级应用程序之一。微软研究院2016年全息通讯实验的视频表明，微软必须在内部进行一段时间的研究，甚至可能在全息透镜本身发布之前就已经开始。
远程现实（意味着以电子方式出现在其他地方）并不是一个新主意。结果，该术语描述了多种虚拟存在方式。它分为六种主要类型：
1）2D视频会议系统。这些已经变得非常复杂，并且包括眼动跟踪功能，以帮助仍在监视器上看到的同事创建状态。思科的Spark系统主导着价值十亿美元的电话会议行业。
2）机器人远程现实。描述具有驾驶员视野的任何远程操作车辆，例如远程水下航行器（ROV）和无人飞行器（UAV）或RPA（远程驾驶飞机）。NASA一直梦想着实现真正的实时机器人远程现实，事实上，这是他们在80年代进行VR研究的最初目的之一。但是，由于信号从地球传播到火星并返回的时间滞后，因此NASA科学家无法直接对像好奇号火星漫游者这样的机器人探测器进行遥控操作。但是，在火星轨道上运行的航天器上的宇航员可能有能力。
3）远程专家。他们使用AR看到您所看到的内容，尽管看不到您。他们甚至可以利用您与他们共享的实时Feed，与您视野中的真实对象进行实时交互。远程专家将低技能的员工转变为高技能的员工。
4）VR远程现实。这使我们可以共享一个虚拟世界，例如Oculus Rooms或AltSpace VR，其中我们以化身来表示。今天，大多数化身都像卡通一样，但是他们很快将能够使用手机上拍摄的3D体积捕获来精确地捕捉皮肤化身。Sansar和High Fidelity引入的口型同步（更精确地是实时的口型动画）和眼神接触已经使您感觉非常非常的真实。
5）AR远程现实。这允许两个或多个远程人员在同一个房间中进行容积显示，微软将其称为全息通讯，因为它使用了他们的全息透镜。令人信服地证明了这一点，现在公司正在寻求将该技术带入商务会议。但是，并不是所有解决此问题的技术和实践问题。多家公司正在研究可能破坏思科主导的电话会议业务的解决方案。思科本身最近向Spark添加了VR协作功能。
6）真正的全息（肉眼可见）的远程现实，如《星球大战》的绝地议会所说明，如下图所示。今天，可以使用全息投影，反射镜和不可见的投影表面来完成这种独立的体积全息照相。在非常特定的情况下，此方法效果很好。参与者绝不会相互感知，但是对于模拟之外的人来说，这是完全真实的。他们会在现实生活中的偏远地区看到两个（或更多）人，在没有耳机的情况下在共享的3D空间中进行互动。但是，玩家之间无法看到对方，他们会在监视器上看向反射。在观众中，您永远不会知道。
像《星球大战》一样，史蒂文·斯皮尔伯格（Steven Speilberg）的电影《少数派报告》（Minority Report）也具有增强现实功能，在该场景中，数据漂浮在汤姆·克鲁斯（Tom Cruise）的前面，而肉眼看不见投影表面，他可以用手操作。仅当Cruise的角色具有接触或某种可以直接将图像发送到他的大脑的神经输入时，这才有可能。否则，只有在透明的投影面的情况下，投影全息图才能用肉眼看到。
全息透镜和其他AR HMD配备了内置摄像头。但是，为了创建远程现实应用，需要一个可以面对您并拍摄您的视频的内置摄像头。
我在他的工作室里拜访了DVE Telepresence的联合创始人兼首席执行官Steve McNelley。DVE一直在能源部和世界上一些最大的公司中工作，以提供他所谓的“唯一真正的远程现实”。他解释说，这需要三件事：“绝对的照片写实，与眼睛接触的完美相机对齐以及无需眼镜即可在太空中显示的增强现实图像（全息图）。” DVE有一个基于讲台的系统，称为“ 4Dp远程现实讲台”，可在便携式解决方案中完成所有这些工作。讲台后面的扬声器被捕获在偏远的位置（例如教室或个人办公室），并实时投影到不透明的半透明表面上，并由听众在房间中间看到。扬声器被投影到表面上，并且摄像机的位置保持与观众的目光接触。
全息图是哪一个？史蒂夫·麦克内利
DVE已展示并申请了许多不同的技术并获得了专利，这些技术可通过OLED，LED，直接投影和幻像变体来实现这种全息体验，这种幻像可实现自然的临场感，称为“胡椒鬼”，由舞台艺术家John Henry Pepper在1862年首次演示。通过将物体反射到半透明的表面（如玻璃板）上而产生“鬼影”，因此图像似乎漂浮在我们的面前。如今，DVE进行了改进，以创造出看起来像真正在房间里的明亮，立体的人，如上图所示，我似乎与DVE的3D内容创建者Zach McNelley在同一个房间里，全息图。这两个要求是完美的黑色背景和半透明的投影表面。
Pepper的Ghost最著名地部署在迪斯尼乐园的“鬼屋”中，创造出幻彩晚宴和搭便车的幻觉。实际上，联想的《星球大战绝地挑战》 VR耳机使用类似的方法将图像从镜子反射到透明的投影表面上，从而创造出漂浮在我们面前的3D角色的幻觉。
如何制作鬼魂-胡椒鬼影剧院图书馆
微软一直在为全息透镜提倡远程现实和远程协作的另一种愿景，他们称之为全息通讯。最初是在微软 Research的此视频中进行演示的，该视频允许远程位置的参与者（实际上是在大厅下）在彼此的物理现实中展示。每个房间放置了多个3D摄像机。这些输入被馈送到本地计算机，该计算机将压缩的3D图像广播到用户的全息透镜。该视频发布于2016年11月，这意味着当2016年3月发布全息透镜时，MS工程师必须已经在进行全息通讯。
微软 Research的Room2Room是一个真人大小的远程现实系统，它使用投影增强现实技术来实现两个远程参与者之间的共同演示交互，而无需使用全息透镜。该解决方案通过使用3D摄像机对本地用户执行3D捕获，然后以与实物大小一样的大小将副本复制到远程空间中，而不是使用全息透镜，从而重新创建了面对面的对话体验。这会造成对远程人员在本地空间中的物理状态的幻想，以及对口头和非口头暗示（例如凝视，指向）的共同理解，就像他们在那里一样。
当没有中间投影表面时，就会发生这种情况，出于研究目的，工程师们避开了灵活性和智能。
2017年初，微软斥资数百万美元制作了一部视频，描绘了全息远程现实的未来（或一个潜在的未来），名为“ Penny Walks in ak a.a. Envisioning the Future with the 全息透镜”。
“一分钱”是一款出色的科幻视频制作的远程呈现用例的电视剧，由零售设计师（Penny）及其亚洲客户主演。不仅有远程呈现存在。客户还拥有一个浮动的，可见的，看似有感情的数字助理，这是Cortana的幻想后代之一。撇开Cortana以及演示中模拟用例的微妙但雄心勃勃的规模，这并不是疯狂，遥不可及或不可能的。但是请记住网络效果。它需要规模才能达到神奇的拐点，在那里，房间会被3D相机实时扫描，等待Penny和我们其他人。
微软的研究团队与几所大学，尤其是波兰的华沙理工大学一起，继续探索全息通讯。MarekKowalski和Jacek Naruniec在那里开发了Holopresence应用程序LiveScan3D。
LiveScan3D通过同时使用多个Kinect v2深度传感器进行实时3D重建，以产生彩色点云，并压缩3D视频输入。每个Kinect v2传感器都连接到单独的计算机。这些计算机中的每一个都连接到服务器，该服务器允许用户执行校准，过滤，同步帧捕获，并可视化实时显示在远程位置的已采集点云。与学者的角色一致，Kowalski和Naruniec在https://github.com/MarekKowalski/LiveScan3D上共享了LiveScan3D作为源代码，允许其他人继续其工作。
私有公司在使用VR和AR的3D立体会议中也取得了令人瞩目的进展，特别是Valorem，其系统使欧洲，印度和北美的多个参与者可以实时地立体呈现在用户的物理办公室中。Mimesys和Meetingroom.io使用VR在共享的虚拟世界中创建立体感。
RenéSchulte领导Valorem的HoloBeam开发工作，其总部位于德国德累斯顿。他描述了公司独特的3D实时会议系统如何工作，以及它如何改变他在德国，西雅图和印度的跨洲团队之间的协作。
“这是使用深度相机以高清实时捕获的，以收集由颜色和深度信息组成的3D立体视频点云数据。然后，点云数据通过自定义的WebRTC流在Internet上流式传输或“成束”。全息流由应用程序解码并实时3D渲染，提供了VR和混合现实设备（例如全息透镜）上发件人的形象令人震惊的良好容积表示，而且其他设备也通过我们的跨平台开发方法启用。它通过正常的互联网连接运行，并且需要3-5 Mbit / s的比特率，甚至由于我们的自适应深度编码和流传输，其工作速率甚至低于1 Mbit [CF注意：自适应流是Netflix为适应您的连接速度所做的工作。它是实时的，没有延迟，甚至可以在各方（例如在公司网络设置中）位于防火墙后面的情况下使用。无需特殊的连接或设置。通过路由机制建立连接以实现最佳传输速率的对等连接。”
全息光束利用正常带宽的标准网际网路将容量会议带入生活
HoloBeam系统无法提供我们在MS Holoportation视频中看到的那种分辨率，但是现在我们被告知2016年的视频只是本地概念验证，而不是在真实办公室中设置的内容。相比之下，今天的Valorem系统（12/17）使用现成的硬件通过简单的设置即可生成3D立体视频。
该系统可以具有不同数量的“灰尘假象”（掉落），具体取决于自适应流必须降低带宽的数量。结果，远程参与者看起来像是星际迷航运输车事故的受害者：那里只有80％。但是，我与之交谈的每个人，以及我研究此故事所经历的一切，都证明80％足以创造出深刻而引人注目的存在。
全息点云在未来将通过改进获得更大的分辨率，这不仅会随着深度相机分辨率和带宽的提高而提高，而且随着HoloPortation产品的发展，算法会在解压缩的视频文件中填充缺失的像素，以减少广播信号丢失或灰尘。
舒尔特看到了地平线上灿烂的事物。在未来的办公室中，多个深度感应摄像头可以将其与世界各地的偏远地区真正融合在一起，或者我们甚至可以使用我们的手机，该手机开始在消费产品中集成深度映射传感器和双镜头。下一个敲门的人可能是中国人。Valorem预计将于2018年初与客户进行更广泛的试验。
巴黎的Mimesys和都柏林的Meetingroom.io是采用不同方法的初创公司，它们使用VR作为共享协作会议空间的基础，其中可以包括PC和Smartphone等多种设备上的用户。这些系统的核心是将远程参与者的大量捕获带入虚拟房间，就像我们今天在社交VR中看到的那样，例如AltSpace和Oculus Rooms。Mimesys允许用户使用任何设备（包括HoloLens，平板电脑和智能手机）登录其虚拟会议。
Mimesys Connect以共享的虚拟会议室为中心，该会议室允许参与者导入和共享3D对象，观看视频，以及执行在实际商务会议中可以做的所有事情。但是，与消费者的社交空间不同，参与者不是化身，而是数量庞大的参与者。这种区别非常重要。
使用iPad iOs 11 ARKit通过Mimesys Connect访问会议
这是一个视频，准确地反映了我在Vive上使用Mimesys Connect的体验。我和创始人兼首席执行官Remi Rousseau看到了彼此的真实头像（戴着我们的Vive HMD），并且能够传递和操纵3D和2D对象。与他在一起，在场的感觉非同寻常。
Rousseau认为以VR为中心的方法是最灵活和易于使用的。“ HoloLens Teleportation不允许用户使用Mimesys Connect共享和协作方式。例如，我们无法在共享白板上进行协作。”我询问了Russeau的进入壁垒，以及他的小型初创企业（可能与十几个试点客户一起使用）如何抵御AltSpace和Oculus Rooms等低成本或免费竞争对手的这种VR方法。
他说：“存在潜在的风险，尤其是在Facebook空间方面，这就是为什么我们今天将重点放在B2B而不是B2C上。话虽如此，沟通空间还是很大的。如今，WhatsApp，Messenger，视频群聊，面对面时间等平台共存，并且对于VR和AR通信来说可能是相同的。不同的受众会有不同的体验。”
Meetingroom.io的创始人兼首席执行官乔尼·科斯格罗夫（Jonny Cosgrove）补充说：“我们仍处于起步阶段，但可移植性在这里改变了游戏规则。高级管理人员和销售总监可以会见和管理销售人员，公司可以与更多的客户互动。”
思科视频技术集团现任高级副总裁OJ Winge在他的职业生涯的大部分时间里都在以一种或多种形式使用网真。他说：“思科的Spark系统已经提供了新的丰富体验。目前，对于体积级的远程呈现，质量还不够好，我们认为这与Spark有所不同。互补，不同，但不能替代。对于正常的会议，该技术必须透明且自然。”他对Spark的地位充满信心，并计划发展业务。
远程现实将非常缓慢地发生，然后同时发生，这不仅极大地破坏了会议业务，而且极大地破坏了业务管理和协作本身，更不用说数十亿美元的商务旅行类别了。
我即将出版的有关AR和VR的书的所有关键前提都存在于这个故事中。我们始终高估当前，低估未来。产品之所以成功，是因为它们使我们已经在做的更好。杀手级应用是其他人。
