时间: 2023-10-08 00:10:17 | 作者: 产品中心
PC、笔记本和手机，这些你工作生活中不可离弃的设备正开始慢慢步入历史的烟尘中？第四波强产业革命AR/VR浪潮正在加速驶来，而这其中的佼佼者 Magic Leap，已经申请了新专利，消费级产品即将带你展现，连接信息世界和真实世界的真正全息技术。
想象一下，不用看电子设备屏幕那狭小的5.5寸屏，而你目光所及的任何角度（360°无死角），都是你的电子设备屏幕！那会是怎样的壮观景象。
最近，《福布斯》杂志印度版刊文介绍了Magic Leap，采访了公司创始人罗尼·阿博维茨（Rony Abovitz）。据阿博维茨透露，公司已在原型产品的研发上投入10亿美元，消费版产品很快就要上市了。在企业成立之初，许多投资人对Magic Leap的技术表示怀疑，但是后来都相信了它，还投了钱。
在南佛罗里达企业园，无数大楼直插云天，它点缀着美国的郊区景观，从外面看几乎没办法区分彼此。进入企业园内部，情况就完全不同了，这里有不一样的现实。机器人走过大厅，绿色的爬虫类怪物在休息室闲逛，卡通精灵将灯打开关闭，75英尺高的战争机器正在停车场巡逻。
就连办公室设备也在做一些不可能的事。挂在墙壁上的高清电视看起来平平无奇，突然之间，电视消失了，它出现在房间中央。真是不可思议，电视居然悬浮在空中。你可以凑近观看，从任意角度观看。电视的对角线英寸，可以收看ESPN节目，没有一点东西举起电视。
电视看上去很逼真，实际上却是假的。所有东西只是幻像，我们通过MR（混合现实）头盔观看，开发它的企业正是Magic Leap。
Magic Leap的创始人名叫罗尼·阿博维茨（Rony Abovitz），现年45岁。Magic Leap成立于2011年，自成立那天起，公司就在秘密运营。只有少数人看到它的技术，知道技术如何应用的人更少，他们签署了保密协议，甚至连公司是不是存在都不能谈论。
佛罗里达Dania Beach是一个小镇，只有3万人，大量的金钱流入小镇。到目前为止，Magic Leap已经融资14亿美元，今年2月时融资7.94亿美元，据说是C轮融资历史上数额最高的。
似乎所有的蓝筹科技投资者都想加入，包括Andreessen Horo¬witz、凯鹏华盈、谷歌、JP摩根、Fidelity和阿里巴巴，还有一些非常规企业投资，比如华纳兄弟、传奇娱乐。
在最近的一轮融资中，Magic Leap估值45亿美元。如果阿博维茨拥有公司22%的股份（他拒绝透露有多少），他也是一名亿万富翁。在科技圈，已经有许多传闻在流散：Magic Leap开发全息产品，可能使用了激光，或者发明了扭曲现实的机器，它的尺寸和大楼一样大，可能永远无法商用。然而Magic Leap并没有发布产品，它也没有向公众演示过产品，没有宣布任何与产品有关的消息，甚至没有解释专利“光场”技术是怎样的。
现在公司已走进了阴影。最近，阿博维茨接受了《福布斯》杂志的采访，他说Magic Leap已经花了10亿美元开发原型设备，公司已开始在佛罗里达建造生产线，很快就会推出消费产品。当产品上市时（最快会在未来18个月推出），新计算时代将会来临，它采用下一代界面，这种界面我们会使用几十年。阿博维茨说：“我们正在开发新型情境计算机，我们做的事情完全不同。”
Magic Leap的创新产品不只是一块高科技显示屏，它是一台“破坏机器”。许多产业使用了屏幕与计算机，还有许多产业没有使用，它们都会受到Magic Leap技术的影响。平面显示屏市场每年的规模高达1200亿美元，它会被Magic Leap技术“杀死”，全球消费电子产业年规模达到1万亿美元，它会因为Magic Leap技术而“地震”。你将会抛弃PC、笔记本和手机，因为你所需要的计算力将会来自于眼镜，它可以让屏幕在任何地方显示，用任意尺寸显示。
新技术可以显示任何东西，比如为你指引方向，带你去参加会议，可以在小镇的公路上显示黄色箭头。你如果准备购买新沙发，它可以让你提前知道沙发是否与客厅匹配，不用离开家就能知道。不需要多少机械知识就可以修理手机，哪个组件要更换，哪里做错了，互动信息都会提醒你注意。Magic Leap可以从各个方面获得利润，不只是硬件，还可以销售软件，可以通过获得的数据、分析数据获利。
你可能已经试用过VR产品，比如索尼、谷歌、三星、Facebook的VR 产品。VR向用户展示计算机生成的模拟图像，目前主要应用于视频游戏，VR头盔会用虚拟图像阻挡现实世界，或者替代现实世界。你可能还尝试过AR产品，它的数字内容是覆盖在现实环境之上的。2016年，《口袋妖怪Go》推动AR走向流行。
VR游戏或者《口袋妖怪Go》与Magic Leap的MR产品不同。VR可以将我们带到另外的地方，AR可以让妖怪出现在客厅，MR让你停留在现实之中，让虚拟角色进入生活。
到底是怎样实现的呢？Magic Leap的核心技术是头戴式显示器，但是它的最终产品可能是一副眼镜。当我们戴上设备，它会阻挡视野，硬件直接将图像投射到视网膜，在半透明的眼镜内有一套光学系统，图像通过光学系统投射。产品不会伤害眼球，当我们观看时，产品不会强迫我们盯住屏幕，而是像平时观察世界一样观看。硬件持续收集信息，扫描房间中的物件，倾听声音，追踪眼球动作，观察手部移动。
在一段演示视频中，Magic Leap展示了计算机生成的“虚拟互动人”，它的尺寸与真人相当，图像很逼真。阿博维茨认为，虚拟人可以变成数字助手。
在MR世界中，计算力可以用来描绘桌面物件，但不限于此，它可以与任何对象连接在一起，不论是真实的还是虚拟的，对象可以知道自己的位置，可以知道自己存在的目的是什么，知道你想如何使用它。阿博维茨说：“我们可以将它当成未来式运算，在那里，台式机就是整个世界。”我们开始时有了大型主机，然后是PC，再然后是移动设备。如果Magic Leap成功了，接下来就是“虚拟”。
传奇娱乐创始人Thomas Tull认为：“这种技术不只影响娱乐或者视频游戏产业，它是一个完全不同的互动世界，与世界互动，它是新一代计算机。我认为，Magic Leap将会变成一家非常非常重要的公司。”
阿博维茨一直对未来很痴迷。1971年，阿博维茨出生在一个以色列移民家庭，住在克利夫兰（美国城市），他对计算机、科幻小说很入迷。阿博维茨说：“我们就是这样长大的，脑子里装着各种东西。我和朋友都想变成卢克·天行者（Luke Skywalker），击败死星，制造C-3PO。”
1997年，阿博维茨创办了自己的第一家公司Z-KAT。他说：“我决定开发一款类似于《星战》医疗机器人一样的产品，我认为我们无法制造出X翼战机，因为毕业之后如果干这个我没法向父母交待。”2004年，公司分拆，机器人部门成为一家名叫Mako Surgical的新公司，它主要生产机器手臂，辅助医生做手术。机器人的需求很高，2008年，公司上市，融资5100万美元。
当时阿博维茨在Mako全职工作，后来结了婚。没多久，阿博维茨又找到了用武之地，他从事一个名叫“Hour Blue”的项目，阿博维茨要建立一个梦幻世界，这是一个外星星球，里面有各种神奇的东西，比如行走的机器人，飞行的鲸鱼。2010年，他成立了新公司Magic Leap Studios，这家公司可以让阿博维茨完善自己的项目，他要制作系列漫画小说、电影授权产品。
“当时只有我一名员工，公司就在我的车库。”阿博维茨说，“我的母亲制作了一块帆布，上面有彩色字符，写了公司的名字‘Magic Leap Studios’。”为了完善项目，阿博维茨从Mako借了一些钱，聘请特效公司Weta Workshop制作内容，根据阿博维茨的故事创意制作，让梦幻世界具体化。与此同时，受到科幻小说《神经漫游者》、《彩虹尽头》（Rainbows End）的影响，阿博维茨开始感到困惑：为什么科幻小说中描述的AR\VR产品在真实世界不存在？能不能制作这样的产品呢？
Weta Workshop CEO、Magic Leap董事会成员Richard Taylor说：“这是一个特殊时刻，现实与科幻小说开始融合。我们为Hour Blue构想出一些梦幻技术，这些技术与真实世界的AR应用同步发展，当时Rony慢慢的开始探索AR技术。”
2011年，Magic Leap Studios开始转移重点，变成了Magic Leap，阿博维茨聘请了一个小团队，帮助他完善MR创意。没多久，公司就开发出一款原型设备。
阿博维茨说：“最开始时我们只是在空间中显示一个像素，它可以在房间中移动，我们很兴奋。看到的人问：‘它是什么？只是一个点而已。’但是我们已经知道技术可行。”
要发展需要很多的钱，这点阿博维茨也知道。在Mako IPO过程中阿博维茨赚了一些钱，他用这些钱支持Magic Leap发展。2013年，Mako被医疗设备制造商Stryker收购，价格17亿美元，他将部分收入投到了Magic Leap。
很幸运，技术证明了自己的价值。阿博维茨说：“当我们告诉别人我们在开发什么时，他们不太相信。然后他们会跑过来说：‘噢……你们真的让这种事情成功了。’每一个投资的人都经历了这样的转变，他们最开始时认为不可能，后来都参与进来。”
2014年2月，Magic Leap融资5000万美元，这是种子基金，由私人投资者投资。8个月之后，在B轮融资中Magic Leap获得5.42亿美元投资，领投的是谷歌。
Obvious Ventures风投专家James Joaquin表示：“我们之所以投资Maigc Leap，主要是因为我们相信它所开发的光场技术将会成为PC、网络与智能手机之后的技术拐点。这种技术很有潜力，可以让全球多个经济门类发生转变，包括娱乐、教育和生产。”
2016年2月，Magic Leap完成了C轮融资，金额7.94亿美元，由阿里巴巴领投，谷歌与高通风司参投，Fidelity Investments、JP摩根、摩根斯坦利、T Rowe Price也投入了部分资金。Thomas Tull认为：“说它有点疯狂一点也没错。这家公司毫不费力就吸引了蓝筹投资者的投资，就目前而言，公司的资金很充足。”
看起来阿博维茨并不像产业领袖。Magic Leap的新总部位于佛罗里达Plantation，阿博维茨领着客人参观总部，新总部与普通大楼不同，更加符合阿博维茨的愿景，它离达尼亚滩 (Dania Beach)很近，阿博维茨喜欢在那里度假。阿博维茨指着很酷的机器给客人看，他还邀请客人爬上楼梯，查看管道中的高端空气过滤器。客人经常说他是一个好人，还是一个很聪明的人。
有时他会在工作时失踪。最近一个周五的下午，一群客人来公司总部参观，离原定开始时间已经过去半小时了，仍然不见阿博维茨的身影。公司的一名高管发现他早就到了现场，只是坐在停车场的汽车内打电话，全神贯注，完全不知道自己错过了时间。
2015年10月，Magic Leap开始建设25.9万平方英尺的办公园区，照估计，今年年底大部分员工就会进驻，目前公司约有850名员工。其它员工分散在全球9个办事处。一些团队已经开始在新园区办工，包括机械工厂的员工和几个工程团队。阿博维茨需要将研发团队凝聚起来，这点相当重要，因为公司必须快速开发硬件，围绕原型头盔，Magic Leap需要开发几百款迭代产品。
公司还在Plantation园区建设制造工厂。阿博维茨说：“它是Magic Leap最大的一部分。”当阿博维茨领着一组人进入生产线时，大家看到许多长长的、装备齐全的模块化托架整齐排列，像潜水艇密布于码头一样。一旦准备就绪，生产线就可以启动，每年的年产量可以从数千增加到100多万。
阿博维茨希望Magic Leap可以留在佛罗里达，在这里制造产品有一个好处：保密。如果将总部迁到北加州，保密几乎不可能，因为硅谷的人才跳来跳去，谣言纷飞。当然，如果搬到北加州招人会更容易一些，幸好Magic Leap的技术很有吸引力，已经从硅谷、其它科技中心吸引了大量人才。
不只是阿博维茨看到了新机会。在过去12个月里，已经有23亿美元投向VR和AR产业。IDC认为，今年全球AR和VR营收将达52亿美元，2020年增至1620亿美元。
增长如此之快，难怪大型科技企业纷纷进入。谷歌早在2013年就进入AR产业，当时它推出了Gloogle Glass。由于隐私及安全问题，眼镜项目最终失败，不过谷歌向Magic Leap投资说明它对AR仍然很有兴趣。谷歌企业发展副总裁Don Harrison说：“我们曾经与阿博维茨和他的团队交流过，在早期交流过程中，我们就已经知道一点：我们要帮助他们加速前进，将愿景变成现实。”
苹果也在开发AR产品，不过不知道苹果到底是在开发独立头盔，还是为iPhone增加AR功能。还有一些硅谷创业公司也在开发AR头盔，比如Meta，它已经融资7300万美元，还有Atheer，它已经融资2300万美元；如果取得成功，它们极可能会成为收购对象。
就目前而言，Magic Leap最大的竞争对手是微软，2014年，微软宣布开发AR头盔HoloLens。今年3月，开发版HoloLens已经出货，消费版本会在2017年推出。Gartner分析师 Brian Blau认为：“微软有一个很大的优势，它与许多企业建立了联系。微软深深扎根企业市场，HoloLens瞄准的正是企业。”
现在Magic Leap已经建有生产线，产品何时进入市场？阿博维茨说：“很快”。
明年，微软就会推出消费版HoloLens，Magic Leap必须加快速度，在同一时间段让产品上架销售，否则就会将地盘让给最大的竞争对手。Meta头盔的预定价格为1000美元，照估计，Magic Leap的新头盔也会处在相同的价位。
最终，Magic Leap可能会在企业市场造成巨大影响，尤其是医学成像和零售市场。不过和众多的技术一样，最先开路的会是娱乐产品。Magic Leap的大多内容是自己开发的，它已经聘请几位知名视频游戏设计师、卡通师、艺术家、作家帮助制作内容。《雪崩》作者Neal Stephenson是Magic Leap的首席未来学家，他在西雅图办事处工作，开发一款神秘的游戏。
还有一些内容来自于合作伙伴Weta Workshop，在新西兰Magic Leap办事处，Weta Workshop建有实验室，安置了25名员工。它们的首个项目名叫《Dr Grordbort’s Invaders》，这是一款动作游戏，玩家用射线枪反击邪恶的机器人，机器人会从用户家的墙壁上破墙而出，还会围着房子飞行。
6月份，Magic Leap宣布与ILMxLAB合作，它是Lucasfilm的沉浸式娱乐部门，两家公司合作建立了研发实验室。ILMxLAB主管Vicki Dobbs Beck表示：“技术仍然处在发展初期，类似于早期的电影。”两家公司已经合作开发一些MR体验，它以星战世界作为背景。
的确，不像近期热门的微软 HoloLens，Magic Leap 作为下一代内容呈现和交互平台混合现实（Mixed Reality）领域的竞争者，至今并没有实机 demo 演示，仅有出自官方 YouTube 账号的两段视频。但这并不妨碍我们从这家公司近年来申请的专利和引进的专家来分析他们的技术方向。
目前为止，无论是虚拟现实（VR）应用还是增强现实（AR）应用，图像本身的路径基本上都经历这样的过程：光 - 镜头 - 传感器 - 数字化 CV 算法 - LCD/LED 显示器，最终我们看到的 AR/VR 内容都是通过 LCD/LED 显示器传入人眼。而 LCD/LED 本身在耗电、重量、体积等方面存在缺陷，是 AR/VR 用户体验发展的主要瓶颈之一。
而 Magic Leap 拥有一种名为 Fiber Optic Projector 的核心技术，这种“投影仪”与传统意义上的投影相比，尺寸更小，功耗更低，能够最终靠一根直径 1 毫米长 9 毫米的光纤投出几英寸彩色图像。
谈及 Fiber Optic Projector 的原理，我们就要从已经加盟了 Magic Leap 的华盛顿大学 Eric Seibel 教授说起。Prof. Eric Seibel 致力于研究内窥镜已有数十载，他的研究团队曾在 2013 年公开展示一种直径 1 毫米、基于光纤扫描的内窥镜。相比原来动辄几厘米直径的内窥镜而言，这是一种变革性的进步。它的原理简单来说就如下图 —— 内窥镜由基于 MEMS 的驱动器 Actuator、单光纤、镜头组、直径 1 毫米的套管组成。当内窥镜工作时，微电脑通过控制多个驱动器，精确控制光纤末端的扫描路径，通过画直径由小变大的同心圆来完成整个画面的图像扫描，再将数据回传给电脑合成图像。
Magic Leap 的 Fiber Optic Projector 和这个内窥镜工作原理类似，只是光纤末端并不是用来采集图像，而是发出显示图像的光线，通过驱动器足够快速的扫描，让镜头末端得以逐个投出图像。这个原理听起来简单，要在工程上实现是非常了不起的。
上面我们提到过，这种基于光纤扫描的显示设备有功耗低、重量轻、体积小等优点，而且可以通过多个光纤末端阵列堆叠的方式来实现 FOV (Field of View) 显示。
而对于这种光纤扫描投影仪的画质，想必大家也不必过于担心。通过 Google Patent 的检索，我们发现这家公司已经在为美国国防部研制分辨率达到 4K 级别的光纤扫描显示设备。
说完光学呈像原理，我们再来说说 Magic Leap 在计算机视觉技术（Computer Vision，以下简称 CV）方面的成就。
上图来自 Magic Leap 近期的宣传视频，这些都是 CG 特效，并且 Magic Leap 自己也承认视频里的都是特效。这样用于表达 idea 的概念视频在硅谷公司里很常见，并不值得指摘。
接下来，我们重点针对上图里的这两组进行分析。一如 HoloLens 在去年 10 月首次亮相展示的宣传视频，纵然 Magic Leap 在视频里明确标注了 No special effets or compositing，很多看客还是倾向于对它们持怀疑态度。
不过，要真正在技术和学术上讨论 Magic Leap 在 CV 和 CG 技术领域展现的成果和远景，就需要建立两个假设：第一，视频实在 Magic Leap 设备上使用他们的原创技术生成的，即他们没有说谎；第二，视频是通过他们的设备实时采集、处理并展示的，即从外界感知环境数据到获得 AR 效果图像的整体时间在 33ms~67ms 这个时间范围内。
第一张图中，躲在桌下的小机器人被发现后，惊慌失措片刻向摄像机打了个招呼。过程中摄像机持续在移动，中间桌子对小机器人发生了部分遮挡。在这个场景里：
首先是三维信息感知：计算机必须通过传感器感知三维环境信息，这个传感器可以是普通 RGB 摄像头，也可以是 TOF 或者结构光深度摄像头，但是选择不同的摄像头也决定了接下来算法的复杂程度。
第二步是三维场景重构，这也是最重要的一步，需要通过所获得的环境信息实时对场景进行三维重构。这里就用到了大家最近在 AR 领域反复提及的 SLAM 算法，该算法在实时构建三维场景的同时，能够准确地定位拍摄相机（或拍摄者）的位置。有了三维环境和位置这两个信息，接下来的图形渲染工作才能进行。目前对于 RGBD 来构造三维场景的 SLAM 算法相对比较多，最著名的当属微软英国剑桥研究院和帝国理工 Andrew Davison 教授（接下来会多次提到这位教授的名字）共同开发的 KinectFusion；如果用 RGB 摄像头的话，也有 LSD Semi-dense SLAM 和 DTAM 等算法来获得相对丰富的三维场景点云信息。
第三步，三维场景识别：当我们通过第二步获得了丰富的三维场景信息后，接下来需要让计算机理解三维场景，即让计算机认知什么是地板，什么是天花板，什么是桌子，是一张什么桌子，桌子的材质是什么？目前在研究领域，3D 场景与物体的识别才属于起步阶段，受到数据集和采集方式，目前并没有显著的突破。因此在 Magic Leap 放出的 demo 视频里，他们巧妙地只使用了桌子，一些可以有效识别的物体。这方面的研究工作，领先者又是那位 Andrew Davison 教授，他领导的实验室在 CVPR2013 会议上提出的 SLAM++ 算法，可以通过 RGBD 摄像头进行 SLAM 的同时进行实时物体识别，并完成物体的物理建模。
第四步，物理建模与仿真：在识别出三维物体之后，虚拟物件（小机器人）需要和物件发生交互（例如：碰撞），则需要对三维物体的材质进行识别。由于 demo 中展示的是刚体碰撞效果，仿真上相对容易。那我们推广一下，如果是实时的流体材质仿真，就需要提到 CG 研究领域的 physically based rendering。该技术通过建立物体的物理数学模型，在计算机中仿真交互中物体的物理变化。如果有一天 Magic Leap 真要实现概念视频中鲸鱼的效果，大量的水滴溅射效果在移动设备上的实时计算仿真也会是很大的工程门槛。
五，实时 CG 图像渲染：在完成了所有呈现效果的仿真计算之后，便是将 AR 效果实时渲染出来，进而投射在显示设备上。这是个相对成熟的工程问题，也有很多工程师可以回答这个问题，这里不再赘述。
第二个 demo 更多展示的是 CG 图像的视觉效果和分辨率，而 AR 的特性通过现有很多 AR 开源包都能够实现，更多是硬件工程上的工作，不属于这个章节的讨论范畴。
通过上面这五步，我们大家可以得到一个流水线程序。从计算机工程上来说，这个流水线覆盖了传感器信号处理、三维重构、三维物体识别、计算机图形学四个领域。在 Magic Leap 所展示出来的 demo 中都体现了现在计算机科学领域的最新研究成果，而它所体现出来的流畅性和继承性，也代表了目前计算机工程领域的最高工业水平。作为计算机科学的研究人员和计算机工程的从业人员，我都愿意为这些进步拍手点赞。当然，这一切都建立在本章开头的两个假设上。
虽然近期国内技术型勇于探索商业模式的公司环境显得浮躁，但怀疑 Magic Leap B 轮资方中任意一方的 DD （尽职调查）能力都不算明智，希望这篇文章能作为一个引子，大家重新冷静考虑国内外技术的差距和相对优势。
另外，我愿意相信现在 Magic Leap 设备的尺寸非常大，稍稍分析一下上面这些算法的计算量，就至少需要两台配备顶级 GPU 的顶配台式机。即时 Magic Leap 自己开发了全套 FPGA （短时间内 SoC 的可能性不是很大）实现，其发热量和功耗也暂时无法支撑它成为一款便携设备。但任何一项技术在理论上得到突破后都需要漫长的工程等待，何况高通参投了 Magic Leap。
至于 HoloLens，微软现阶段还没什么担心的余地，目前 Magic Leap 的核心技术微软几乎都有，Andrew Davison 几乎所有重要论文都是和微软剑桥研究院合作的，本来相对偏弱的 CG 技术也通过收购 Intel 手中的 Havok 得到补强。加上强大的开发者社区，未来市场里一定少不了微软的位置。返回搜狐，查看更加多
