行业科普

7年磨一剑苹果首款MR头显设备Reality Rro抢先一览

文: 万里

原标题:《7年磨一剑,苹果Reality Rro抢先一览》

近日,金融时报透露库克计划在今年推出第一代苹果MR头显设备,使得业内对于苹果新品的关注再次攀升。其实关于苹果发布新品的风声由来已久,从2015年至今,经过几次跳票,现在总算有了看起来“较为准确”的日程。

虽然在苹果设计团队看来,新一代的苹果MR头显在重量上并不如人意,但苹果作为全球消费电子的标杆,行业仍然期待苹果能够推出一款现象级产品,对于MR新品仍怀揣看好的心态。无论如何,延迟长达7年才推出的苹果MR新设备,仍被视为具有行业导向性质的意义,对于市场及产业链的影响亦不容小觑。

 

头显渲染图,图源:网络

两块4K屏幕+M2芯片苹果MR硬件参数信息汇总

以下消息来源多为The Information等海外平台,另外今年CES期间苹果围绕头显新品召开了一个约200人的闭门交流会,陀螺君也会分享一些知情人士的产品体验心得。由于新头显尚未发布,最终发布产品与参数或有一定出入,信息仅供参考。

先简单看一下参数:

 

图源:VR陀螺

苹果头显虽尚未发布,但其开发过程可以视为VR发展的一个缩影。苹果首款MR头显设备(以下统称 Reality Pro)于2016年左右立项,当时正值“VR元年”,距今开发时间已经有7年之久。据业内人士表示:苹果MR团队人数达到了1000人(也有消息称是2000人),团队规模已经超过了VR设备出货量第二的厂商 PICO。目前该团队由公司副总裁 Mike Rockwell 领导,苹果前硬件工程主管 Dan Riccio 监督。

从2019年开始,市场陆续传出苹果即将发布新品的信息,经过几次跳票,这些消息已被看做烟雾弹。不难发现,苹果一再延迟发布新品表明,现在VR/MR无论是产品形态又或者是市场表现上都还不尽如人意,大家迫切希望苹果能带来极具创新、能引爆市场的颠覆性产品。而另一边,苹果在产品开发过程中显然也面临了与其他厂商相同的挑战与妥协。

根据传闻,在产品形态上,Reality Pro 经历了多轮迭代。在早期的版本中,需要通过无线串流到一台小型Mac设备使用,以此获得强大的性能。首席设计师 Jony Ive 由于不喜欢分体头显的概念便投了一轮反对票,Ive 更倾向于一体式方案。由此,苹果MR设备一直存在此类技术与理念问题的拉锯,使得该产品发布时间一拖再拖。

就产品发布时间问题,苹果内部分为了设计团队与运营团队两大阵营,运营团队希望能尽快推出“第一版”产品,不过设计团队却表示,在打造轻薄头显的技术可行之前,不要急着发布这一品类。不过,库克站在了运营团队这一边,督促该产品于今年推出。外界猜测,Reality Pro可能会在今年6月份的WWDC大会发布,并在秋季正式发货。

据最新消息,Reality Pro 似乎采用了综合 HTC VIVE XR 精英套装+Magic Leap 2 的设计,该头显采用电池外置设计,电池包通过Magsafe连接线与头显本体连接,体积约为两台 iPhone 14 Pro Max 叠加的大小,单次可以提供约两小时的使用时间。

外观方面,它是一款颇具辨识度、且充满“果味”的产品:机身由铝、玻璃和碳纤维等轻质材料打造,容易让人联想到 AirPods Max。它的外观类似于滑雪镜,前面黑色部分为它的外置屏幕,可以显示使用者的面部表情等信息。与此同时,为了让设备的一体性看起来更强,它把机身前方的摄像头等传感器做了隐藏处理。

 

Reality Pro产品 非官方渲染图,图源:网络

从渲染图来看,头显较为轻薄,这与它采用的Pancake折叠光路设计有关。不过,由于它的绝大部分重量都集中在前半部分,一些知情人士指出,头显佩戴起来舒适度仍有待提升。

核心参数方面,它搭载了两块1.4英寸、4K级高分辨率的 Micro-OLED 屏幕,屏幕供应方为索尼,单从屏幕分辨率来看,就注定了它不会是一款低价产品。参考MeganeX,这款产品采用了两块 2560X2560 分辨率的Micro-OLED屏幕,其标准版售价已经达到了1699美元。Reality Pro 的售价预计高达 3000 美元,是目前消费级VR头显标杆 Meta Quest Pro 的3倍。

为了支撑起画面的良好显示,它对于处理器性能,特别是GPU性能的要求不容小觑,如小派8KX,它所推荐的PC规格为i5 9400 + RTX 2080或更高版本。为此,Reality Pro 搭配使用了M2芯片,这是一款电脑级芯片,采用5nm工艺打造,已被应用于 MacBook Pro 等产品。此外,为了支撑起庞大的显示运算需求,头显还引入了一颗专用的图像信号处理器。为了解决芯片的散热问题,头显内部还配备了主动散热模块,类似于 VIVE Focus 3。

Reality Pro 的集成度非常高,它配备了十余颗摄像头和传感器,其中每只眼睛各一颗,以实现眼动追踪和注视点渲染功能。此外,它还搭载了如今应用于iPhone和iPad设备的LiDAR传感器,以实现SLAM等功能。值得一提的是,The Information 透露该设备还能检测用户的腿部动作,这是基于机器学习所实现的。

 

图源:苹果

其他方面,Reality Pro 外置屏幕或将支持苹果的Promotion以及全天候显示功能,可实现低功耗显示;头显配备了一颗类似于 Apple Watch 的表冠按钮,可以实现AR和VR的顺滑过渡,苹果将其视为主要卖点之一;它去除了耳机孔,内置H2芯片,可以与第二代 AirPods Pro 等产品实现超低延迟连接。

内置VR版苹果全家桶3D通话以及健康生态是一大看点

软件方面,Reality Pro 拥有自己的应用商店以及操作系统,而操作系统或将命名为 xrOS。有消息称头显的主界面看起来与iOS几乎相同,里面会内置 Safari、照片、邮件、日历、App Store、音乐和健康等iPhone常见的应用,可以在主屏幕中固定天气、备忘录等小组件,此外,它也支持安装 App Store 的 2D 版本应用。

在自建内容生态方面,主要看点包含以下四部分:3D版 FaceTime 通话、沉浸式视频、苹果生态之间的多设备联动以及MR内容。

有消息指出,头显内置的 FaceTime 软件将能检测用户的面部以及全身动作进而以 Avatar 的形式呈现,用户化身会显得化。当一对一聊天时,头显会进行高精度的画面渲染,当多人进行通话时,部分用户会以图标或者 Memoji 的形式呈现。

 

苹果2017年发布的 Animoji 表情,图源:网络

VR视频方面,它已经与迪士尼、杜比等媒体巨头就开发沉浸式视频事宜启动了合作计划。而另一边,苹果也积极更新自己的 Apple TV+ 节目以丰富头显的视频资源。它与 PICO视频、Horizon Venus 等产品类似,用户佩戴头显后,可以模拟在沙漠或者太空等场景观影的效果,不过它的扬声器音效一般,并且空间音频功能需要搭配苹果的AirPods 耳机才能实现。

硬件生态联动可能是苹果有别于其他XR厂商的一大优势,一些爆料信息指出,Mac 设备的屏幕内容可以无缝投射到 Reality Pro 中,以获得大屏的使用体验;此外,用户也可以借助 iPhone 等设备进行头显的文本输入。

2月份,欧洲专利局公布了苹果的一项名为“用于XR系统的多设备 Continuity(连续互通)”的专利申请,里面提到了两个比较有意思的玩法:

用户佩戴头显,查看 iPhone 上的邮件时,邮件图标会悬浮在视线面前,当点击后,邮件信息会扩展到头显屏幕中以进行进一步操作;佩戴头显时,用户只需要做出相应的手势即可让音乐在 iPhone、HomePod 等不同的设备之间切换播放。参考小米于MWC亮相的小米无线AR眼镜探索版,Reality Pro 或许也会支持智能家居联动等玩法。

 

通过AR眼镜实现开关灯,图源:小米

自2022年下半年以来,市面上已经出现了很多主打MR体验的设备,如 Quest Pro、奇遇MIX 等,相信这也会成为Reality Pro 的一大看点。

MR功能依赖于 Passthrough 作为基础,再配合 SLAM 等算法以实现虚拟物品在真实世界中的映射。不过目前绝大部分头显的MR体验都不友好,一是因为透视的效果普遍不佳,二是目前MR内容依旧非常缺乏。

 

扎克伯格展示的MR体验视频,图源:网络

结合一些爆料信息来看,Reality Pro 的全彩透视功能已经具备较高完成度,如通过表冠可以实现AR和VR的无缝切换、可通过 iPhone 实现文本输入等。有消息指出,用户可以将地图应用程序从 Mac 屏幕拖出,在桌面查看城市的3D模型。此外,苹果计划为 Apple Store 线下门店引入这款头显设备,当用户佩戴头显后,将能看到门店展陈产品的更多参数信息。这些都是苹果MR功能的一大体现。

消息人士告诉陀螺君,苹果闭门交流会中,演示了游戏、观影、健康等方面的Demo,预计这些内容会在发布会上重点呈现。此外,Reality Pro 定价高昂,可能会面向部分细分领域的专业人士以及极客群体。对于这群用户,Reality Pro 可能还会有针对性的内容推出。

最后再聊一聊 Reality Pro 的交互问题,Reality Pro 不会配备手柄,在交互上苹果更倾向于手势识别与 Siri 语音交互。2020年的时候苹果就已经将一些负责 Siri 界面的工程师分配给头显团队以打造更好的语音交互体验。此外,Reality Pro 还将配备 AIGC 等功能,即通过 Siri 语音输入,可以在真实环境中快速创建动物等虚拟物体,无需经历建模、编程等传统动画制作流程。

此前 Mark Gurman 透露,Reality Pro 可能会引入“空中打字”功能,该功能正是借助眼动追踪和手势识别所实现的。

在闭门交流会上,用户所使用的交互方式为手势+指环,而指环又集成了一系列相关健康检测功能。苹果对于指环交互方案的探索,已经耕耘已久,这点我们可以从一众专利文件中一窥端倪。

如苹果的一份代号为 US 20220365598 A1 的专利申请文件,里面提到当指环引入头显后,可以实现移动光标或指针等物体、滚动或平移、调整控制设置、打开文件或文档、查看菜单、进行选择、执行指令等操作。

 

图源:网络

而一份代号为 US 20230000435 A1 的专利申请文件显示,苹果试图开发一种智能织物带,该设备集成一系列传感器,可用于测量血压、呼吸率、血氧和心电图等数据。

 

图源:网络

除了前面所提到的软件生态外,苹果的一些专利文件透露了更多信息,相信这些专利会在今后的产品或者功能中有所呈现:

  • US 20230008291 A1:检测用户的佩戴使用情况,以提供符合工程学的使用建议;
  • US 11568760 B1:利用AR技术识别食物卡路里,麦克风检测“咀嚼声”以检测用户食物摄入情况;
  • US 11570417 B2:检测用户位姿以提供沉浸式视频;
  • US 20230024768 A1:通过追踪用户脸部信息以生成实时面部动画系统,可用于创建数字人等;
  • US 20230042447 A1:该专利可以把Apple Pencil转换为VR设备的游戏手柄;
  • US 20230055013 A1:涉及个性化虚拟化身设置;
  • ……

从ARKit到企业收购,苹果已准备多时

在 iPhone 上面曾经发布的功能其实可以跟未来的头显产品相呼应,这反映了苹果对于产品的长期规划能力。例如iPhone 上面的 Memoji 以及 Animoji,它或许会在 Reality Pro 的 VR FaceTime 或者数字人身上有所体现;iPhone 12 系列新增的 LiDAR,也将在头显上发挥重要作用。

此外,苹果早于2017年便推出了AR开发平台 ARKit,开发者可以在该平台为 iPhone 和 iPad 设备构建AR内容体验。去年1月份,库克透露苹果 App Store 现已拥有AR应用游戏超 14000 款,目前,ARKit 已经发展成为最大的AR开发平台。

在 ARKit 这些年的更新迭代中,苹果积累了很多重要算法,如 ARKit 1.0 的物体跟踪、ARKit 2.0 的深度预测以及AR文件格式USDZ、ARKit 3.0 的动作捕捉、ARKit 4.0 的位置锚定和面部追踪、ARKit 5.0 的 LBS AR 以及 ARKit 6.0 实现了对4K分辨率的 VST 透视效果支持……ARKit 的这些算法以及能力可以广泛用于手势交互、全彩透视、构建MR游戏以及 LBS AR 体验等多种场景。

更多ARKit的发展迭代可以翻阅以往文章《2亿苹果用户起步的 ARKit 进化史》

 

ARKit迭代,图源:VR陀螺

此外,苹果在VR/AR企业收购方面,下的功夫并不逊色于 Meta 等元宇宙巨头。根据VR陀螺不完全整理,自2010年开始,苹果收购XR相关企业数量已不下十家,其中人脸识别、面部追踪等技术可以用于构建3D数字人;VR直播、VR视频、AIGC等技术可以用于快速构建XR应用生态;Micro-LED、光学片、VR镜头模组等则可用于硬件打造……

 

图源:VR陀螺

XR发展遭遇阻力苹果新品有望重振行业信心

Mark Gurman 曾经指出,苹果是一家“有保障的热门制造商”。这句话意味着苹果在打造标杆级产品方面有着极大的信誉。如今苹果新头显即将发布,它对于整个XR行业而言都有着深远的影响。

去年年底至今年年初,XR 行业的负面消息不断:Meta 裁员万人、Meta 再度裁员万人、微软砍掉元宇宙部分项目、腾讯解散 XR 团队……这导致某些悲观主义者甚至早早喊出了“XR行业已死”的口号,而伴随 GhatGPT 爆火的AI,也已经掩盖了元宇宙应有的光芒。

苹果预计 Reality Pro 首年销量在百万台左右,根据陀螺研究院数据,今年XR产品出货量预计可达到 1150万台。苹果初代产品可能不会获得太高的市场占比,但它却起到了一个“定心砣”的作用。因为作为有信誉的制造商,并且首度推出MR产品,这给外界释放了一个显而易见的信号:XR已经到了一个具备打造优秀产品体验的拐点。这对于硬件制造商、内容开发者、资本市场以及产业链而言都有不小的激励作用。

 

图源:VR陀螺

如今的XR市场,它就像是智能手机发展初期,大家对于其产品形态还没有形成过多共识。以VR产品为例,它在形态上包含了一体式、分体式两种类型,这是硬件与应用场景权衡取舍的结果。在交互方面,除了手柄以外,还有眼动追踪、手势、指环、语音等方面的探索与尝试。我们都在期待苹果能像当初推出初代 iPhone 或者 AirPods 一般,元宇宙也能迎来它的“iPhone时刻”。

应用生态也同理,目前 XR 生态多聚焦在游戏、观影、社交,而苹果可能会在3D通话、健康冥想等场景发力,并且会构建起一些截然不同的东西。对于内容开发者而言,也是一大激励因素。据VR陀螺最新统计数据显示,截至2月底,VR内容数量最多仍是Steam平台,国内不仅缺少精细化的内容平台,精品内容也比较匮乏,内容质量单一导致用户接受度不均,总体粘性较低。此外,质量差异大导致付费模式不统一、内容定位较差等,使得VR内容仍难以打通C端的商业模式。凭借苹果的号召力,内容生态或将迎来一个全新升级。

 

图源:网络

对于产业链而言,受限于出货量以及消费信心的相对疲软,新技术的发展迭代其实远没有智能手机市场那么迅速(如今头显的主流芯片XR2已经是2019年发布的产品)。这导致XR产品 BOM 的大头:芯片、显示、光学……成本迟迟无法往下探,薄弱的硬件基础无法支撑起良好的生态体验,而高昂的售价也成为了XR向大众消费市场普及的一大阻力。苹果入局,伴随而来的是资本市场的进一步关注,有望加速整个发展进程。

结语

无论是玩家还是产业,都在希望苹果密谋7年已久的头显新品能早日到来。

出色的显示效果、远超同类型头显的性能、优秀的生态建设、独特的交互方式…..这些因素叠加在一起,或许苹果将给我们带来一款前所未有的产品。而对于产业而言,凭借苹果极强的号召力,或许XR会再次迎来一个新的“发展拐点”。