21个回答

如何看待苹果于 6 月 6 日发布的头显 APPLE Vision Pro,有哪些细节值得关注?

知乎数码
57个点赞 👍

来认真分析一下这款产品(更新中):

我目前使用过的产品主要是 HTC Vive Pro (VR 代表),Oculus(自用 VR),Holo Lens(微软看家 AR)。这次看到 Vision Pro 的发布,感觉还是十分耳目一新的。

这并非是大家吐槽的,Apple 再玩别人剩下的,而是我看到了一些针对痛点的创新。


痛点 1: 虚拟和现实的界限不清晰

下图是我手边的 Oculus,你可以看到它是一款 VR 设备,这里无需十分纠结我的用词。因为 AR 和 VR 合在一起就是 MR 混合现实,而 Apple 发布的这款产品,就是一款模糊二者边界的产品。

在 Oculus 这台设备上,正面是一个大塑料,而设备从内向外的透视,是通过前方几个摄像头实现的。受限制于性能,其实穿透过来的颜色、还有空间感是形变的。

这种感受我不知道说的是否清楚,就类似于你在公园玩哈哈镜的效果,哪怕外面的环境有扭曲,你看到的,就不会把它当作真实环境。

而上图中 Apple 的眼镜,通过对内部眼睛的还原,可以做到在看屏幕内容和在看外部内容时候,有穿透的效果。这大概率是得益于 12 个摄像头,外加内容眼球追踪系列传感器的精准追踪,实现了对眼睛内(俗称的 VR),和穿透视觉(俗称的 AR)这两种模式的融合。

实现这一点,想想看其实也并不难,真正难的的确是非常堆料。就像这次的 Apple 眼睛一样,用双 4K Micro-OLED 镜片,配合单独的虚拟现实芯片,来做到这个效果,属实佩服这么做的决心。

同样关于虚拟与现实的界限,你也许会想,这样一定是直接视觉穿透最好。巧了,微软也是这么想的,下图我手上拿着的是 Holo Lens,可以看到它和 Oculus 最大的区别在于,镜片是透明的。

在传统 AR 设备中,内容通过多重反射折射的方式投影到眼睛前方的镜片上,好处是通透,但坏处是不是真的通透。这种感觉,有点像是强迫你在室内戴着墨镜,虽然能看清,但感觉还是和真实环境有所脱节。当你摘下眼镜,才感觉回到了现实中,究其原因,我认为是这套方案为了保护眼睛内投影的清晰,牺牲了亮度。

更别提因为投影空间有限,哪怕我当时已经玩的是最新版本的 Holo Lens,微软号称可视角度变大了,但实际上还是一不小心就脱离了 AR 的视觉区域。虽然体验十分惊艳,当你同样也会因为可视角度问题,亮度问题,不认为你看到的现实,是真的现实。

这就是我在玩传统几家大厂设备时,最大的感悟。感觉他们好像做了,又做的远远不够。屏幕里无论宣传多么清晰,但始终能告诉你这不是真实的像素点,配合哈哈镜效果,配合昏暗感,时刻努力把你拉回现实。

在 Vision Pro 上,Apple 用这个小旋钮,来调节沉浸度。通过空间音频来完美告诉你声音的来源,把脑袋上的重量用外接点吃的方式挪到了你的腰胯上,用极度精密的显示器屏幕消除了模糊感。这个产品,在这个痛点上,我认为的确是大力出奇迹,但是确实可以解决问题。

痛点 2: 操纵体验繁琐,且精准度始终差了一些

继续回看这张 Oculus 的大图,你会注意到这个巨大的手柄,也是当代 VR 的标配。即便是已经进步了的 Valve Index,还是 Oculus Pro,它们缩小的只是手柄大小,并没有干掉这个东西本身。而微软 Holo Lens 的双指捏和手势做的虽然不错,但居然在你的手臂上放了个 UI,让你左右按右手,体验十分微妙。

Vision Pro 依旧是大力出奇迹。向外向下采用了恐怖的双芯片组合,配合 12 枚摄像头,外加多个红外光传感器,一直盯着你的手部操作。彻底干掉了对于额外控制器的需求,此刻,对外你的手,就是控制本身。而不是拿着手柄伸出一根光柱指向光标:一种大家都在用,实则很疲惫的操作方式,因为举着手本身就很累。

为了彻底解决精准度的问题,Vision Pro 在眼镜内部配上了恐怖的视网膜传感器。甚至达到了解锁精度,也就是对精度的最高要求。在这个设定下,你的眼睛本身,就是伸出去的光柱。看到哪里,哪里的 UI 就会自动浮起,用上了之前对于 iPad 光标的设计思路,不得不佩服,Apple 确实是交互方式创新的大师。

痛点 3: 生态中没有内容支撑

目前内容支撑,能说做的比较不错的大概就是索尼大法的 PS VR 了,有第一方地平线这类大作的支持。另一点我觉得内容做的很好的是大疆,通过对于场景无人机器的锁定,在大疆 FPV 的 VR 头显中效果很好。

我还记得当时用大疆 FPV 头显看深圳夜景的震撼,这样,在小场景下内容就足够了。然而对于诸如 Meta、微软、这样想做眼镜的就完全不是这么一回事了。

玩过 Oculus、Holo Lens 等等,你会发现很久不玩吃灰的原因,是因为实在找不到什么别的用途了。你用它天天玩节奏光剑不现实,天天玩 Demo 里面做的最好的纸飞机扔出去,也总会扔腻了。看 VR 电影,虽然屏幕巨大,但每一颗硕大的像素点都提醒你,为什么不去看电视呢?用 Holo Lens 打开 Powerpoint 办公,色差配合着误触酸爽的体验谁用谁知道。

Apple 这会依旧把自己的看家本领,SwiftUI + Xcode + Reality Composer 全部那到台面上,交给开发者,说全部拿去用。全部 iOS,iPad App 等都自动支持,彻底解决了早期内容不够的问题。

总结

以上三个痛点,是我对 Vision Pro 的看法,它解决了,且目前来看解决方案可靠,就已经足够定义全新的一代交互方式了。很佩服。

就是忍不住想说,那个外接充电宝,好像林克腰上的的电池呀。


简单介绍下自己

本小节后,将从开发者角度继续分析 VisionKit。

作为 Apple 开发者之一来冒个泡,所有 Apple 设备和服务都在用,很熟悉~ 也是 AI 智能记录 「心光」App 的联合主创,心光支持 GPT 4 + 个性化 AI 等功能,也十分强大;「创作者的 iOS 独立开发指南」作者;个人网站:http://legolas.me。受邀去现场,没去略有遗憾。在线上和大家一起关注今年这届极为重要的发布会,也是见很令人期待的事情。

心光会适配 iOS 17,欢迎大家体验。整个 WWDC 期间(6 号到 10 号),我会全程关注最新发布的内容,第一时间安装开发者测试的各个版本系统,购入可能推出的开发者版本 AR 进行开发及测试。在本文更新各类体验,欢迎关注。本文今晚也会分享 iOS 17 开发者更新渠道,供想尝鲜的好奇心重哒尝试。



开发者将在今年稍晚的时候,在上海加速器进行硬件测试,也可以随时向 Apple 提出进行 App 适配测试请求。以下是从开发者角度,新设备的关注。

WWDC 2023 开发者技术报告

本小节我讲着重关注全平台,包括 VisionOS 1, iOS 17,iPad OS 17,watchOS 10 等操作系统的最新特性。主要从开发者角度,解读这次 WWDC 中更新的重要内容。心光 App 也将支持 iOS 17 ,应用众多特性,欢迎体验。

关于 VisionOS

先说下大家关注的,其基础概念是「窗口、体和空间」。

但用户首先进入 VisionOS 中的后。默认情况下,用户的视觉出现在 Shared Space,也是公共空间中,此时类似于桌面,用户拥有众多桌面视图中的一个。当用户视觉注意,并且点击了视图后,画面会从平面转入立体,也就是从 Windows 进入 Volumes。所有的底层,和 iOS App 一致,由 SwiftUI,RealityKit 和 ARKit 三个层级构成。

若你想让你的 UI 自动从 2D 页面,转换为 3D 页面,在 Xcode 中重新编译即可。在 VisionOS 中,我们可以深度使用诸如材料,透明度,关注点等特性,来调节眼睛在 UI 中聚焦时 UI 的反馈。SwiftUI 诸如深度等修改器,负责在 3D 界面的深度。

自动视觉聚焦,RealityKit 在渲染过程中,会和 PS VR 类似,关注于重点内容聚焦。其光源特点也会继承当前外部环境的特色,支持 Material X 的各类纹理材质。


Xcode Canvas 目前完全支持 Canvas AR 预览了,也可以完全模拟 Vision Pro 设备的各种操作。

全新的 Reality Composer Pro App,是更偏向娱乐性质 Reality Composer 的升级版。可以自己调节 Shader,并且直接在 Vision Pro 中进行预览。



Swift 编程语言更新

Macros 能帮助开发者,延展 Swift 本身的语言特性。开发者可以用 Macros 来做诸如自定义 Codable 等模块,它也可以集成进入 Swift Package 中。Swift 语言同时直接支持了和 C++ 的链接,这个桥接是完全原生的,几乎不会有性能损失。

SwiftUI 特性更新

全新的 iPad 版本 Final Cut Pro 和 Logic Pro 全部都是用 SwiftUI 系的,今年新增了如下的能力。诸如动画 SF 图标、图表支持滑动、手势滑动速率等非常棒的功能。Animation Phase 能力许开发者进行不同状态间进行自动动画,只需要增加几个修改器,就能实现复杂动画啦,包括关键帧支持!关键帧甚至可以用在 Maps 等视图。

数据流动也进行了更新,今年的更新把重点放在了 @State 和 @Environment 上,其它的都用 Macro 解决了。这点可以大幅度了减轻我们在代码中,对于 EnvironmentState 和 ObjectState 的使用。

全新的 Swift Data

太强了,再也不用自己定义数据库,只需要一个 @Model 关键词即可,十分震撼。我们已经告别了复杂数据流,配合自定义 Xcode 数据库模型的时代。这些能力,也是基于 Swift Macros 在做,复杂的结构被大幅简化。

WidgetKit、AppIntents、TipKit

本次更新的 WidgetKit 能力扩展至多个平台,无论是 Mac 还是手表。Widget 本身终于不再是一个简单的视图,而是能执行一些操作了。新的架构本身的操作完全在 Widget 执行,通过合理架构实现。如下图所示,Widget 本身支持视图动画,直接在 Xcode Canvas 中预览。

新版的 AppIntent 代码更简洁,同时可以用 Siri 来进行互动。

TipKit 解决了用户指导的问题,如果用户已经学过了,就可以不显示了。如下图所示,它支持各种显示方式,同时也能比较灵活的自定义并用过 iCloud 同步。

游戏特性更新

融入了流程更新,进入 Xcode 中。这里讲的不是非常多,但主要是敲接流程改进,对于正在做游戏的小伙伴,值得关注。我个人也很好奇目前 Unity 和 Xcode 的链接,估计在 Sessions 中会展开讲解。

全新的 HDR API

现在允许开发者深度定制,修改 HDR 图片信息。对于诸如想要支持 HDR 标准的图片 App,或者摄影摄像相关的 App 很值得考虑这个新特点。

watchOS 全部用 SwiftUI 重写

又是 SwiftUI 重度应用的大年,你可以看到诸如 NavigationSplitView 的应用,也用诸如半透明材质效果,右侧小边栏按钮,半透明 Tab 视图修改器等 .tabViewStyle(.verticalPage) 。


Preview 终于不需要复杂代码了

这部分估计过去是很多开发者的噩梦,无聊重复的代码,被缩减为这一句。就可以在 Canvas 预览。

总结

总的来说,WWDC 2023 确实是我认为最近几年最令人惊喜的大会。

VisionOS 带我们进入了全新的虚拟世界,同时与发展很多年的 SwiftUI 的集成本身,让编程变得更轻松愉快。Swift 编程语言的更新、全新的 Swift Data 以及 WidgetKit、AppIntents、TipKit 的对我们开发者来说拥有很多重度减负,也解决了之前一些流程上的问题。 游戏特性更新和全新 HDR API 等更新,为特定领域的开发者提供了更多机会。

祝大家创作愉快!也祝大家和心光 AI 聊天愉快呀✨





下半部分是发布会直播中,我关于 Vision 部分的截图。

起售价 3499 美元,2024 年初发布。


全新的:视网膜验证,来保证隐私和安全。镁铝合金制造,5000 余个专利。Vision Pro~ 把显示器换成无边的大屏幕,也是 Apple 迄今为止最先进的个人设备。


visionOS 会有全新的商店,凌晨 4 点的发布会,会着重讲解。本文会持续更新。

目前已经针对一些工业、教学等领域的开发者进行测试。包括 DJ 打碟等,开发者可以使用 SwiftUI 等工具,来为 Vision Pro 打造全新的 App。所有 iOS App 都首发日支持 Vision Pro。Unity 也可以自动支持很多 Vision 的手势。



全新的 visionOS,首款彻底针对空间计算而生的系统。

为了模拟别人看到你的感觉,支持了你的数字人。在扫描后,你的数字人可以以你的形象来进行诸如视频聊天等,复刻你的动作,解决了戴着眼镜无法看到人的问题。


各种传感器和眼球追踪,来实现双手和双眼的追踪。配备双芯片,包含了 Apple M2芯片,以及一个全新的 R1 芯片,专门为处理传感器信息而生。12 摄像头 +5 传感器设计 + 6 麦克风,几乎可以毫无延迟。



micro-OLED 显示屏,2300 万像素,单眼分辨率超过 4K 。看视频的时候,可以完全以 4K 渲染,极度清晰。在音频方面,配备了全新的空间音频系统,支持个性化音效。


全新的设计,各种传感器深度集成,背后用了织物材质,整体保证轻量化的同时,也让佩戴感不捂着头,整体透气也进行了认真思考。


和迪士尼有一些列合作,刚好戴着 AirPods Pro,迪士尼这段录屏的空间音频效果十分出色。

霸王龙甚至可以直接出屏幕,这个体验确实是前所未有的,新媒介才可以呈现的方式。让人期待,人类在全新的媒介诞生的时候,能创造哪些内容。

Apple TV 等内容,也将支持 Vision Pro,感觉下图的体验场景很不错。

用来看全景图的体验太好了,让人很期待它的视角。

从产品形态上来说,还是需要一根线来接到下面的处理部分,这部分的体验还是令人好奇,到底能做到什么样的程度,比如续航和实际体验。目前来说,VR 眼镜戴久了会比较累是个比较无奈的痛点。

我突然觉得,这个方案,最需要的就是一个好屏幕了。而 Apple 的确非常非常擅长提供好屏幕!

可以看到下面的小豹子,世界和真实是完全连接在一起的,2D 3D 都可以出现在这个虚拟和现实结合的空间中。当然也完全可以用传统的键盘,这个交互和 Oculus 有些类似。


Vision Pro 和各个设备用 iCloud 同步,依旧保持和你的 Mac、手表、iPad 等设备的互联。


游戏照进现实,当你在看外面的时候,眼睛会自动漏出来。如果在看内容的时候,眼睛部分会变为屏幕显示,一个很有趣的创新。


看到的视觉元素会自动浮起,看样子眼睛下方的摄像头应该存在类似雷达的传感器。让人兴奋~

几乎提供了一个半 AR 半 AR 的体验,十分惊艳。右上角的小转盘可以调节可视角度。完全用眼睛和手来调节,不需要手柄了。


全 3D 界面,完穿透的 AR 体验。自由调节角度,位置,重新定义 UI 交互体验。

用眼睛和手来控制,十分令人期待,宣传的格调非常高!准备下单~

AR 来啦!!!Vision Pro



你好,创作者!

心光 App 体验地址:

发布于 2023-06-06 17:56・IP 属地广东
王禹效 Legolas
自由评论 (0)
分享
Copyright © 2022 GreatFire.org