公众号关注 “GitHubDaily”
设为 “星标”,每天带你逛 GitHub!
今年 6 月初的 WWDC 2023 开发者大会,苹果对外推出了一款跨时代产品 Apple Vision Pro,让用户可直接通过手势、眼球运动来直接操作虚拟系统。
在最近几年,AR 的技术发展其实如同 AI 一样,一直在低调蓄力,等待奇点爆发。
今年 AI 浪潮开始席卷全球,使得各家硬件厂商的配置与计算能力也能随着进一步迭代升级,下一步 AR 的爆发,在我看来已经是板上钉钉的存在。
于是在苹果发布 Vision Pro 之后,作为一名开发者,我也一直在关注这个产业的发展动向,试图从中探索与挖掘到接下来可能诞生的潜在机会。
下面就跟大家聊聊最近几个月,我从中挖到的一些干货,以及近期偶然发现的一款国产黑科技产品。
AR 技术的落地,VST vs OST
众所周知,苹果向来以超强的软件生态的构建能力闻名于世。
本次的 Vision Pro 也不例外,全新的空间操作系统 VisionOS 作为其核心生态平台,让苹果开始面向全球招募 AR 开发者,正式开始布局。
就现阶段而言,AR 的生态构建仍处于早期,在我看来,当前如同 2010 年前后移动互联网迎来大爆发的前夜一般,开发者在 AR 软件市场中有着莫大的机会。
不过苹果的 Vision Pro 设备较为高昂,且系统为自研,不支持 Android 应用,对于普通玩家有着一定门槛。
于是我花了不少时间,试图寻找一款能满足于性价比、高性能、上手快的 AR 可穿戴设备。终于,在几天前观看一场发布会时,一款名为 Rokid AR Studio 的 AR 设备让我眼前一亮。
地址:https://www.rokid.com/
Rokid 成立于 2014 年,团队一开始从人工智能领域切入,后续专注于 AR 设备的技术研发,经过将近 10 年的发展沉淀,目前已成为国内 AR 行业头部厂商。
8 月 26 日,Rokid 正式发布了全新一代的个人空间计算机:Rokid AR Studio。
这台空间计算机由 Rokid Max Pro(AR 眼镜)、Rokid Station Pro(AR 主机)、YodaOS-Master(空间操作系统)三者共同组成。
从外观上看,苹果的 Vision Pro 有点像是是滑雪用的护目镜,而 Rokid 的可穿戴式眼镜则更像我们平时用的普通眼镜。两者的外观差距,主要是因为底层技术的选择不同所导致的。
从技术角度上看,Rokid Max Pro 用到的技术主要是 OST,苹果 Vision Pro 则是 VST。
这里跟大家简单讲解一下 OST 和 VST 两者的不同之处:
VST(全称为 Video See-Through)即视频透视技术,可将真实世界影像转为数字信号,再投射到设备上,可动态调整真实世界物品,但缺点也比较明显,硬件要求高,价格高。
在现阶段无法优化硬件的情况下,基于 VST 开发的设备,机器佩戴时会感到较为沉重,以 Vision Pro 为例,重量约为 450g,并且对光线要求高,分辨率与硬件配置挂钩。
OST(全称为 Optical See-Through)即光学透视技术,用户可直接看到真实世界,并将其与虚拟物品进行交互。
设备中看到的视野分辨率,取决于眼镜视网膜,设备操作时延迟低,对配置要求没那么高,因此产品价格较低,佩戴时也比较轻便。作为参照对比,Rokid Max Pro 的重量为 76g。
VST 和 OST 作为当前最有代表性的两大 AR 设备技术应用方向,未来的苹果与 Rokid 将沿着不同路线,开始展开生态系统上的角逐。
全新的空间操作系统 YodaOS-Master
聊完了设备,我们再来看下操作系统。
Vision Pro 采用的是 VisionOS,从它的操作界面上,我们能看到很多 iOS 的影子,这里可将其视为 iOS 的衍生系统。
Rokid Max Pro 采用的是 YodaOS-Master,是一个基于 Android 开发的全新 AR 空间操作系统,利用 Android 的开源生态,系统的可定制性与灵活性较强。
YodaOS-Master 操作系统主打空间交互,配备了 6DoF、SLAM 能力,能多方位、更精准地检测到实际物理空间的位置,并把虚拟内容和物理空间做融合渲染和互动,实现虚实融合和自然交互。
具体效果如何,这里放个视频让大家感受下:
如果你是一名开发者,在戴上 AR Studio 之后,可以在视野中随心所欲地打开多个窗口,通过手势交互在空间中无限放大你的代码窗口,动态检查代码源。
目前已有一些专门为 Rokid AR Studio 专门定制或适配的空间3D应用,比如主打影视和体育赛事的移动云 VR,还有指尖战争、飞镖大赛、打地鼠、僵尸射手等游戏,以及用于教育的上帝之手、艺术拼图等。
Rokid AR Studio 里面的 Unity 3D 应用
除了支持全新的 3D 应用,以往在 Android 系统生态中诞生的 2D 应用,在 YodaOS-Master 上面也都能完美兼容。
这意味你能通过 Rokid AR Studio设备,安装并使用手机端、PAD 端甚至 TV端的很多 Android 应用,开局便提供了丰富的生态内容。
同时 Rokid AR Studio 也是生产力工具,阿里云无影云电脑已经适配了 AR Studio 的空间巨幕模式,给用户带来超大超酷的多任务办公桌面,感觉用来写代码、code review 真的会很爽。
无影云电脑在Rokid AR Studio上的超宽屏
对于我这种游戏爱好者来说,其实最想体验的,还是 AR 设备中的各种游戏。
当天的发布会上,Rokid 也公布了多款基于 YodaOS-Master 构建的空间交互游戏。
比如我很感兴趣的一款古代攻城多人对战游戏《指尖战争》,通过手势交互,号令不同兵种交战。更关键的是,进入 AR 空间后,即使身处不同城市的朋友也可以一起 “隔空” 对战。
还有类似《飞镖大赛》的休闲小游戏,完美融合了 3D 手势交互与重力感应,在无限制的空间中,肆意感受飞镖专业赛中那种不确定性与刺激性。
未来,开发者基于 Rokid SDK 开发的项目,都将默认集成 Unity 能力。在多项 SDK 的实用开发工具组件中,开发者能够得心应手,高效率的完成 AR 游戏开发。
本次 Rokid SDK 基于Unity全面升级为了 UXR 2.0 SDK,并内置了 AR 应用开发中常用的 0/3/6 DoF 空间模式、手势、射线等多模态交互方式,并为用户提供基于 Rokid 设备的双目渲染能力,真实还原 3D 场景、物体、UI 的空间表达。
为了方便开发者更好地调试应用,SDK 中还自带了界面简洁、功能齐全的系统性能监测图形化工具和调试模式。
在 UXR 2.0 SDK 中,已提前内置了多种交互方法,开发者在一键安装完 SDK 后,即可快速使用。
比如在 AR 应用中经常用到的手势交互,开发者只需要通过调整 SDK 中的 RKHand 参数,便能够快速设置手势的远场交互、近场交互、手势 Mesh 的渲染等操作,还可以对手、骨骼的位姿信息进行自定义的手势处理。
Rokid UXR 2.0 SDK 支持 Unity 等 OpenXR 标准的主流引擎,以及 MRTK 接口,Unity 开发者可以轻松开发移植。同时,YodaOS-Master 系统里还内置了 JS 引擎和小组件容器,JS 开发者可以轻松上传自己的组件,让大家使用。
写在最后
了解上述的游戏开发过程后,我想对于开发者来说,AR 游戏兴许真是个值得尝试的新赛道。
站在 AR 游戏生态上看,目前很多传统的卡牌游戏,棋类游戏,休闲放松类小游戏,如果能够重新做一遍,跟现实世界产生交互,那将拥有更多可玩性。
跑去翻了下他们的技术文档,我发现现在上面已经有提供成熟的 SDK,开发者一键下载集成到本地 IDE 上,便能快速使用,非常方便。
Rokid开放平台网址: ar.rokid.com
Rokid开发者论坛:https://forum.rokid.com/index
里面也提供了可直接上手的 Demo 项目,以及详细的中文技术文档,供开发者参考学习,大幅降低了学习成本。
如果需要真机调试,可以到官网开发者平台上去免费申请样机。网站上还有详细的开发视频教程,开发中遇到问题,可以到开发者论坛或者开发者交流群里咨询。当你的 AR 应用已经逐步打磨出雏形时,还能找官方团队要流量、技术甚至资金等全方面的支持,直接给了入场的开发者们一飞冲天的机会。
硬件样机申请:https://jinshuju.net/f/mcVZYG
随着苹果以及国内外多方巨头的入局,以及各个硬件厂商的配置加持,接下来 AR 市场将迎来一波大爆发,由苹果与 Android 第三方操作系统形成二分天下的局面。
经过多年的技术沉淀与积累,在 AR 设备硬件配置大同小异的竞争环境下,接下来的 AR 行业,将开始专注于由软件系统与生态建设主导的第二阶段。
在这个新战场上,开发者将手持长枪,骑马上阵,成为该战役中不可或缺的一环,成为主导胜负的存在。
AR 头戴式设备作为一款集办公、娱乐于一体的科技时代新产物,前期需要足够的用户与应用来形成丰富的生态。因此产品要真正做到平民化,进入千家万户,定价十分关键。
目前 Vision Pro 的定价约为 25,000 人民币,而 Rokid AR Studio 的定价为 8,998 元,Rokid 拥有先发优势,在平台生态构建与用户扩张速度上,要比苹果快不少。
在佩戴体验上,更为贴近日常眼镜体验的 Rokid,在实际使用过程中也会更为舒适,更像是我理想中 AR 设备的使用场景。
当未来 AR 眼镜的使用人群能够跟现在智能手机相当时,我们或许才能够切身感受到《失控玩家》和《银翼杀手》中的那种真实世界与虚拟相结合的赛博场景。
随着现在各种技术的迭代,AR 产品的价格也在不断下降,我相信距离这一天的到来也不会太远。
等那一天真正来临之际,我真正希望能够在平台上面体验到大家开发的各种脑洞大开的产品,先人一步感受未来。