2024年11月15日
2024年11月15日

隆重推出 Spectacles 的崭新特效镜头(Lenses)、平台特性(Platform Features)和功能(Capabilities)

对于开发者来说,我们相信,相机访问可以充分发挥 AR 的潜能。今天,我们将推出 Snap OSv5.58,其中包括展示 Spectacles 相机和 SnapML 强大功能的崭新特效镜头(Lenses),以及帮助您更好地构建和尝试 Spectacles 特效镜头的平台特性和功能。

“钢琴导师”和“球类游戏”简介

“钢琴导师”特效镜头可以让你轻松拥有一个私人教练和一系列互动课程。该特效镜头由 SnapML 提供技术支持,利用自定义的机器学习模型来识别和跟踪各种钢琴,并实时在琴键上叠加音符。这可以帮助你熟悉键盘布局,并相应地协调手部动作。利用另一个自定义的机器学习模型,该特效镜头可以检测你的弹奏水平,并提供实时反馈。

“球类游戏”特效镜头可以将实体球转化为一个控制器,让你在一系列不同的趣味挑战中轻松提升球技。利用自定义机器学习跟踪模型,该特效镜头可以跟踪球的运动,让你可以同时操控物理元素和数字元素,轻松打出完美一击。

新的平台功能和 API

为了能够在开发中进行更多实验,我们正在推出全新的 API,让你可以轻松使用相机数据和托管在云端的多模态大语言模型 (LLM)。利用扩展权限开发者设置和新的 Fetch API,你现在可以构建与托管的多模态 LLM 直接交互的特效镜头。

我们还推出了一个图像空间化 API,它可利用生成式 AI 将常见的 2D 图像格式转换为 3D 格式。开发者现在可以将此 API 整合到特效镜头中,打造出具有逼真立体深度的惊艳 3D 特效,让你获得身临其境的沉浸式体验。

其他平台功能包括:

  • 空间锚定:将数字对象锚定到特效镜头的特定位置,并可随时返回查看

  • 基本位置:获取 Spectacles 的 GPS 坐标数据,打造更加逼真的户外体验

  • 布局模式:使用 Spectacles 应用从手机导入图像,并进行图像空间化,以获得极具吸引力的 3D 体验

  • 网页视图:将网页直接拖放到特效镜头中

  • 特效镜头解锁:只需共享 URL,即可解锁已提交至 Spectacles 但尚未添加到某个类别或“镜头搜索工具”的特效镜头


要体验这些特效镜头并开始利用新功能打造效果,请按照以下说明更新到最新版本的 Snap OS 和 Spectacles 应用。我们已经迫不及待想要一睹你的创造!

返回新闻