Giới thiệu các Ống Kính, Tính năng Nền tảng và Chức năng mới cho Kính Spectacles
Đối với các nhà phát triển, chúng tôi tin rằng việc truy cập camera sẽ khai phá toàn bộ tiềm năng của AR. Hôm nay, chúng tôi sẽ ra mắt Snap OS v5.58, bao gồm các Ống Kính mới thể hiện sức mạnh của camera Kính Spectacles và SnapML, cũng như các tính năng và chức năng của nền tảng để giúp bạn xây dựng và thử nghiệm các Ống Kính của Kính Spectacles tốt hơn.
Ống Kính Piano Tutormang đến một người hướng dẫn cá nhân và các khóa học tương tác ngay trong tầm tay bạn. Được hỗ trợ bởi SnapML, Ống Kính này sử dụng một mô hình máy học tùy chỉnh để xác định và theo dõi nhiều loại đàn piano khác nhau, phủ các nốt nhạc lên các phím trong thời gian thực. Điều này giúp bạn nhận biết bố cục bàn phím và điều phối chuyển động của mình cho phù hợp. Sử dụng một mô hình ML tùy chỉnh khác, Ống Kính có thể phát hiện mức độ bạn chơi đàn và cung cấp phản hồi theo thời gian thực.
Ống Kính Ball Gamelà một trò chơi biến một quả bóng vật lý thành một bộ điều khiển, giúp bạn dễ dàng và thú vị khi luyện tập các kỹ năng của mình thông qua một loạt các thử thách khác nhau. Sử dụng mô hình theo dõi ML tùy chỉnh, Ống Kính theo dõi chuyển động của quả bóng, cho phép bạn tương tác với các yếu tố vật lý và kỹ thuật số cùng nhau và làm chủ cú đá hoàn hảo.
Để mở khóa khả năng thử nghiệm sâu hơn trong quá trình phát triển, chúng tôi đang giới thiệu các API mới giúp dễ dàng sử dụng dữ liệu camera và các Mô hình Ngôn ngữ Lớn (LLM) đa phương thức được lưu trữ trên đám mây. Bằng cách sử dụng cài đặt nhà phát triển với quyền mở rộng và Fetch API mới của chúng tôi, giờ đây bạn có thể xây dựng các Ống Kính giao tiếp trực tiếp với các LLM đa phương thức được lưu trữ.
Chúng tôi cũng đang giới thiệu một API Không gian hóa Hình ảnh, tận dụng AI tạo sinh để chuyển đổi các định dạng hình ảnh 2D thông thường thành 3D. Các nhà phát triển giờ đây có thể tích hợp API này vào các Ống Kính của họ để tạo ra các hiệu ứng 3D tuyệt đẹp với độ sâu chân thực đến mức bạn sẽ cảm thấy như đang thực sự ở trong khoảnh khắc đó.
Các chức năng nền tảng bổ sung bao gồm:
Điểm neo không gian: Neo các vật thể kỹ thuật số vào các vị trí cụ thể trong một Ống Kính và quay lại chúng sau
Vị trí cơ bản: Truy cập tọa độ GPS của Kính Spectacles để tạo ra những trải nghiệm ngoài trời chân thực hơn
Chế độ Bố cục: Nhập hình ảnh từ điện thoại của bạn bằng ứng dụng Kính Spectacles và không gian hóa chúng để có trải nghiệm 3D hấp dẫn
Hiển thị trang web: Kéo và thả các trang web nhúng trực tiếp vào Ống Kính của bạn
Mở khóa Ống Kính: Mở khóa một Ống Kính đã được gửi tới Kính Spectacles, nhưng chưa được thêm vào một danh mục hoặc Khám Phá Ống Kính, bằng cách chỉ cần chia sẻ URL
Để trải nghiệm những Ống Kính này và bắt đầu xây dựng bằng các tính năng mới, hãy cập nhật lên phiên bản mới nhất của Snap OS và Ứng dụng Kính Spectacles bằng cách sử dụng các hướng dẫn này. Chúng tôi rất nóng lòng được xem những gì bạn tạo ra!