Mô hình AI Depth Pro do nhóm Nghiên cứu học máy (MLR) của Apple phát triển có thể phân tích độ sâu 3D của ảnh 2D.
theo Nhịp đập doanh nhânmô hình Depth Pro của nhóm MLR cải thiện khả năng phân tích và xử lý thị giác máy tính từ hình ảnh hai chiều (2D) sang hình ảnh ba chiều (3D). Mô hình này có thể tạo bản đồ 3D có độ sâu 2,25 megapixel từ một bức ảnh chỉ trong 0,3 giây bằng GPU tiêu chuẩn.
Khả năng đo độ sâu 3D của hình ảnh 2D của Depth Pro có thể so sánh với các sản phẩm tương tự. hình ảnh: MLR
Các thiết bị như iPhone 16 có thể sử dụng cảm biến tích hợp để tạo bản đồ độ sâu của hình ảnh. Tuy nhiên, hầu hết các hình ảnh tĩnh được đăng tải trên Internet đều không có dữ liệu độ sâu thực tế kèm theo. Bản đồ độ sâu của hình ảnh rất hữu ích cho nhiều ứng dụng, đặc biệt là khi chỉnh sửa ảnh. Ví dụ: nếu ai đó muốn sửa chữa một vật thể hoặc thêm hiệu ứng làm mờ “thấu kính” nhân tạo vào một cảnh, bản đồ độ sâu có thể giúp phần mềm tạo các lớp chính xác.
Mô hình bản đồ độ sâu của hình ảnh còn hỗ trợ sử dụng AI để tạo ra hình ảnh, giúp tổng hợp mô hình ngôn ngữ lớn (LLM) cho ra kết quả chân thực hơn hoặc gần với kết quả yêu cầu hơn. Tuy nhiên, để đạt được mục tiêu này, các mô hình đánh giá sâu cần nhanh chóng đưa ra kết quả chính xác và có độ phân giải cao. Bản đồ độ sâu thô không có nhiều giá trị.
Nhóm MLR cho biết Depth Pro tạo ra bản đồ độ sâu hình ảnh có độ phân giải cao trong chưa đầy một giây, cho phép các hệ thống máy học khác “nhìn” từ nhiều góc độ khác nhau.
Ngoài ra, mô hình này còn hữu ích cho các ứng dụng thực tế tăng cường (AR), trong đó các vật thể ảo cần được đặt chính xác trong không gian vật lý. Depth Pro xử lý độ sâu tương đối và tuyệt đối rất tốt – một yếu tố hữu ích trong nhiều trường hợp sử dụng.
Nhóm nghiên cứu của Apple giải thích: “Mô hình của chúng tôi đánh giá chính xác độ sâu của hình ảnh mà không yêu cầu dữ liệu hình ảnh chuyên dụng, phân định ranh giới che khuất với chi tiết chưa từng có. Nó cho phép các ứng dụng tổng hợp các góc nhìn mới từ từng bức ảnh trong tự nhiên”.
Tuy nhiên, nhóm nghiên cứu thừa nhận vẫn còn một số hạn chế, chẳng hạn như khó khăn trong việc xử lý các bề mặt trong suốt và tán xạ. Người dùng hiện có thể thử nghiệm Depth Pro trên nền tảng Hugging Face. Nhóm vẫn chưa công bố kế hoạch thương mại hóa hoặc tích hợp với các ứng dụng khác của Apple.
- Apple tham gia tuân thủ các quy tắc AI an toàn
