Neuralangelo là một mô hình AI, cho phép chuyển đổi các video clip 2D thành những cấu trúc 3D chi tiết. Mô hình sử dụng các mạng thần kinh để tái tạo 3D, cung cấp các bản sao ảo giống như thật của tác phẩm điêu khắc, công trình xây dựng, tòa nhà và các vật thể trong thế giới thực khác.
Tên gọi Neuralangelo là một bài thơ ca ngợi nhà điêu khắc và họa sĩ nổi tiếng nhất thế giới Michelangelo, được biết đến với tác phẩm điêu khắc David thời Phục hưng, bức vẽ trần nhà nguyện Sistine và nhiều kiệt tác nghệ thuật khác.
Trong bản demo được giới thiệu, Neuralangelo tái tạo các vật thể mang tính biểu tượng như tượng David của Michelangelo và phổ biến như một chiếc xe tải ảnh 2D.
Mô hình AI Neuralangelo là sản phẩm của một nghiên cứu được thực hiện với sự phối hợp của nhóm nghiên cứu NVIDIA và các nhà khoa học trẻ thuộc Đại học Johns Hopkins ở Maryland, Mỹ.
Neuralangelo là một trong gần 30 dự án của NVIDIA Research, sẽ được trình bày tại Hội nghị về Thị giác máy tính và Nhận dạng mẫu (CVPR), diễn ra từ ngày 18 đến 22/6 tại Vancouver. Công ty trong một bài viết trên blog cho biết, các báo cáo sẽ bao gồm những chủ đề như ước tính tư thế, tái tạo cấu trúc 3D và tạo dựng video.
Phương thức hoạt động là mô hình do AI hỗ trợ sẽ quan sát độ sâu, hình dạng và kích thước của các nhân vật hoặc đối tượng trong video 2D từ nhiều góc độ. Đầu tiên, Neuralangelo sẽ tạo một bản mô tả 3D ban đầu của khung cảnh, sau đó sẽ tối ưu hóa mô hình 3D dựa trên phân tích góc chiếu ánh sáng, độ sâu để làm rõ nét và phù hợp các chi tiết và kết cấu phức tạp.
Sau đó, các chuyên gia sáng tạo có thể sử dụng kết quả mô hình 3D trong thiết kế các ứng dụng, chỉnh sửa mô hình để sử dụng trong các sản phẩm nghệ thuật sáng tạo, phát triển trò chơi điện tử và tạo môi trường đào tạo người máy, công ty cho biết trong một bài viết trên blog. Mô hình AI cũng trang bị cho người dùng khả năng tạo bản sao kỹ thuật số thế giới thực bằng phương pháp sử dụng các thiết bị di động thông thường như camera điện thoại thông minh hoặc camera kỹ thuật số mà không phải xây dựng một mô hình 3D với phần mềm chuyên dụng và trình độ đồ họa cao cấp.
Nhiều người đang đặt câu hỏi, những ứng dụng công nghệ này có ý nghĩa gì đối với ngành công nghiệp games 3D, trong đó bộ card đồ họa của Nvidia đang dẫn đầu. Công ty gần đây đã ra mắt card đồ họa Nvidia RTX 4060 Ti mới, bản nâng cấp tiếp theo của RTX 4070.
Ming-Yu Liu, giám đốc nghiên cứu cao cấp và đồng tác giả của bài viết trên blog cho biết: “Khả năng tái tạo 3D mà Neuralangelo cung cấp sẽ mang lại lợi ích to lớn cho nhà sáng tạo, giúp người dùng tái tạo thế giới thực trong thế giới kỹ thuật số.”
“Công cụ này trong tương lai, với sự phát triển mạnh mẽ của AI sẽ cho phép các nhà phát triển nhập các đối tượng chi tiết, dù là những bức tượng nhỏ hay tòa nhà đồ sộ vào môi trường ảo cho trò chơi điện tử hoặc phát triển cặp song sinh kỹ thuật số công nghiệp.”
Như một người dùng Twitter đã mô tả, mô hình AI là “phép quang trắc ảnh trên Máy học”, những phương pháp tái tạo bề mặt thần kinh được sử dụng trong Neuralangelo đã cho thấy tiềm năng vượt qua những quan sát mơ hồ như những vùng lớn có màu đồng nhất, các mẫu kết cấu lặp đi lặp lại hoặc những biến thể màu mạnh. Phép quang trắc ảnh là một kỹ thuật sử dụng ảnh làm phương tiện để đo các đối tượng vật lý.
Khái niệm công nghệ quang trắc ảnh và mô hình AI của Neuralangelo không phải là mới. Nghiên cứu của NVIDIA năm 2022 đã tạo ra mô hình NVIDIA 3D MoMa, cho phép các kiến trúc sư, nhà thiết kế và nhà phát triển games chụp ảnh đối tượng, tạo dựng mô hình 3D, sau đó nhập các đối tượng vào một công cụ đồ họa để thực hiện các thao tác kỹ thuật số.
Theo Interesting Engineering
