World Labs: la IA que genera un mundo en 3D explorable a partir de una única imagen en 2D
La startup de IA World Labs mostró su último trabajo: la posibilidad de crear mundos en 3D con únicamente usar una imagen en 2D. Así es, es, y es que Worlds Labs permite que cualquier persona cree mundos en 3D a partir de imágenes en 2D. Siendo lo mejor de todo que podrás moverte por este mundo.
"Hoy compartimos nuestro primer paso hacia la inteligencia espacial: un sistema de IA que genera mundos 3D a partir de una sola imagen. Esto te permite entrar en cualquier imagen y explorarla en 3D".
Así se ve la tecnología "Worlds" de World Labs que crea un mundo en 3D con una imagen en 2D
We’ve been busy building an AI system to generate 3D worlds from a single image. Check out some early results on our site, where you can interact with our scenes directly in the browser!https://t.co/ASD6ZHMwxI
1/n pic.twitter.com/tuvGXHmepP
— World Labs (@theworldlabs) December 2, 2024
Este vídeo es un pequeño ejemplo de lo que World Labs puede hacer. Primero termina de leer el artículo, pero en la web de World Labs tienes unos ejemplos prácticos de como funciona la tecnología. Baja un poco, y podrás explorar mundos que han sido generados por medio de una simple imagen en 2D. El recorrido es muy limitado, pero son los primeros pasos de esta tecnología.
World Labs pretende resolver los problemas a los que se enfrentan muchos creadores con los modelos genAI existentes: la falta de control y coherencia. Dada una imagen de entrada, nuestro sistema estima la geometría en 3D, rellena partes de la escena que no se ven, inventa nuevos contenidos para que puedas girarte y generaliza a una amplia variedad de tipos de escenas y estilos artísticos.
Nuestras escenas 3D de salida pueden renderizarse en tiempo real en el navegador con control total de la cámara. Esto significa que puede explorarlas con una cámara que se mueve libremente como en un videojuego, o incluso simular efectos de cámara 3D como la poca profundidad de campo o el zoom dolly.
La mayoría de los modelos generativos predicen píxeles. En cambio, predecir una escena 3D tiene muchas ventajas: la escena no cambiará si miras a otro lado y vuelves, y obedece a las reglas físicas básicas de la geometría 3D. La forma más sencilla de visualizar la escena 3D es un mapa de profundidad, en el que cada píxel se colorea según su distancia a la cámara.
La generación de una geometría 3D coherente nos permite interactuar con la escena de formas 3D, como cambiar la iluminación y el aspecto de la escena, modificar la geometría o insertar otros objetos en la escena. También nos divertimos echando un vistazo a los mundos que se esconden detrás de algunas obras maestras de la creación, como el barrio que rodea la cafetería en el emblemático cuadro de Edward Hopper «Nighthawks» (Halcones nocturnos).
Estas imágenes en 3D se pueden modificar con efectos de cámara o efectos en 3D
Las imágenes en 3D generadas por World Labs pueden ser modificadas con efectos de cámara. Puedes simular una profundidad de campo, o logra efectos fotográficos artísticos. Los efectos 3D permiten añadir la "realidad persistente". A diferencia de otras tecnologías de IA, todo lo que veas seguirá estando ahí aunque no lo mires. Las IA existentes no son capaces de tener esta capacidad. Por lo que todo cambiará a tu alrededor cuando dejes de mirarlo. También podrás moverte por ella en tiempo en real, y se aplican las reglas físicas básicas que obedecen a la geometría 3D.
La startup World Labs fue fundada Fei-Fei Li, una reconocida científica informática y pionera de la inteligencia artificial. El sistema forma parte de una tendencia emergente de modelos de mundos de inteligencia artificial que pueden estimar un entorno y construir una representación del mismo.
El video mostrado arriba ofrece capacidades algo más avanzadas a las demos actuales. Por lo que están avanzando en que esas imágenes en 2D realmente sirvan para crear un completo mundo en 3D que además puedes moverte con el con suma libertad. Ya que todo este mundo se está generando por IA en tiempo real.
"Estos resultados son nuestro primer avance en la generación de mundos 3D. Estamos trabajando duro para mejorar el tamaño y la fidelidad de nuestros mundos generados, y experimentando con nuevas formas de que los usuarios interactúen con ellos". Afirmó World Labs.