¿Qué pasa si una IA se entrena con contenido de otras IA? El colapso

Podríamos decir que estamos en la era de la inteligencia artificial generativa, ya que con IA como Midjourney o ChatGPT, crear contenido nunca ha sido tan fácil. Con los modelos de IA actuales como GPT-4, ChatGPT nos sorprende con sus capacidades, pero esto el inicio. Ahora se ha probado a entrenar una IA usando el contenido generado por otras IA para ver que diferencia hay, comparado a entrenarlas con contenido creado por humanos.

Apenas ha pasado algo más de medio año para que ChatGPT haya logrado conquistar el mundo entero con sus bondades. Habíamos visto hasta ahora IA generativas como Stable Diffusion que nos permitían generar imágenes a partir de prompts de texto. Pero la IA de OpenAI fue un paso más allá y el hecho de que pueda resolver problemas o tareas de forma rápida y en muchos casos con un gran resultado, cambia totalmente la visión que teníamos de la inteligencia artificial.

Prueban a entrenar una IA con contenido generado por IA y ha sido un fracaso

Sin embargo, para que ChatGPT, Midjourney o Stable Diffusion hayan nacido, se han necesitado entrenar grandes modelos lingüísticos, también conocidos como LLM. Para el entrenamiento de estas IA se ha empleado contenido generado por seres humanos, de forma de que así aprendan a simular lo que hacemos y mejoren nuestros resultados. Al fin y al cabo, las IA por el momento no pueden aprender totalmente por su cuenta, de lo contrario podríamos llegar a una sociedad digna de un film de ciencia ficción.

Viendo la crítica que han recibido las IA por usar música o arte de la gente sin que estos reciban ningún tipo de compensación, unos investigadores han querido optar por probar algo nuevo. El equipo ubicado en Reino Unido y Canadá han querido probar a entrenar una IA con el contenido generado por otras IA. La conclusión que sacaron es que este tipo de entrenamiento no funciona, ya que se provocan defectos irreversibles y el modelo colapsa.

La IA aprende de manera errónea y el modelo acaba colapsando

Esta parecía ser una solución a los problemas que generan las IA generativas, en concreto, respecto al hecho de que "roben" el contenido creado por humanos. Sin embargo, entrenar una IA con contenido creado por inteligencia artificial no ha dado buenos resultados. Partiendo de que las IA no son perfectas, el contenido que crean, si bien bastante bueno, tiene errores. Esto lo hemos visto en numerosas ocasiones cuando generamos imágenes por IA y nos fijamos en que se equivocan con el número de dedos o añaden otros elementos que no deberían existir.

Imaginad entonces, que una IA aprende de este tipo de imágenes y acaba creando seres humanos o animales que no son como la vida misma. Al fin y al cabo, los seres humanos seguimos teniendo la ventaja de que el contenido que creamos llega a ser más realista, pues nos damos cuenta de detalles como estos y podemos corregirlos. El ejemplo que pusieron para compararlo es el uso de 100 imágenes de gatos para entrenar a la IA, 10 de estos con pelaje azul y 90 con pelaje amarillo.

Nosotros descartaríamos los gatos de color azul por no ser reales, pero la IA lo que hace es priorizar el color amarillo e ir iterando sobre los de color azul. Cada ciclo de entrenamiento hará que el pelaje azul vaya pasando a ser amarillo y al final el resultado no es óptimo. También se ha descubierto que si se usa un pequeño porcentaje de contenido creado por humanos y el resto por IA, el colapso del modelo sigue ocurriendo, pero de forma más lenta.