Unos investigadores de Oxford logran descubrir un método para saber si ChatGPT está mintiendo
La inteligencia artificial se ha utilizado para todo tipo de tareas, sea para agilizarlas o para hacer que esta se encargue de todo, llegando a poder automatizarlas. En la actualidad hemos llegado a ver como entrenan robots con IA para que estos puedan realizar tareas de forma autónoma. Aún estamos lejos de conseguirlo, pero vemos como la IA avanza a un ritmo vertiginoso. Eso sí, aunque chatbots como ChatGPT suelen acertar en sus respuestas, ahora unos investigadores han descubierto como saber cuando está mintiendo y desvariando.
En el momento en el que OpenAI lanzó ChatGPT a finales de 2022, fue cuando todos nos dimos cuenta del potencial que ofrecía este novedoso chatbot con IA generativa. Al realizar una pregunta obteníamos una respuesta completa y llena de detalles, en lugar de limitarse a ser un chatbot conversacional como los que había hace años. Esto es lo que revolucionó totalmente el concepto que teníamos de la inteligencia artificial y en cuanto se demostró que podía atender a clientes y hacer tareas como un ser humano, empezaron a haber reemplazos de trabajadores.
Unos investigadores de la Universidad de Oxford averiguan cuando una IA como ChatGPT miente
No es como si todo el mundo haya empezado a sustituir los empleados por una IA, pero si que hemos visto que esta tendencia está yendo a más según va avanzando esta. A una empresa no le conviene tener una inteligencia artificial que cometa errores y acabe liándola con los clientes ni un usuario quiere que las respuestas sean falsas, por lo que eliminar las alucinaciones es una prioridad de OpenAI. Y es que, ChatGPT y otras IA basadas en LLM pueden responder una pregunta de forma errónea y estar totalmente seguras de que es verdad.
Esto puede deberse a que la IA se ha entrenado con información errónea o que simplemente se haya equivocado. Los investigadores de la Universidad de Oxford han descubierto una "forma relativamente sencilla" para poder averiguar si ChatGPT u otra IA miente. Todo esto se centra en las confabulaciones, cuando una inteligencia artificial da una respuesta errónea que es sensible a parámetros como "las semillas aleatorias". Primero de todo, la razón por las que las IA mienten es debido a que no se entrenan priorizando la precisión de la información, sino la cantidad de la misma.
Han desarrollado un filtro de entropía semántica que, por norma general, detecta las respuestas erróneas de las IA con mayor precisión
Hay muchísimo contenido que pasa por la IA y esto es información que se va acumulando en el modelo. Estos modelos de IA basados en LLM no tienen como objetivo responder un "no lo sé" a una pregunta, sino que lo que hacen es intentar dar una respuesta que tenga sentido con toda la información que tienen. Si preguntamos algo similar de un mismo tema, es probable que la inteligencia artificial de alguna de estas respuestas incorrectas, pues serían preguntas parecidas pero no exactamente iguales.
Lo que han hecho los investigadores es analizar varias respuestas posibles a cada pregunta, agrupándolas algorítmicamente en respuestas con un significado similar. Se considera que están en el mismo grupo semántico cuando una frase implica que otra es verdadera. No obstante, si la IA busca respuestas que pertenecen a distintos grupos semánticos (verdadero/falso), esto provoca la confabulación y, por tanto, las respuestas erróneas.
Existen herramientas de inferencia del lenguaje natural para poder determinar si dos frases están implicadas, pero se necesita un entrenamiento supervisado por humanos, ya que una IA no puede determinar realmente lo que es totalmente cierto. La idea de los investigadores es desarrollar un filtro de entropía semántica, donde se demostró que podía detectar respuestas erróneas con más facilidad.