NVIDIA frena a ChatGPT con NeMO Guardrails: medidas de seguridad para que la IA no «alucine»
La IA es imparable en todos los sentidos, pero no se la puede dejar sola, puesto que es muy peligrosa y, sobre todo, puede cometer errores muy graves. ChatGPT, como modelo de lenguaje tiene sus debilidades, las cuales ya ha visto NVIDIA, y por ello, los de Huang se han lanzado a intentar "meter en vereda" a su IA. Para ello han desarrollado una especie de herramienta de software llamada NeMO Guardrails, la cual es bastante interesante, porque según los verdes, la IA "alucina" a veces.
ChatGPT está siempre en boca de todos, está siendo estudiado en muchos países y continentes porque supone un riesgo para la privacidad, para la seguridad y encima, para la información en sí misma. Y es que, al parecer, NVIDIA ha podido auditar y ser testigo de los fallos de esta IA, ya que son sus GPU la que entrenan e infieren los LLM, saben dónde hay que mejorar.
NVIDIA ve fallos en ChatGPT y pretende acotar la inferencia de la IA
La IA de OpenAI no es perfecta, ni mucho menos, tiene mucho camino por delante, pero para avanzar también hay que ver dónde falla. Los verdes vieron que cuando se le pregunta a ChatGPT sobre un tema o algo simplemente inexistente, la IA debido a sus parámetros de entrenamiento y siendo un LLM no puede brindar respuestas precisas.
De hecho, NVIDIA alude a estos problemas, a estas respuestas, como una "ida de olla" de la IA. En concreto, se habla de que ChatGPT sufre "alucinaciones" y las respuestas entonces comienzan a ser inverosímiles, puesto que lo que hace es inventarse la información. Esto es peligroso, porque el humano que lee la respuesta puede tomarla por válida y se pueden dar casos muy complejos de gente que tome dicha respuesta como verídica, cuando es totalmente inventada.
Casos de una mala información online en webs, foros, RSS y gente haciendo estupideces con ello hay miles, por eso, NVIDIA quiere entrar en este asunto tan complejo ayudando a ChatGPT de una manera bastante peculiar.
NeMO Guardrails: las herramientas para lanzar "protecciones" a las IA
NeMO Guardrails no es más que un conjunto de herramientas, de programas y software, de código abierto que añadirán protecciones programables a cualquier sistema LLM y su IA. En otras palabras, es un cortafuegos para la IA y su modelo de aprendizaje, el cual además es configurable al gusto de la empresa.
Ejemplos prácticos para entenderlo. Tienes una IA y no quieres que hable de un tema en concreto, por la razón que sea. Ahí entra NeMO Guardrails para lograr que el modelo de aprendizaje y por consiguiente, la respuesta de la IA, no ofrezca resultados no deseables o esperados. NVIDIA lo explica así:
"NeMo Guardrails es un conjunto de herramientas de código abierto para agregar fácilmente protecciones programables a sistemas conversacionales basados en LLM. Guardrails (o "rails" para abreviar) son formas específicas de controlar la salida de un Large Language Model, como no hablar de política, responder de una manera particular a solicitudes específicas de los usuarios, seguir una ruta de diálogo predefinida, usar un estilo de lenguaje particular, extraer datos estructurados y más"
Tres tipos de límites para las IA. NVIDIA se mueve para adelantarse a los gobiernos
Es decir, puedes coartar a tu IA para que haga o responda según los parámetros que tú quieras. Imagina una IA para ayudar o responder en las webs del gobierno a los usuarios, de manera que puedan hacer trámites de forma más sencilla y online. Con NeMO Guardrails puedes programarla para que no toque ningún tema político ni responda a insultos o amenazas.
Puedes moldear a tu IA como quieras. Como siempre, quien esté detrás de esa IA será el responsable de hacia dónde va a apuntar, qué puede o no puede responder, y de qué manera. Dicho esto, NVIDIA especifica tres tipos de límites:
- Topical guardrails: evitan que las aplicaciones se desvíen hacia áreas no deseadas. Por ejemplo, impiden que los asistentes de servicio al cliente respondan preguntas sobre el clima.
- Safety guardrails: garantizan que las aplicaciones respondan con información precisa y adecuada. Pueden filtrar el lenguaje no deseado y hacer cumplir que las referencias se hagan solo a fuentes creíbles.
- Security guardrails restringen las aplicaciones para que hagan conexiones solo con aplicaciones externas de terceros que se sabe que son seguras.
Esto, precisamente, es parte del problema de ChatGPT en la UE, curiosamente, NeMO Guardrails ha salido después de que Italia bloquee la IA de OpenAI, España tenga serias dudas y Alemania haya pedido más datos acerca del modelo de aprendizaje, que cosas (gorrito de plata ON). Curioso cuanto menos.