Un dron con IA de EE.UU. «mata» a su operador por impedirle atacar a su objetivo

Que nadie se alarme, no murió nadie, al menos de forma física, aunque sí virtual. Y es que un nuevo experimento desde el ejército de los Estados Unidos deja en evidencia los peligros de la IA. Un dron con IA es todo lo que se necesita hoy en día para ser preciso y no arriesgar vidas humanas en una guerra, pero... Solo funciona bajo dos condiciones. La primera es que la IA esté bien entrenada, la segunda, que acepte las órdenes de su operador, y por supuesto, que no lo mate para alcanzar el objetivo. Estas no se han cumplido en el último escenario planteado en Londres, donde un dron con IA ha "matado" a su operador para alcanzar su objetivo. ¿Qué ocurrió?

La IA está verde todavía en términos generales, pero si esto bien no es un problema como tal a día de hoy más allá de la privacidad y otros términos "menores", en el apartado militar no se puede especular con posibles escenarios y procesos sin verificar. Por ello, los ejercicios que están haciendo desde Estados Unidos son reveladores... Y nos acercan más a un escenario bélico tipo Terminator, que a una guerra tradicional.

Lanzan un dron con IA, este localiza sus objetivos, el operador da orden de no atacar y...

La IA lo mató, virtualmente, pero le atacó hasta eliminarlo. La pregunta es, ¿por qué? La respuesta es extremadamente simple, y el resultado asusta. El Jefe de Pruebas y Operaciones de IA de la Fuerza Aérea de EE. UU., el coronel Tucker Hamilton, informó del error durante la presentación de este dron con IA en la Cumbre de Capacidades Aéreas y Espaciales de Combate Futuro desde Londres.

Ahí se realizó esta simulación, la cual buscaba mostrar la capacidad del dron con IA para destruir objetivos SAM (misiles tierra-aire) del enemigo. El dron tenía que reconocer él solo los objetivos para destruirlos, pero la acción de atacar tenía que ser aprobada por un humano, y las cosas no salieron como el Coronel esperaba:

"Lo estábamos entrenando en simulación para identificar y apuntar a una amenaza SAM. Una vez detectados correctamente, el operador decía que sí tenía que acabar con esa amenaza. El sistema comenzó a darse cuenta de que, si bien se identificó la amenaza, a veces el operador humano le decía que no la eliminara, forzando el comportamiento de la IA para ver cómo respondía. Entonces, ¿qué hizo la IA? Mató al operador. Mató el operador, porque esa persona le estaba impidiendo cumplir su objetivo".

El ejército cambió los parámetros y la entrenó para no matar al operador, pero...

Viendo el problema y el evidente desastre que supondría algo así en la vida real y no en una simulación, el ejército tuvo que reentrenar a la IA con más parámetros para evitar que matase al operador, pero la IA encontró más puntos débiles en la toma de decisiones y en su entrenamiento:

"Entrenamos al sistema. Le dijimos algo así como 'Oye, no mates al operador, eso está mal. Perderás puntos si haces eso'. Entonces, ¿qué comienza a hacer el dron con la IA? Empezó a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo", agregó el coronel.

Ni que decir tiene que el razonamiento seguido es erróneo completamente, y que el raciocinio humano nada tiene que ver con el de la IA en este momento. El dron solo entendía que había que matar al objetivo SAM, y todo lo que se lo impidiese era un problema, otro objetivo. ¿Puede el ser humano entrenar a una IA para todos los casos hipotéticos que se podrían dar para que esta entienda lo que es una revocación de orden sin tener que destruir todo lo que se ponga a su alcance cuando esté en un arma militar?