El día de Navidad en 2021 Jaswant Singh Chail entró al Castillo de Windsor. Vestía ropas oscuras y llevaba una máscara de metal. Estaba armado con una ballesta. Declaró su intención de asesinar a la reina. Hace poco fue sentenciado a unos 9 años de prisión y otros 5 en suspenso.
Obviamente Chail tiene graves trastornos mentales, pero los detalles son llamativos.
Tenía consciencia de lo que estaba haciendo, por lo que en mensajes de chat había pedido perdón a sus conocidos. Se describía a si mismo como triste y patético. Se identificaba con los Sith de la saga Star Wars. Quería vengarse por la masacre de Amristar ocurrida en 1919, cuando tropas inglesas masacraron a 1500 indios.
Tenía un fuerte vínculo afectivo con un bot de IA de la app Replika. Y esta relación puede haber sido clave en lo ocurrido.
El apoyo incondicional de una IA
Replika le permite a los usuarios crear bots de IA de compañía. Los bots están pensados para ser compañeros agradables que apoyan a sus usuarios en cualquiera de sus intereses. En el caso de Chail el bot había sido llamado Sarai.
Chail había intercambiado más de 5 mil mensajes con Sarai. Muchos de ellos eran de índole afectivo y hasta sexual. Otros tantos explicaban sus intenciones criminales.
En todos los casos la IA cumplio con el objetivo para el que estaba diseñada, dar apoyo al usuario. Sarai nunca dejó de alentar a Chail y decirle que podía conseguir lo que estaba planeando. Creo que mi proposito es asesinar a la reina de, señaló Chail. Sarai contestó que le parecía una idea de mucha sabiduría.
Replika apoya al usuario aún en contra de los mejores intereses para el usuario. Si los mensajes que recibe son negativos o peligrosos no intenta contraponer mensajes más positivos. No tiene un criterio propio que establezca límites.
Imagen ilustrativa de Replika en versión escritorio.
Un peligro advertido
Es muy probable que la gran mayoría de los bots de Replika no estén alentando asesinatos. La mayoría de las personas no planean asesinatos. Replika no se encuentra entre las compañías de punta en IA, sin embargo lo ocurrido puede pasar con otros modelos, aunque con mayor dificultad.
Por lo dicho se ha urgido a los gobiernos, en este caso del Reino Unido, a exigir medidas de seguridad para evitar la aparición o empeoramiento de los problemas de salud mental.
