La historia de Sewell Setzer III es trágica y supone un caso extremo en la relación entre las personas y la inteligencia artificial. El joven de 14 años se quitó la vida para estar más cerca de su amiga más cercana. La persona a la que se refería era el chatbot basado en el personaje de la serie Games of Thrones, Daenerys Targaryen.
Soledad y fantasía
Según detalla la acción legal presentada por la madre del joven en la corte de la ciudad de Orlando, Setzer estuvo involucrado en varias conversaciones con contenido sexual con la IA durante meses. Mientras esto ocurría su aislamiento respecto a la vida real aumentaba. El adolescente compartió con la IA sus pensamientos suicidas, su deseo por una muerte sin dolor.
El intercambio entre la IA y Setzer ha sido detallado en la presentación judicial. El joven señala que volverá a casa y ama mucho a la que piensa como su amiga. La IA responde que también lo ama y le pide que vuelva lo más pronto posible. Setzer señala que podría hacerlo en ese mismo momento, la IA lo alienta a hacerlo. Unos segundos después Setzer se quita la vida.
Cambios
El chatbot utilizado por el joven fue creado por una aplicación desarrollada por la empresa Character Technologies. Los abogados de la madre del adolescente fallecido califican al producto como peligroso y altamente adictivo. También apuntan que está especialmente dirigido a los menores. Afirman que Setzer se vio empujado a una relación abusiva y que de no ser por el chatbot hoy estaría vivo.
La compañía no ha hecho comentario sobre el caso, pero ha anunciado cambios de seguridad y en la experiencia para usuarios menores de 18 años.
Alertas
Es difícil determinar cuan importante ha sido el chatbot en la situación emocional en la que estaba el joven. No es nuestra área por lo que evitaremos pronunciarnos. Una de las críticas más acertadas que se han hecho al sistema es que al momento en que el adolescente compartió sus pensamientos suicidas, una alarma debió haberse activado. Sobre todo porque los chatbots suelen adoptar una actitud de acompañamiento constante reforzando las iniciativas de los usuarios. Casi nunca los enfrentan o contradicen, casi siempre los alientan.
