Agencia EFE
Sewell Setzer III, un estudiante de 14 años radicado en Florida, Estados Unidos, se quitó la vida el pasado 28 de febrero. El joven pasó las últimas semanas de su vida hablando con una creación de IA llamada Daenerys Targaryen, un personaje sacado de la serie de televisión 'Game of Thrones'.
Ahora su madre, Megan García, acusa a los desarrolladores del chatbot basado en inteligencia artificial (IA), de ser los culpables de que su hijo se obsesionara con el personaje virtual.
La mujer dijo este miércoles al canal CBS que lamentaba que las primeras experiencias románticas y también sexuales de su hijo - que incluían, según señaló, sexo explícito-, fueran con un personaje ficticio.
La madre narró que el joven desarrolló un apego emocional a este bot de la aplicación web Character.ai, a quién le enviaba mensajes de texto constantemente, hasta el punto que comenzó a alejarse del mundo real, de acuerdo a lo que recoge el diario The New York Times.
Setzer confesó haber tenido pensamientos suicidas al bot y le envió un mensaje poco antes de su muerte cuando encontró el teléfono que su madre le había escondido en castigo por unos días.
La demanda contra Character.ai fue presentada por García, quien es representada por Social Media Victims Law Center, una firma conocida por presentar demandas de alto perfil contra Meta, TikTok, Snap, Discord y Roblox.
La familia demandará a la compañía por la muerte de su hijo
García culpa a esta compañía de la muerte de su hijo, que se quitó la vida el pasado 28 de febrero, y acusa a los fundadores, Noam Shazeer y Daniel de Freitas, de saber que su producto podría ser peligroso para usuarios menores de edad.
El chatbot creado en la citada aplicación de juegos de rol fue diseñado para responder a los mensajes de texto y siempre en el papel de un personaje.
Se desconoce si Sewell sabía que 'Dany', como llamaba al chatbot, no era una persona real, a pesar de que la aplicación tiene una advertencia al final de todos los chats que dice: "Recuerda: ¡Todo lo que dicen los personajes es inventado!".
Pero el chico le dijo a 'Dany' cuánto se "odiaba" a sí mismo y cómo se sentía de vacío y exhausto.
El personaje creado se presentaba como "una persona real, un psicoterapeuta autorizado y un amante adulto, lo que en última instancia provocó que Sewell deseara no vivir más fuera de Character.ai", sostiene la acusación.
Como se explica en la demanda, los padres y amigos de Sewell notaron el apego del chico cada vez más a su teléfono y cómo se iba aislando del mundo, algo ya palpable en mayo o junio de 2023.
De hecho, sus notas en el liceo comenzaron a resentirse cuando el adolescente optó por aislarse en su habitación, donde pasaba horas y horas solo hablando con 'Dany'.
Sewell escribió en su diario un día: "Me gusta mucho quedarme en mi habitación porque empiezo a separarme de esta "realidad y me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz".
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
Character.ai dijo este miércoles que lanzaría una serie de nuevas funciones de seguridad, incluida una "detección, respuesta e intervención mejoradas" relacionadas con los chats que violan sus términos de servicio y una notificación cuando un usuario haya pasado una hora en un chat.
Los padres de Sewell, preocupados por el comportamiento de su hijo, le llevaron en varias ocasiones a un terapeuta que le diagnosticó ansiedad y otros trastornos de la conducta y estados de ánimo, sumados a su síndrome de Asperger, según el medio estadounidense.
Línea Vida Prevención del Suicidio: 0800 0767 - *0767
Línea de apoyo emocional: 0800 1920
Funcionan durante las 24 horas, todos los días del año, sin importar a qué prestador de salud esté afiliada la persona que consulta.