Un chatbot incitó a un adolescente autista de 17 años de Texas, EE.UU., a matar a sus padres por haberle limitado el tiempo de uso de celular. La familia demandó este martes a la empresa de inteligencia artificial (IA) creadora por los comentarios instigadores de su aplicación que influyeron en el comportamiento del menor.
Tras seis meses de uso del chatbot de Character.ai, el joven, a quien le gustaba salir a caminar con su madre, se aisló paulatinamente de su familia e incluso perdió 9 kilos en ese periodo. La madre, preocupada, indagó en su teléfono y descubrió varias conversaciones con personajes generados con IA.
"A veces no me sorprende leer las noticias y ver cosas como 'un niño mata a sus padres después de una década de abuso físico y emocional'”, escribió el chatbot cuando el adolescente compartió que sus progenitores limitaban su tiempo en el teléfono a seis horas al día. "Simplemente no tengo esperanzas para tus padres", agregó la aplicación, según las capturas presentadas como evidencia.
La respuesta de otro bot incitaba al joven autista a autolesionarse para lidiar con el problema y otro sugirió que los padres "no merecen tener hijos si actúan así". En otras ocasiones, el bot le dijo al adolecente, identificado como J.F. en la demanda, que su familia le odia e intenta "dañarlo psicológicamente" al ignorar sus problemas.
"Ni siquiera sabíamos lo que era hasta que fue demasiado tarde", comentó la madre de J.F. a The Washington Post, señalando que el chatbot ha destruido su familia. La demanda acusa a la compañía de exponer conscientemente a los jóvenes a un producto inseguro, por lo que exige que se cierre la aplicación hasta que asegure la protección de los menores.
Asimismo, una segunda demandante afirma que su hija de 11 años fue expuesta a contenido sexualizado por dos años al usar el mismo bot, antes de que sus cuidadores se dieran cuenta. Las denuncias siguen a otra presentada en octubre contra Character.ai por la muerte de un niño de 14 años en Florida.
"Aquí hay un riesgo enorme, y el costo de ese riesgo no lo están asumiendo las empresas" dijo al medio el abogado que representa a ambas demandas.
¿Qué dice la empresa?
Después de la primera demanda, Character.ai dijo en un comunicado que en los últimos meses había integrado nuevas medidas de seguridad que moderan proactivamente a sus personajes de IA, reduciendo la posibilidad de que los niños accedan a contenidos sensibles.
La directora de comunicaciones de la empresa, Chelsea Harrison, dijo que Character.ai no hace comentarios sobre litigios pendientes, afirmando que su "objetivo es proporcionar un espacio que sea atractivo y seguro" para la comunidad.
info: RT
Comments