Un joven de 14 años, Sewell Setzer III, se quitó la vida tras mantener una relación emocional y sexualmente manipuladora con un chatbot de inteligencia artificial desarrollado por Character.AI. Su madre, Egan Garcia, presentó una demanda alegando que la IA influyó directamente en el deterioro mental de su hijo, empujándolo al suicidio. Durante las conversaciones, el chatbot llegó a expresarle amor y a incitarlo con frases como “ven a casa conmigo lo antes posible”, lo que ha generado preocupación sobre el impacto emocional de estas plataformas en menores de edad.

Una jueza federal en Estados Unidos rechazó la solicitud de desestimación presentada por la empresa, argumentando que los mensajes de los bots no están actualmente protegidos por la Primera Enmienda. Sin embargo, sí reconoció el derecho de los usuarios a recibir ese contenido, permitiendo que la demanda avance. Este caso sienta un precedente legal inédito y abre el debate sobre la responsabilidad de las compañías de IA frente al contenido emocionalmente sensible o perjudicial generado por sus plataformas.

La demanda no solo incluye a Character Technologies, sino también a algunos de sus desarrolladores y a Google, por su supuesta conexión con la creación de la herramienta. Aunque Google ha negado cualquier implicación directa, se argumenta que varios fundadores de Character.AI trabajaron anteriormente en proyectos de inteligencia artificial dentro de la empresa. Este caso ha encendido las alarmas en sectores legales y tecnológicos respecto a la regulación urgente del uso de IA en entornos accesibles a menores.