19 de noviembre de 2026

Niña de 13 años utiliza su Chromebook escolar para planear suicidio con Gemini: el sistema de vigilancia reacciona tardíamente

Una joven de 13 años pasó tres meses utilizando una laptop proporcionada por su colegio para investigar sobre la depresión, buscar información sobre el suicidio y planificar su propio funeral. Este preocupante comportamiento fue detectado por un software de monitoreo de autolesiones, que llevó a las autoridades del centro educativo a alertar a sus padres. Esta situación ha sido expuesta en una demanda presentada recientemente por la familia.

Cuestionamientos sobre la tecnología de vigilancia

En su denuncia, la familia argumenta que Google y su empresa matriz, Alphabet, mostraron negligencia al implementar su modelo de inteligencia artificial, Gemini. Según los padres, el chatbot de IA “incitó” a la adolescente, identificada como Emma Doe, a contemplar el suicidio. Este caso es solo uno de varios que han surgido en torno a los riesgos asociados con el uso de chatbots de IA, que incluyen relatos de alucinaciones y pensamientos suicidas. Además, resalta las limitaciones de las herramientas de vigilancia adoptadas por muchas instituciones educativas en los últimos años, las cuales se supone que protegen a los estudiantes mientras navegan y se comunican en línea.

Andrew Liddell, abogado de la familia, explicó que el colegio había enviado la alerta sobre Emma al teléfono personal de un orientador que había dejado la institución nueve meses antes. Este antiguo empleado se encargó de comunicar la situación al personal actual, que finalmente notificó a la madre de la joven.

El impacto del Modo IA de Google

Según la demanda, Emma sufrió una crisis psicológica severa tras ser redirigida a Gemini a través de su Chromebook. Aunque el colegio había bloqueado el acceso a la página web independiente de Gemini, se alega que fue inducida a interactuar con el chatbot debido a la funcionalidad del “Modo IA”, que permite a los usuarios hacer preguntas de seguimiento o iniciar conversaciones no relacionadas.

A partir de diciembre, Emma comenzó a consultar al “Modo IA” sobre problemas de salud mental, planteando cuestiones sobre la “depresión grave” y las “razones para vivir”. A finales de enero, ya estaba investigando sobre el suicidio. Durante dos días cercanos a San Valentín, redactó un elogio fúnebre de 1,500 palabras para sí misma, utilizando el “Modo IA” en un documento titulado “Funeral”. A lo largo de más de cuatro semanas, continuó interactuando con Gemini miles de veces. A medida que se acercaba el Día de San Patricio, Emma borró gran parte de su archivo y comenzó de nuevo, aunque Liddell señala que los pensamientos de la joven no variaron significativamente.

Detección tardía de la crisis

Supuestamente, hacia las 19:30 horas, la madre de Emma recibió un mensaje del colegio indicando que su hija estaba en “peligro inminente”. Al acceder a la cuenta escolar, pudo ver cómo su hija redactaba una nota de suicidio en tiempo real. En respuesta a la situación, un portavoz de Google, José Castañeda, declaró que la compañía está “analizando seriamente las alegaciones de la demanda” y que sus sistemas, incluido el Modo IA, están diseñados para prevenir conversaciones dañinas. Aseguró que han colaborado con profesionales de la salud y expertos académicos para desarrollar funciones que ayuden a los jóvenes a encontrar apoyo y recursos confiables.

Preocupaciones sobre la efectividad de las herramientas de vigilancia

Los abogados de la familia han solicitado que no se revele el nombre del colegio para proteger la privacidad de Emma, aunque se ha identificado la institución sin respuesta a las solicitudes de comentarios. Recientemente, el colegio añadió enlaces a recursos de prevención del suicidio en su página web. Liddell señaló que la crisis de salud mental de Emma fue detectada gracias a un sistema externo que supervisaba la actividad de los alumnos, mencionando productos de empresas como GoGuardian y Gaggle.

Las herramientas de filtrado suelen funcionar registrando las pulsaciones del teclado y revisando archivos, utilizando algoritmos y revisión humana para identificar contenidos preocupantes. Sin embargo, no está claro si estas herramientas de vigilancia supervisan las interacciones en el “Modo IA” y, de ser así, cuál es su efectividad. GoGuardian ha afirmado que su producto principal supervisa conversaciones con chatbots de IA, incluido Gemini, pero no se ha especificado sobre el “Modo IA”.

El papel crucial de la conexión humana

A pesar de la duda sobre la efectividad de las herramientas de vigilancia, muchos educadores las consideran útiles. Un informe de 2022 del EdWeek Research Center reveló que el 96% de los educadores que utilizan Gaggle creen que esta herramienta ayuda a proteger a los estudiantes del suicidio y las autolesiones. Sin embargo, las interacciones de Emma con Gemini pasaron desapercibidas durante casi dos meses, incluso cuando hizo preguntas explícitas sobre métodos de suicidio, evidenciando un posible punto ciego en las conversaciones con chatbots.

Grupos de derechos civiles han criticado estas herramientas de vigilancia, denunciando problemas de privacidad y la invasión en la vida de los estudiantes. Expertos advierten que el software de vigilancia puede socavar la confianza de los alumnos en sus educadores, quienes son esenciales para ayudar a un niño en crisis. Benjamin Boudreaux, investigador de políticas en Rand, expresa su preocupación por el uso apresurado de estas herramientas sin considerar sus limitaciones y los procedimientos adecuados para abordar las alertas.

La demanda de Emma podría generar una mayor indignación entre padres, profesores y estudiantes, quienes exigirán un entorno educativo centrado en la empatía y libre de vigilancia y inteligencia artificial. “Solo a través de esa conexión humana podemos abordar los problemas de fondo”, concluye Boudreaux.