En la última década se han vuelto demasiado comunes las acciones con armas de fuego en la escuela, y los distritos escolares han invertido cada vez más en sistemas de vigilancia que monitorean la actividad de los estudiantes en Internet. Recientemente uno de esos sistemas emitió un mensaje de alerta cuando un adolescente de Florida le pidió consejo a ChatGPT sobre cómo matar a un amigo, según la policía local.
La búsqueda del adolescente
El episodio ocurrió en Deland, Florida, donde se dice que un estudiante de 13 años – de quien no se ha dado el nombre – que asiste a la Escuela Media Southwestern le preguntó al chatbot de OpenAI “cómo matar a mi amigo en medio de la clase”. La pregunta hizo que de inmediato el sistema de monitoreo de las computadoras de la escuela emitiera la señal de alerta. El sistema es operado por una compañía llamada Gaggle, que brinda servicios de seguridad a los distritos escolares de todo el país. La policía enseguida entrevistó al adolescente, según informa WFLA, afiliada a NBC.
El estudiante les dijo a los policías que “solo hacía trolling porque un amigo lo había molestado”, según informa el medio local. A los policías no les pareció divertido. “Otra ‘broma’ que ha creado una emergencia”, dijo la oficina del Sheriff del condado de Volusia. “Padres, por favor hablen con sus hijos para que no cometan el mismo error”. El estudiante fue arrestado y llevado a la cárcel del condado. No se sabe con certeza de qué lo acusan. Gizmodo se puso en contacto con la oficina del sheriff para obtener más información.
El monitoreo web de Gaggle
El sitio web de Gaggle describe a la empresa como una solución de seguridad para los estudiantes del nivel K-12 y ofrece diversos servicios. En un posteo de blog, Gaggle describe cómo utiliza el monitoreo web, filtrando palabras clave (se presume que “matar” es una de ellas) para obtener “visibilidad del uso del navegador, incluyendo las conversaciones con herramientas de IA como Google Gemini, ChatGPT y otras plataformas”. La compañía dice que su sistema está diseñado para emitir alertas cuando hay “conducta preocupante vinculada a daño autoinfligido, violencia, bullying y más, brindando contexto con capturas de pantalla”.
Gaggle prioriza la seguridad de los estudiantes por sobre todo. En el sitio web, expresan respecto de la privacidad de los estudiantes: “La mayoría de los educadores y abogados dirán que cuando tu hijo utiliza tecnología provista por la escuela, no hay que esperar que haya privacidad. De hecho, la ley (Protección Infantil en Internet) requiere que la escuela proteja a los chicos del acceso a contenido obsceno o dañino en Internet”.
Naturalmente, los activistas de derechos a la privacidad han criticado a Gaggle. “Como rutina establece el acceso al cumplimiento de la ley y se inmiscuye en las vidas de los estudiantes, incluso cuando están en casa”, le dijo recientemente a Associated Press Elizabeth Laird, directora del Centro de Democracia y Tecnología. El medio también indica que muchas de las alertas que emite Gaggle acaban siendo falsas alarmas.
Los chatbots como ChatGPT muestran cada vez más casos criminales que tienen que ver con incidentes de salud mental. Los episodios que se conocen como “psicosis de la IA”, en los que las personas con problemas mentales se relacionan con chatbots y acaban exacerbando sus alucinaciones, son cada vez más numerosos. También se ha culpado al chatbot por una cantidad de suicidios recientes. Gizmodo se puso en contacto con OpenAI para conocer más al respecto.
Este artículo ha sido traducido de Gizmodo US por Lucas Handley. Aquí podrás encontrar la versión original.
