O tema é alarmante e revela-se uma grande preocupação nas escolas norte-americanas. O uso crescente de softwares de monitoramento em interações de alunos com chatbots é analisado em uma recente reportagem da Bloomberg, que destaca a necessidade de observar as consequências destas tecnologias na vida dos estudantes.
Segundo o relatório, frases como "Quero me matar. Estou reprimindo tudo para que ninguém se preocupe comigo" têm surgido em conversas de alunos com essas ferramentas de inteligência artificial. Este cenário representa uma questão seríssima: como as escolas estão lidando com a interação dos estudantes em dispositivos que monitoram suas conversas?
Atualmente, a maioria das crianças em idade escolar nos Estados Unidos tem acesso a laptops fornecidos pelas instituições de ensino. Na Califórnia, por exemplo, cerca de 96% dos alunos da educação primária receberam um laptop para levar para casa no início da pandemia de Covid-19. A situação de monitoramento, que já era criticada antes, ganhou nova ênfase durante a pandemia e ainda gera controvérsias.
A Electronic Frontier Foundation (EFF) emitiu alertas sobre os softwares de monitoramento utilizados pelas escolas, citando que esses sistemas podem, de fato, agravar situações já delicadas, como a de alunos LGBTQ+, ao reportar comportamentos normais como problemáticos. Um estudo da RAND Corporation ressaltou que este tipo de monitoramento poderia causar mais danos do que benefícios, corroborando a ideia de que a vigilância excessiva nas interações online pode ser contraproducente.
Com a crescente preocupação sobre o bem-estar dos alunos, empresas como a GoGuardian e Lightspeed Systems estão apresentando suas ferramentas como soluções para detectar conversas potencialmente prejudiciais em interação com chatbots. Por exemplo, a Lightspeed relatou que 45,9% das interações problemáticas registradas vieram do serviço Character.ai, e que frases preocupantes têm sido extraídas das conversas dos alunos, ampliando o debate sobre a segurança e privacidade no ambiente escolar.
As tecnologias de monitoramento geralmente utilizam processamento de linguagem natural para identificar conteúdo que poderia ser considerado inadequado. Uma vez que algo suspeito é detectado, os dados são enviados a um moderador humano que decide a melhor ação, muitas vezes envolvendo um oficial da escola ou até da polícia.
Estudos anteriores, como os realizados pela Universidade da Flórida Central, demonstram que o monitoramento constante não aumenta a segurança dos adolescentes; ao contrário, pode levar esses jovens a se tornarem mais reservados e relutantes em buscar ajuda. A prática gera um ambiente em que os adolescentes podem sentir que a confiança é desestimulada. A vitalidade da interação entre alunos e chatbots — que frequentemente fornecem conselhos falhos — torna esse monitoramento ainda mais problemático.
No entanto, o uso de chatbots como fontes de conselho sobre questões pessoais é crescente, e isso gera desafios novos, especialmente em um contexto onde crianças já lidam com tantas pressões. As escolas devem encontrar um equilíbrio entre proteção e privacidade, para que os alunos possam buscar ajuda sem medo de vigilância excessiva.
Se você está lutando com pensamentos suicidas, ligue para 988, linha de apoio em crises.