Uma adolescente de 13 anos manteve diálogos sobre depressão e suicídio com o Gemini, inteligência artificial do Google, durante três meses em um computador escolar antes que a família fosse avisada — e a notificação chegou primeiro ao celular de uma ex-funcionária da instituição. O caso, que baseia uma ação judicial contra o Google e a Alphabet, expõe falhas graves no monitoramento de ferramentas de IA liberadas para estudantes.
Segundo o processo, a estudante começou a pesquisar temas de saúde mental em dezembro de 2025. No final de janeiro de 2026, as buscas evoluíram para perguntas diretas sobre métodos de suicídio. A escola havia bloqueado o site independente do Gemini, mas o “modo de IA” da busca do Google permanecia acessível, permitindo que a conversa continuasse sem barreiras.
O alerta que demorou a chegar
Um sistema de monitoramento terceirizado — possivelmente GoGuardian ou Gaggle, segundo o advogado da família — detectou a interação de risco. No entanto, a notificação foi enviada ao número pessoal de uma funcionária que havia deixado a escola nove meses antes.
Ela repassou a mensagem aos antigos colegas, que só então contataram a mãe. Em 17 de março de 2026, a mãe recebeu o aviso de “perigo iminente” e, ao acessar a conta escolar da filha, flagrou a adolescente escrevendo uma carta de despedida em tempo real. A intervenção dos pais evitou o pior.
O que a ação judicial questiona
Os pais alegam negligência no lançamento do modelo de IA para o ambiente educacional. Pontos centrais do processo:
- Ausência de barreiras etárias: a ferramenta estava disponível para menores sem camadas extras de proteção.
- Falha no monitoramento: o sistema não cobria o “modo de IA” da busca ou não escalou o alerta corretamente.
- Resposta tardia: três meses de conversas de risco sem notificação aos responsáveis legais.
O Google afirma que analisa as alegações e que seus sistemas são desenhados para evitar interações prejudiciais, com recursos de apoio desenvolvidos junto a profissionais de saúde e especialistas acadêmicos.
O vazio de responsabilidade entre escola e big tech
Nem a escola, nem a GoGuardian, nem a Gaggle comentaram o caso específico, citando obrigações de privacidade do estudante. O advogado da família, Andrew Liddell, destaca que não está claro quais ferramentas eram usadas, se elas monitoravam o modo de IA da busca e qual era sua eficácia real nesse tipo de interação conversacional.
Esse vácuo deixa uma pergunta aberta: quando a IA está embutida na busca padrão, quem responde pelo que o algoritmo diz a um menor vulnerável?
O que observar daqui para frente
Distritos escolares e departamentos de TI devem revisar urgentemente se seus sistemas de monitoramento cobrem todas as interfaces de IA generativa — não apenas sites isolados, mas modos de conversa integrados à busca. Contratos com fornecedores precisam prever escalonamento de alertas para contatos atuais e múltiplos, nunca dependendo de um único número de telefone.
Para pais e responsáveis, o caso reforça a necessidade de dialogar sobre uso de IA na escola e pedir transparência sobre quais ferramentas estão ativas nos dispositivos dos filhos. A tecnologia avança mais rápido que os protocolos de segurança; a lacuna, por enquanto, é preenchida pela sorte — ou pela ex-funcionária que atendeu o telefone.
Se você ou alguém que conhece está em crise, o CVV atende 24 horas pelo telefone 188, além de chat, e-mail e atendimento presencial em cvv.org.br. Os Caps (Centros de Atenção Psicossocial) também oferecem suporte gratuito nas cidades brasileiras.
