Uma avaliação bimestral aplicada a alunos do 3º ano do ensino fundamental na rede municipal de Itapecerica da Serra (SP) foi recolhida às pressas após uma ilustração gerada por inteligência artificial retratar um menino negro dentro de uma lixeira de recicláveis. O episódio escancara uma falha crítica de governança na adoção de ferramentas generativas na administração pública. Mas o erro não se limitou ao algoritmo.
A falha que passou por múltiplos filtros
O material, intitulado “A Missão dos Guardiões da Terra”, trazia o brasão da prefeitura e era parte oficial de uma prova de produção de texto. A imagem foi criada por uma ferramenta de IA, mas a responsabilidade final coube à cadeia humana de aprovação: elaboração, revisão pedagógica e validação da diretoria de ensino. Nenhuma etapa identificou o viés racista embutido na ilustração antes da distribuição em sala de aula.
Riscos diretos para a gestão e a confiança pública
Para gestores e investidores que acompanham a modernização do setor público, o caso funciona como um alerta de risco operacional e reputacional. A ausência de protocolos de curadoria humana (human-in-the-loop) para conteúdos sensíveis transforma ganhos de eficiência em passivos jurídicos e crises de imagem instantâneas. A secretária de Educação, Irani Conceição Baciega Roschel, admitiu que “todo mundo olhou e ninguém viu”, revelando um viés de automação perigoso: a confiança cega na saída da máquina.
Onde a cadeia de controle quebrou
A investigação aberta pela prefeitura, sob gestão de Ramon Corsini (União Brasil), mira três elos que falharam simultaneamente:
- Prompt e geração: Ausência de diretrizes anti-viés na solicitação à IA.
- Revisão pedagógica: Falha na leitura crítica do material por especialistas em educação étnico-racial.
- Aprovação final: Validação burocrática sem verificação de conteúdo sensível.
A diretora de apoio pedagógico, Aline Pereira Silva, confirmou que o material foi retirado do sistema digital imediatamente após a denúncia, mas o dano pedagógico e social já estava consumado.
IA na gestão pública: eficiência exige governança
O incidente em Itapecerica da Serra não é um caso isolado de “alucinação” da máquina. Ele ilustra o vácuo regulatório e metodológico em que muitas secretarias operam ao adotar IA generativa para produção de conteúdo didático, comunicados ou editais. A economia de horas de trabalho de designers e redatores pode custar milhões em processos administrativos, indenizações e, principalmente, erosão da legitimidade institucional.
O que observar daqui para frente
A conclusão da apuração interna deve ditar novas normas para contratação e uso de ferramentas de IA na rede municipal. Para o mercado e para gestores de outras esferas, o recado é claro: não existe “IA responsável” sem fluxo de aprovação humano rigoroso, diverso e tecnicamente preparado para auditar viés. O próximo edital de tecnologia educacional que não prever cláusulas de curadoria antirracista e auditoria algorítmica já nasce obsoleto — e perigoso.
