Quando o algoritmo enxerga tudo, mas falha no que mais importa

Segundo o Canaltech Software, o governo da Índia determinou que a Meta desative imediatamente anúncios e conteúdos no Instagram que promovam ou facilitem o acesso a material de abuso sexual infantil. A ordem partiu do Ministério de Eletrônica e Tecnologia da Informação e foi confirmada à BBC nesta segunda-feira, dias depois de uma investigação da BBC Eye identificar peças publicitárias com esse teor circulando na plataforma.

Confesso que ler uma notícia dessas embrulha o estômago. Estamos falando de um sistema de anúncios que, na teoria, deveria conhecer cada movimento do usuário para vender um tênis ou uma passagem aérea, mas que aparentemente falhou em barrar o pior tipo de conteúdo que existe. E isso não é um detalhe técnico. É uma questão que expõe como a promessa de "inteligência" das grandes plataformas ainda tem buracos assustadores.

Quando o algoritmo vê tudo, menos o essencial

A ironia é dura de engolir. As mesmas empresas que rastreiam nosso comportamento com precisão cirúrgica alegam dificuldade para detectar material criminoso antes que ele seja distribuído. A verdade é que sistemas de moderação em escala dependem de camadas bem construídas, e quando essas camadas são tratadas como custo, e não como prioridade, o resultado aparece na forma de escândalos como esse.

Para quem trabalha com tecnologia, o caso serve como um lembrete incômodo: automação sem governança é uma bomba-relógio. Um sistema que aprova conteúdo sozinho, sem filtros bem calibrados e sem revisão humana nos pontos críticos, vai eventualmente aprovar algo que jamais deveria ter passado.

O que isso ensina para quem toca uma operação

Você pode pensar que uma empresa pequena ou média não tem nada a ver com um gigante como a Meta. Mas o princípio é o mesmo em qualquer escala. Se o seu negócio depende de sistemas que tomam decisões automáticas, seja aprovação de cadastro, moderação de comentários ou liberação de acesso, você precisa saber onde estão os pontos de falha.

Alguns cuidados que valem para qualquer estrutura de tecnologia:

• Camadas de verificação: automação é ótima, mas revisão humana em pontos sensíveis evita desastres.
• Rastreabilidade: saber quem aprovou o quê e quando é o que separa uma empresa organizada de uma que apaga incêndio.
• Auditoria periódica: processos