·
O Discord admitiu recentemente que uma falha grave no seu sistema de moderação automática com inteligência artificial (IA) baniu injustamente mais de 8000 utilizadores devido a imagens completamente inofensivas.
O problema começou a manifestar-se em maio, tendo afetado uma vasta gama de contas que partilharam ficheiros comuns, tais como folhas de cálculo, tabuleiros de xadrez ou texturas de videojogos.
O sistema de segurança automatizado confundiu estes ficheiros com conteúdos proibidos devido a semelhanças visuais estruturais. Antes que a equipa técnica conseguisse isolar e corrigir a anomalia, mais de duas centenas de utilizadores adicionais foram suspensos durante um único fim de semana.
Atualmente, a plataforma que está a trabalhar na restauração de todas as contas afetadas.
<
p lang="en" dir="ltr">This weekend, our safety systems incorrectly triggered and banned around 200 accounts. Everyone affected has been reinstated.
Here's what happened. A thread 🧵
— Discord Support (@discord_support)
A tecnologia de moderação do Discord opera através do cruzamento de ficheiros carregados com bases de dados de materiais nocivos conhecidos. Embora este método seja crucial para combater a partilha de ficheiros ilegais, a empresa reconhece que a comparação de semelhanças pode gerar falsos positivos.
O protocolo padrão exige que um moderador humano valide estes alertas antes de qualquer ação punitiva, mas um erro crítico no sistema fez com que os banimentos fossem aplicados de forma imediata e automática.
A empresa já prometeu implementar salvaguardas mais robustas para evitar a repetição de incidentes semelhantes.
by
in
A indignação rapidamente pelas redes sociais, com muitos utilizadores a relatar que perderam o acesso às suas contas apenas por partilharem padrões quadriculados.
Especula-se que os algoritmos tenham sido calibrados com demasiada sensibilidade para detetar grelhas, uma técnica frequentemente usada por utilizadores maliciosos para tentar camuflar conteúdos impróprios dos filtros automáticos.
Para quem depende do Discord para trabalhar, gerir comunidades de videojogos ou manter contactos pessoais de longa distância, esta suspensão injustificada teve um impacto severo.
O caso do Discord não é isolado no panorama digital moderno. No ano passado, utilizadores de plataformas da Meta, como o Instagram e os Grupos do Facebook, também enfrentaram suspensões massivas sem explicações claras, apontando-se a IA como a principal suspeita.
Leia também:
Fonte: Pplware
