O mesmo se aplica aos sistemas de IA que as empresas utilizam para ajudar a sinalizar conteúdos potencialmente perigosos ou abusivos. As plataformas costumam usar enormes quantidades de dados para construir ferramentas internas que as ajudam a agilizar esse processo, diz Louis-Victor de Franssu, cofundador da plataforma de confiança e segurança Tremau. Mas muitas destas empresas têm de confiar em modelos disponíveis comercialmente para construir os seus sistemas – o que poderá introduzir novos problemas.
“Há empresas que dizem que vendem IA, mas na realidade o que fazem é agrupar modelos diferentes”, diz Franssu. Isso significa que uma empresa pode combinar vários modelos diferentes de aprendizado de máquina – digamos, um que detecta a idade de um usuário e outro que detecta nudez para sinalizar potencial material de abuso sexual infantil – em um serviço que oferece aos clientes.
E embora isto possa tornar os serviços mais baratos, também significa que qualquer problema num modelo utilizado por um contratante será replicado entre seus clientes, diz Gabe Nicholas, pesquisador do Centro para Democracia e Tecnologia. “Do ponto de vista da liberdade de expressão, isso significa que se houver um erro em uma plataforma, você não poderá levar seu discurso para outro lugar – se houver um erro, esse erro proliferará em todos os lugares.” Esse problema pode ser agravado se vários terceirizados estiverem usando os mesmos modelos básicos.
Ao terceirizar funções críticas para terceiros, as plataformas também poderiam tornar mais difícil para as pessoas entenderem onde as decisões de moderação estão sendo tomadas, ou para a sociedade civil – os grupos de reflexão e organizações sem fins lucrativos que observam de perto as principais plataformas – saber onde responsabilizar pelas falhas.
“(Muitos que assistem) falam como se fossem essas grandes plataformas que tomassem as decisões. É para isso que tantas pessoas na academia, na sociedade civil e no governo apontam as suas críticas”, diz Nicholas. “A ideia de que podemos estar apontando isso para o lugar errado é um pensamento assustador.”
Historicamente, grandes empresas como Telus, Teleperformance e Accenture seriam contratadas para gerenciar uma parte fundamental do trabalho terceirizado de confiança e segurança: moderação de conteúdo. Isso muitas vezes parecia centros de chamada, com um grande número de funcionários mal pagos analisando manualmente as postagens para decidir se elas violam as políticas de uma plataforma contra coisas como discurso de ódio, spam e nudez. As novas startups de confiança e segurança estão mais inclinadas para a automação e a inteligência artificial, muitas vezes especializando-se em determinados tipos de conteúdo ou áreas temáticas – como terrorismo ou abuso sexual infantil – ou concentrando-se num meio específico, como texto versus vídeo. Outros estão construindo ferramentas que permitem ao cliente executar vários processos de confiança e segurança por meio de uma única interface.
