Quando Jennifer Watkins recebeu uma mensagem do YouTube dizendo que seu canal estava sendo encerrado, ela inicialmente não ficou preocupada. Afinal, ela não usava o YouTube.
Seus filhos gêmeos de 7 anos, porém, usavam um tablet Samsung conectado à sua conta do Google para assistir conteúdo infantil e fazer vídeos deles no YouTube fazendo danças bobas. Poucos vídeos tiveram mais de cinco visualizações. Mas o vídeo que colocou a Sra. Watkins em apuros, feito por um filho, foi diferente.
“Aparentemente era um vídeo do traseiro dele”, disse Watkins, que nunca o viu. “Ele foi desafiado por um colega de classe a fazer um vídeo de nudez.”
O YouTube, de propriedade do Google, tem Sistemas alimentados por IA que analisam as centenas de horas de vídeo enviadas ao serviço a cada minuto. O processo de digitalização às vezes pode dar errado e acusar indivíduos inocentes de abusadores de crianças.
O New York Times documentou outros episódios em que a vida digital dos pais foi perturbada por fotos e vídeos nus dos seus filhos que os sistemas de IA do Google sinalizaram e que os revisores humanos determinaram como ilícitos. Como resultado, alguns pais foram investigados pela polícia.
O “vídeo de nudez” no caso da Sra. Watkins, carregado em setembro, foi sinalizado em poucos minutos como possível exploração sexual de uma criança, uma violação dos termos de serviço do Google com consequências muito graves.
Watkins, uma médica que mora em Nova Gales do Sul, Austrália, logo descobriu que seu acesso não apenas ao YouTube foi bloqueado, mas a todas as suas contas no Google. Ela perdeu o acesso às suas fotos, documentos e e-mail, disse ela, o que significa que não conseguia receber mensagens sobre seu horário de trabalho, revisar seus extratos bancários ou “pedir um smoothie” por meio do aplicativo do McDonald’s – no qual ela faz login usando sua conta do Google.
Sua conta acabaria sendo excluída, informou uma página de login do Google, mas ela poderia recorrer da decisão. Ela clicou no botão Iniciar recurso e escreveu em uma caixa de texto que seus filhos de 7 anos achavam que “bundas são engraçadas” e foram responsáveis por enviar o vídeo.
“Isso está me prejudicando financeiramente”, acrescentou ela.
Os defensores das crianças e os legisladores de todo o mundo têm pressionado as empresas tecnológicas a impedir a propagação online de imagens abusivas, monitorizando esse tipo de material nas suas plataformas. Muitos fornecedores de comunicações digitalizam agora as fotos e vídeos guardados e partilhados pelos seus utilizadores em busca de imagens conhecidas de abuso que tenham sido denunciadas às autoridades.
O Google também queria poder sinalizar conteúdo nunca antes visto. Há alguns anos, desenvolveu-se um algoritmo — treinado nas imagens conhecidas — que busca identificar novo material de exploração; O Google disponibilizou-o para outras empresas, incluindo Meta e TikTok.
Depois que um funcionário confirmou que o vídeo postado pelo filho da Sra. Watkins era problemático, o Google denunciou o fato ao Centro Nacional para Crianças Desaparecidas e Exploradas, uma organização sem fins lucrativos que atua como câmara de compensação federal para conteúdo sinalizado. O centro pode então adicionar o vídeo ao seu banco de dados de imagens conhecidas e decidir se deve denunciá-lo às autoridades locais.
O Google é um dos principais repórteres de “aparente pornografia infantil”, de acordo com estatísticas do centro nacional. Google arquivado mais de dois milhões de relatórios no ano passado, muito mais do que a maioria das empresas de comunicações digitais, embora menos do que o número apresentado pela Meta.
(É difícil avaliar a gravidade do problema do abuso infantil apenas com base nos números, dizem os especialistas. um estudo de uma pequena amostra de usuários sinalizados por compartilharem imagens inadequadas de crianças, os cientistas de dados do Facebook disseram que mais de 75% “não exibiram intenção maliciosa”. Os usuários incluíam adolescentes em um relacionamento romântico compartilhando imagens íntimas de si mesmos e pessoas que compartilharam um “meme dos órgãos genitais de uma criança sendo mordidos por um animal porque acham engraçado”.)
A Apple resistiu à pressão para escanear o iCloud em busca de material exploratório. Um porta-voz apontou uma letra que a empresa enviou a um grupo de defesa este ano, expressando preocupação sobre a “segurança e privacidade de nossos usuários” e relata “que partes inocentes foram arrastadas para redes distópicas”.
No outono passado, a chefe de confiança e segurança do Google, Susan Jasper, escreveu em uma postagem no blog que a empresa planejava atualizar seu processo de apelação para “melhorar a experiência do usuário” para pessoas que “acreditam que tomamos decisões erradas”. Numa grande mudança, a empresa agora fornece mais informações sobre o motivo da suspensão de uma conta, em vez de uma notificação genérica sobre uma “violação grave” das políticas da empresa. A Sra. Watkins, por exemplo, foi informada de que a exploração infantil era a razão pela qual ela havia sido excluída.
Independentemente disso, os repetidos apelos da Sra. Watkins foram negados. Ela tinha uma conta paga do Google, permitindo que ela e o marido trocassem mensagens com agentes de atendimento ao cliente. Mas na correspondência digital analisada pelo The Times, os agentes disseram que o vídeo, mesmo sendo um ato inconsciente de uma criança, ainda violava as políticas da empresa.
A punição draconiana para um vídeo bobo parecia injusta, disse Watkins. Ela se perguntou por que o Google não pôde avisá-la antes de cortar o acesso a todas as suas contas e a mais de 10 anos de memórias digitais.
Depois de mais de um mês de tentativas fracassadas de mudar a opinião da empresa, a Sra. Watkins procurou o The Times. Um dia depois de um repórter perguntar sobre seu caso, sua conta do Google foi restaurada.
“Não queremos que as nossas plataformas sejam utilizadas para pôr em perigo ou explorar crianças, e há uma exigência generalizada para que as plataformas da Internet tomem medidas mais firmes para detetar e prevenir CSAM”, afirmou a empresa num comunicado, utilizando um acrónimo amplamente utilizado para abuso sexual infantil. abusar de materiais. “Neste caso, entendemos que o conteúdo violador não foi carregado de forma maliciosa.” A empresa não teve resposta sobre como escalar a negação de um recurso além de enviar um e-mail a um repórter do Times.
O Google está em uma posição difícil ao tentar julgar tais recursos, disse Dave Willner, pesquisador do Centro de Política Cibernética da Universidade de Stanford, que trabalhou com confiança e segurança em várias grandes empresas de tecnologia. Mesmo que uma foto ou vídeo seja de origem inocente, ele pode ser compartilhado de forma maliciosa.
“Os pedófilos compartilharão imagens que os pais tiraram inofensivamente ou as reunirão em coleções porque só querem ver crianças nuas”, disse Willner.
O outro desafio é o grande volume de conteúdo potencialmente explorador que o Google sinaliza.
“É simplesmente um problema muito, muito difícil de resolver, que regulamenta o julgamento de valor nesta escala”, disse Willner. “Eles tomam centenas de milhares ou milhões de decisões por ano. Quando você joga os dados tantas vezes, você vai rolar olhos de cobra.”
Ele disse que a luta de Watkins depois de perder o acesso ao Google foi “um bom argumento para espalhar sua vida digital” e não depender de uma empresa para tantos serviços.
Watkins tirou uma lição diferente da experiência: os pais não deveriam usar sua própria conta do Google para as atividades de seus filhos na Internet e, em vez disso, deveriam configurar uma conta dedicada – uma escolha que o Google encorajar.
Ela ainda não criou essa conta para seus gêmeos. Eles agora estão proibidos de acessar a internet.
