Quase todas as semanas, Brian Levine, um cientista da computação da Universidade de Massachusetts Amherst, é questionado pela mesma pergunta por sua filha de 14 anos: Posso baixar este aplicativo?
O Sr. Levine responde analisando centenas de avaliações de clientes na App Store em busca de alegações de assédio ou abuso sexual infantil. O processo manual e arbitrário o fez se perguntar por que não há mais recursos disponíveis para ajudar os pais a tomar decisões rápidas sobre aplicativos.
Nos últimos dois anos, Levine procurou ajudar os pais projetando um modelo computacional que avalia as avaliações dos clientes sobre aplicativos sociais. Usando inteligência artificial para avaliar o contexto de resenhas com palavras como “pornografia infantil” ou “pedo”, ele e uma equipe de pesquisadores construíram um site pesquisável chamado App Danger Projectque fornece orientações claras sobre a segurança de aplicativos de redes sociais.
O site registra as avaliações dos usuários sobre predadores sexuais e fornece avaliações de segurança de aplicativos com avaliações negativas. Ele lista resenhas que mencionam abuso sexual. Embora a equipe não tenha acompanhado os revisores para verificar suas reivindicações, ela leu cada uma e excluiu aquelas que não destacavam as preocupações com a segurança infantil.
“Existem análises por aí que falam sobre o tipo de comportamento perigoso que ocorre, mas essas análises são abafadas”, disse Levine. “Você não pode encontrá-los.”
Os predadores estão cada vez mais armando aplicativos e serviços online para coletar imagens explícitas. Ano passado, aplicação da lei recebeu 7.000 denúncias de crianças e adolescentes que foram coagidos a enviar imagens nuas e depois chantageados por fotos ou dinheiro. O FBI se recusou a dizer quantos desses relatórios eram confiáveis. Os incidentes, chamados de sextortion, mais que dobraram durante a pandemia.
Como as lojas de aplicativos da Apple e do Google não oferecem buscas por palavras-chave, disse Levine, pode ser difícil para os pais encontrar advertências sobre conduta sexual imprópria. Ele prevê o App Danger Project, que é gratuito, complementando outros serviços que examinam a adequação de produtos para crianças, como o Common Sense Media, identificando aplicativos que não estão fazendo o suficiente para policiar os usuários. Ele não planeja lucrar com o site, mas está incentivando doações à Universidade de Massachusetts para compensar seus custos.
Levine e uma dúzia de cientistas da computação investigaram o número de análises que alertavam sobre abuso sexual infantil em mais de 550 aplicativos de redes sociais distribuídos pela Apple e pelo Google. Eles descobriram que um quinto desses aplicativos tinha duas ou mais reclamações de material de abuso sexual infantil e que 81 ofertas nas lojas App and Play tinham sete ou mais desses tipos de avaliações.
A investigação se baseia em relatórios anteriores de aplicativos com queixas de interações sexuais indesejadas. Em 2019, o The New York Times detalhou como os predadores tratam os videogames e as plataformas de mídia social como campos de caça. Uma separação reportagem daquele ano do The Washington Post encontrou milhares de reclamações em seis aplicativos, levando à remoção dos aplicativos Monkey, ChatLive e Chat for Strangers pela Apple.
A Apple e o Google têm interesse financeiro na distribuição de aplicativos. As gigantes da tecnologia, que respondem por até 30 por cento das vendas em lojas de aplicativos, ajudaram três aplicativos com vários relatos de usuários sobre abuso sexual a gerar US$ 30 milhões em vendas no ano passado: Hoop, MeetMe e Whisper, de acordo com a Sensor Tower, uma empresa de pesquisa de mercado.
Em mais de uma dúzia de casos criminais, o Departamento de Justiça descreveu esses aplicativos como ferramentas usadas para solicitar imagens ou encontros sexuais de crianças – Hoop in Minnesota; Encontre-me em Califórnia, Kentucky e Iowa; e sussurrar em Illinois, Texas e Ohio.
Levine disse que a Apple e o Google deveriam fornecer aos pais mais informações sobre os riscos apresentados por alguns aplicativos e melhor policiar aqueles com histórico de abuso.
“Não estamos dizendo que todos os aplicativos com avaliações que dizem que predadores de crianças devem ser lançados, mas se eles têm a tecnologia para verificar isso, por que alguns desses aplicativos problemáticos ainda estão nas lojas?” perguntou Hany Farid, um cientista da computação da Universidade da Califórnia, em Berkeley, que trabalhou com Levine no App Danger Project.
A Apple e o Google disseram que verificam regularmente avaliações de usuários de aplicativos com seus próprios modelos computacionais e investigam alegações de abuso sexual infantil. Quando os aplicativos violam suas políticas, eles são removidos. Os aplicativos têm classificações etárias para ajudar pais e filhos, e o software permite que os pais vetem downloads. As empresas também oferecem aos desenvolvedores de aplicativos ferramentas para policiar material sexual infantil.
Dan Jackson, porta-voz do Google, disse que a empresa investigou os aplicativos listados pelo App Danger Project e não encontrou evidências de material de abuso sexual infantil.
“Embora as análises de usuários desempenhem um papel importante como um sinal para desencadear uma investigação mais aprofundada, as alegações de análises não são confiáveis o suficiente por conta própria”, disse ele.
A Apple também investigou os aplicativos listados pelo App Danger Project e removeu 10 que violavam suas regras de distribuição. Ele se recusou a fornecer uma lista desses aplicativos ou os motivos pelos quais agiu.
“Nossa equipe de revisão de aplicativos trabalha 24 horas por dia, 7 dias por semana, para revisar cuidadosamente cada novo aplicativo e atualização de aplicativo para garantir que ele atenda aos padrões da Apple”, disse um porta-voz em comunicado.
O projeto App Danger disse que encontrou um número significativo de revisões sugerindo que Hoop, um aplicativo de rede social, não era seguro para crianças; por exemplo, descobriu que 176 de 32.000 revisões desde 2019 incluíam relatos de abuso sexual.
“Há uma abundância de predadores sexuais aqui que enviam spam para as pessoas com links para sites de namoro, bem como pessoas com o nome ‘Leia minha foto’”, diz um comentário retirado da App Store. “Tem uma foto de uma criança pequena e diz para ir ao site deles para pornografia infantil.”
A Hoop, que está sob nova administração, tem um novo sistema de moderação de conteúdo para fortalecer a segurança do usuário, disse Liath Ariche, executivo-chefe da Hoop, acrescentando que os pesquisadores destacaram como os fundadores originais lutaram para lidar com bots e usuários mal-intencionados. “A situação melhorou drasticamente”, disse o executivo-chefe.
O Meet Group, dono do MeetMe, disse que não tolera abuso ou exploração de menores e usa ferramentas de inteligência artificial para detectar predadores e denunciá-los às autoridades. Ele relata atividades inadequadas ou suspeitas às autoridades, incluindo um episódio de 2019 em que um homem de Raleigh, NC, solicitou pornografia infantil.
Whisper não respondeu aos pedidos de comentários.
Sargento Sean Pierce, que lidera a força-tarefa do Departamento de Polícia de San Jose sobre crimes na Internet contra crianças, disse que alguns desenvolvedores de aplicativos evitaram investigar denúncias sobre sextortion para reduzir sua responsabilidade legal. A lei diz que eles não precisam denunciar atividades criminosas, a menos que as encontrem, disse ele.
“A culpa é mais dos aplicativos do que da loja de aplicativos, porque são os aplicativos que fazem isso”, disse o sargento Pierce, que oferece apresentações nas escolas de San Jose por meio de um programa chamado Vigilant Parent Initiative. Parte do desafio, disse ele, é que muitos aplicativos conectam estranhos para conversas anônimas, dificultando a verificação pelas autoridades.
Apple e Google fazer centenas de relatórios anualmente para a câmara de compensação dos EUA para abuso sexual infantil mas não especifique se algum desses relatórios está relacionado a aplicativos.
O Whisper está entre os aplicativos de mídia social que a equipe de Levine encontrou com várias críticas mencionando exploração sexual. Depois de baixar o aplicativo, um estudante do ensino médio recebeu uma mensagem em 2018 de um estranho que se ofereceu para contribuir com uma arrecadação de fundos para robótica escolar em troca de uma fotografia de topless. Depois que ela enviou uma foto, o estranho ameaçou enviá-la para sua família, a menos que ela fornecesse mais imagens.
A família do adolescente relatou o incidente à polícia local, de acordo com um relatório do Departamento de Polícia de Mascoutah em Illinois, que mais tarde prendeu um homem local, Joshua Breckel. Ele foi condenado a 35 anos de prisão por extorsão e pornografia infantil. Embora o Whisper não tenha sido considerado responsável, ele foi apontado junto com meia dúzia de aplicativos como as principais ferramentas que ele usou para coletar imagens de vítimas com idades entre 10 e 15 anos.
Chris Hoell, um ex-promotor federal do Distrito Sul de Illinois que trabalhou no caso Breckel, disse que a avaliação abrangente das revisões do App Danger Project pode ajudar os pais a proteger seus filhos de problemas em aplicativos como o Whisper.
“É como um tumor resistente ao tratamento que se espalha agressivamente”, disse Hoell, que agora tem um consultório particular em St. Louis. “Precisamos de mais ferramentas.”
