De acordo com o fundador do Dark Visitors, Gavin King, a maioria dos principais agentes de IA ainda obedecem ao robots.txt. “Isso tem sido bem consistente”, ele diz. Mas nem todos os donos de sites têm tempo ou conhecimento para atualizar constantemente seus arquivos robots.txt. E mesmo quando o fazem, alguns bots contornam as diretrizes do arquivo: “Eles tentam disfarçar o tráfego.”
Prince diz que o bloqueio de bots da Cloudflare não será um comando que esse tipo de ator ruim pode ignorar. “Robots.txt é como colocar uma placa de ‘não ultrapasse’”, ele diz. “É como ter uma parede física patrulhada por guardas armados.” Assim como sinaliza outros tipos de comportamento suspeito na web, como bots de coleta de preços usados para monitoramento ilegal de preços, a empresa criou processos para detectar até mesmo os rastreadores de IA mais cuidadosamente escondidos.
A Cloudflare também está anunciando um futuro mercado para clientes negociarem termos de uso de scraping com empresas de IA, seja envolvendo pagamento pelo uso de conteúdo ou troca por créditos para usar serviços de IA em troca de scraping. “Não nos importamos realmente com a transação, mas achamos que precisa haver alguma maneira de entregar valor de volta aos criadores de conteúdo original”, diz Prince. “A compensação não precisa ser em dólares. A compensação pode ser crédito ou reconhecimento. Pode ser muitas coisas diferentes.”
Não há uma data definida para o lançamento desse mercado, mas mesmo que ele seja lançado este ano, ele se juntará a um campo cada vez mais concorrido de projetos destinados a facilitar acordos de licenciamento e outros arranjos de permissão entre empresas de IA, editoras, plataformas e outros sites.
O que as empresas de IA acham disso? “Conversamos com a maioria delas, e suas reações variaram de ‘isso faz sentido e estamos abertos’ a ‘vá para o inferno’”, diz Prince. (Ele não quis citar nomes, no entanto.)
O projeto tem sido bem rápido. Prince cita uma conversa com o CEO da Atlantic (e ex-editor chefe da WIRED) Nick Thompson como inspiração para o projeto; Thompson havia discutido quantas editoras diferentes encontraram web scrapers furtivos. “Eu adoro que ele esteja fazendo isso”, diz Thompson. Se até mesmo grandes organizações de mídia lutam para lidar com o fluxo de scrapers, Prince raciocinou, blogueiros independentes e donos de sites teriam ainda mais dificuldade.
A Cloudflare é uma empresa líder em segurança na web há anos e fornece uma grande parte da infraestrutura que sustenta a web. Ela historicamente se manteve o mais neutra possível sobre o conteúdo dos sites que seus serviços; nas raras ocasiões em que fez exceções a essa regra, Prince enfatizou que não quer que a Cloudflare seja o árbitro do que é permitido online.
Aqui, ele vê a Cloudflare como posicionada de forma única para tomar uma posição. “O caminho que estamos trilhando não é sustentável”, diz Prince. “Espero que possamos fazer parte de garantir que os humanos sejam pagos por seu trabalho.”
