O Reddit agora está bloqueando todos os mecanismos de busca, exceto o Google, de indexar seu site, pois efetivamente implementa um paywall para treinamento de IA.
Em fevereiro, foi revelado que o Google estava pagando ao Reddit mais de US$ 60 milhões por ano para obter acesso às postagens dos usuários para ajudar a treinar seus modelos de IA…
Reddit bloqueando todos os mecanismos de busca, exceto o Google
Reddit atualizado seu arquivo robots.txt para bloquear todos os mecanismos de busca. O arquivo informa a todos os rastreadores da web que eles não têm permissão para indexar o site, junto com uma mensagem explicativa.
O Reddit acredita em uma internet aberta, mas não no uso indevido de conteúdo público.
404 Mídia foi o primeiro a relatar isso, observando que outros mecanismos de busca pararam de retornar resultados de postagens feitas na semana passada.
Se você usa Bing, DuckDuckGo, Mojeek, Qwant ou qualquer outro mecanismo de busca alternativo que não dependa da indexação do Google e pesquise no Reddit usando “site:reddit.com,” você não verá nenhum resultado da última semana. O DuckDuckGo está atualmente exibindo sete links ao pesquisar no Reddit, mas não fornece dados sobre para onde os links vão ou por quê, em vez disso, apenas diz que “Gostaríamos de mostrar uma descrição aqui, mas o site não nos permite.”
A única exceção são os mecanismos de busca que compram seus resultados do Google.
Reddit faz declaração insustentável
O Reddit alegou que a mudança não estava relacionada ao acordo com o Google.
“Isso não tem nada a ver com nossa recente parceria com o Google. Não é preciso dizer que os resultados recentes do Reddit não estão aparecendo em mecanismos de busca que não sejam do Google por causa do nosso acordo recente com o Google”, disse-me o porta-voz do Reddit, Tim Rathschmidt, em um e-mail. Ele disse que o Reddit está bloqueando todos os rastreadores que não querem se comprometer a não usar dados de rastreamento para treinamento de IA, e que o Reddit tem “estado em discussões com vários mecanismos de busca. Não conseguimos chegar a acordos com todos eles, já que alguns são incapazes ou não querem fazer promessas executáveis sobre o uso do conteúdo do Reddit, incluindo seu uso para IA.”
No entanto, essa declaração não faz sentido, porque a única exceção é a empresa que paga a eles dezenas de milhões de dólares por ano pelo privilégio. Claramente, a empresa está dizendo aos mecanismos de busca que indexar o site para propósitos de IA agora é pagar para jogar.
Microsoft e Reddit em impasse
Engadget relata que a Microsoft está em discussão com o Reddit sobre permitir o acesso do Bing, mas os dois lados não conseguiram chegar a um acordo.
Uma fonte familiarizada com o pensamento do Reddit disse ao Engadget na quarta-feira que a omissão do Bing se deve à Microsoft se recusar a concordar com os termos do Reddit em relação ao rastreamento de IA. Em vez disso, o fabricante do Bing supostamente alegou que seus controles padrão da web eram suficientes. A fonte alega que a posição da Microsoft entra em conflito com a política de privacidade de dados do Reddit, levando ao impasse e aos resultados de pesquisa vazios.
Opinião do 9to5Mac
Como observado, a declaração do Reddit de que isso não tem nada a ver com dinheiro não se sustenta.
Se não for sobre dinheiro, então ou usar o Reddit para treinamento de IA é aceitável, e nesse caso todos os mecanismos de busca deveriam ser capazes de fazê-lo, ou não é aceitável, e nesse caso ele não deveria ter vendido esse acesso ao Google.
Este último acontecimento parece que deve irritar ainda mais os Redditors, depois da indignação anterior sobre o encerramento do popular aplicativo de terceiros Apollo e a remoção dos moderadores que protestaram.
Imagem: captura de tela do 9to5Mac em segundo plano por Chris Appano sobre Desaparecer