Fou ao longo de uma década, as empresas apostaram numa regra prática tentadora: a de que os sistemas de inteligência artificial continuariam a ficar mais inteligentes se encontrassem formas de continuar a torná-los maiores. Isto não foi apenas uma ilusão. Em 2017, pesquisadores da empresa chinesa de tecnologia Baidu demonstrado que colocar mais dados e poder computacional em algoritmos de aprendizado de máquina rendeu melhorias matematicamente previsíveis – independentemente de o sistema ter sido projetado para reconhecer imagens, fala ou gerar linguagem. Observando a mesma tendência, em 2020, OpenAI cunhou o termo “leis de escala”, que desde então se tornou uma pedra de toque da indústria.
Esta tese levou as empresas de IA a apostar centenas de milhões em clusters e conjuntos de dados de computação cada vez maiores. A aposta valeu a pena, transformando máquinas de texto rudimentares nos chatbots articulados de hoje.
Mas agora, esse evangelho do tipo “maior é melhor” está sendo questionado.
Na semana passada, relatórios de Reuters e Bloomberg sugeriram que as principais empresas de IA estão a registar retornos decrescentes na expansão dos seus sistemas de IA. Dias antes, A informação relatou dúvidas na OpenAI sobre o avanço contínuo depois que o modelo Orion não lançado não atendeu às expectativas nos testes internos. Os co-fundadores da Andreessen Horowitz, uma importante empresa de capital de risco do Vale do Silício, ecoou esses sentimentosobservando que o aumento do poder de computação não está mais produzindo as mesmas “melhorias de inteligência”.
O que as empresas de tecnologia estão dizendo?
Porém, muitas empresas líderes de IA parecem confiantes de que o progresso está avançando a todo vapor. Em comunicado, um porta-voz da Anthropic, desenvolvedora do popular chatbot Claude, disse que “não vimos nenhum sinal de desvio das leis de escala”. OpenAI se recusou a comentar. O Google DeepMind não respondeu aos comentários. No entanto, na semana passada, depois que uma nova versão experimental do modelo Gemini do Google assumiu o primeiro lugar do GPT-4o em um popular ranking de desempenho de IA, o CEO da empresa, Sundar Pichai postado em X dizendo “mais por vir”.
Lançamentos recentes pintam um quadro um tanto confuso. A Anthropic atualizou seu modelo de médio porte, Sonnet, duas vezes desde seu lançamento em março, tornando-o mais capaz que o maior modelo da empresa, Opus, que não recebeu tais atualizações. Em junho, a empresa disse Opus seria atualizado “ainda este ano”, mas na semana passada, falando no podcast Lex Fridman, o cofundador e CEO Dario Amodei recusou para fornecer um cronograma específico. O Google atualizou seu modelo menor Gemini Pro em fevereiro, mas o modelo maior Gemini Ultra da empresa ainda não recebeu uma atualização. O modelo o1-preview lançado recentemente da OpenAI supera o GPT-4o em vários benchmarks, mas em outros fica aquém. o1-visualização era supostamente chamado internamente de “GPT-4o com raciocínio”, sugerindo que o modelo subjacente é semelhante em escala ao GPT-4.
A análise da verdade é complicada por interesses conflitantes de todos os lados. Se a Anthropic não conseguir produzir modelos mais poderosos, “fracassamos profundamente como empresa”, disse Amodei. disse na semana passada, oferecendo um vislumbre do que está em jogo para as empresas de IA que apostaram o seu futuro no progresso implacável. Uma desaceleração poderá assustar os investidores e desencadear um acerto de contas económico. Enquanto isso, Ilya Sutskever, ex-cientista-chefe da OpenAI e que já foi um fervoroso defensor do escalonamento, agora diz os ganhos de desempenho de modelos maiores estagnaram. Mas a sua posição carrega a sua própria bagagem: a nova start-up de IA da Suskever, a Safe Superintelligence Inc., foi lançada em Junho com menos financiamento e poder de fogo computacional do que os seus rivais. Uma análise da hipótese de escala ajudaria convenientemente a nivelar o campo de jogo.
“Eles tinham coisas que pensavam serem leis matemáticas e estavam fazendo previsões relativas a essas leis matemáticas, mas os sistemas não as cumpriam”, diz Gary Marcus, uma das principais vozes em IA e autor de vários livros, incluindo Domando o Vale do Silício. Ele diz que os relatórios recentes de rendimentos decrescentes sugerem que finalmente “batemos num muro” – algo que ele alertou que poderia acontecer desde 2022. “Eu não sabia exatamente quando isso aconteceria e conseguimos mais alguns progressos. Agora parece que estamos presos”, diz ele.
Uma desaceleração pode ser um reflexo dos limites das atuais técnicas de aprendizagem profunda ou simplesmente que “não há mais dados novos suficientes”, diz Marcus. É uma hipótese que ganhou terreno entre alguns que acompanham de perto a IA. Sasha Luccioni, líder de IA e clima da Hugging Face, diz que há limites para a quantidade de informação que pode ser aprendida a partir de textos e imagens. Ela aponta como as pessoas são mais propensas a interpretar mal suas intenções por meio de mensagens de texto, em vez de pessoalmente, como um exemplo das limitações dos dados de texto. “Acho que é assim com os modelos de linguagem”, diz ela.
A falta de dados é particularmente grave em certos domínios como o raciocínio e a matemática, onde “simplesmente não temos tantos dados de alta qualidade”, afirma Ege Erdil, investigador sénior da Epoch AI, uma organização sem fins lucrativos que estuda tendências no desenvolvimento da IA. Isso não significa que o dimensionamento provavelmente irá parar – apenas que o dimensionamento por si só pode ser insuficiente. “A cada aumento de ordem de grandeza, é necessário encontrar diferentes inovações”, diz ele, observando que isso não significa que o progresso da IA irá abrandar em geral.
Não é a primeira vez que os críticos declaram que a escalada está morta. “Em cada estágio da expansão, sempre há argumentos”, Amodei disse semana passada. “O mais recente que temos hoje é: ‘vamos ficar sem dados, ou os dados não são de alta qualidade o suficiente ou os modelos não conseguem raciocinar.’ vezes suficientes para realmente acreditar que provavelmente a escalada continuará”, disse ele. Refletindo sobre os primeiros dias da OpenAI em Podcast do Y-CombinatorCEO da empresa Sam Altman atribuiu parcialmente ao sucesso da empresa um “nível religioso de crença” na expansão – um conceito que ele diz ter sido considerado “herético” na época. Em resposta a um recente postar no X de Marcus dizendo que suas previsões de retornos decrescentes estavam certas, Altman postado dizendo “não há muro”.
Embora possa haver outra razão para estarmos ouvindo ecos de novos modelos que não atendem às expectativas internas, diz Jaime Sevilla, diretor da Epoch AI. Após conversas com pessoas da OpenAI e da Anthropic, ele percebeu que as pessoas tinham expectativas extremamente altas. “Eles esperavam que a IA fosse capaz de escrever uma tese de doutorado”, diz ele. “Talvez pareça um pouco… anticlimático.”
Uma calmaria temporária não sinaliza necessariamente uma desaceleração mais ampla, diz Sevilla. A história mostra lacunas significativas entre os principais avanços: o GPT-4, lançado há apenas 19 meses, chegou 33 meses depois do GPT-3. “Tendemos a esquecer que o GPT três do GPT quatro tinha uma escala de computação de 100x”, diz Sevilla. “Se você quiser fazer algo 100 vezes maior que o GPT-4, precisará de até um milhão de GPUs”, diz Sevilla. Isso é maior do que qualquer cluster conhecido atualmente existente, embora ele observe que houve esforços conjuntos para construir infraestrutura de IA este ano, como o supercomputador de 100.000 GPUs de Elon Musk em Memphis – o maior de seu tipo – que foi supostamente construído do início ao fim em três meses.
Nesse ínterim, as empresas de IA provavelmente estarão explorando outros métodos para melhorar o desempenho após o treinamento de um modelo. A visualização o1 do OpenAI tem foi anunciado como um exemplo, que supera os modelos anteriores em problemas de raciocínio ao ter mais tempo para pensar. “Isso é algo que já sabíamos que era possível”, diz Sevilla, apontando para uma IA da Epoch relatório publicado em julho de 2023.
Implicações políticas e geopolíticas
Diagnosticar prematuramente uma desaceleração pode ter repercussões além do Vale do Silício e de Wall St. A velocidade percebida do avanço tecnológico após o lançamento do GPT-4 gerou um carta aberta apelando a uma pausa de seis meses na formação de sistemas maiores para dar aos investigadores e aos governos uma oportunidade de recuperar o atraso. A carta atraiu mais de 30.000 signatários, incluindo Yoshua Bengio, ganhador do prêmio Musk e Turing. É uma questão em aberto se uma desaceleração percebida poderia ter o efeito oposto, fazendo com que a segurança da IA saísse da agenda.
Grande parte da política de IA dos EUA foi construída com base na crença de que os sistemas de IA continuariam a aumentar de tamanho. Uma disposição da ampla ordem executiva de Biden sobre IA, assinada em outubro de 2023 (e que deverá ser revogada pela Casa Branca de Trump) exigia que os desenvolvedores de IA compartilhassem informações com o governo sobre modelos treinados usando poder de computação acima de um determinado limite. Esse limiar foi estabelecido acima dos maiores modelos disponíveis na altura, no pressuposto de que visaria futuros modelos maiores. Esta mesma suposição sustenta as restrições à exportação (restrições à venda de chips e tecnologias de IA a determinados países) concebidas para limitar o acesso da China aos poderosos semicondutores necessários para construir grandes modelos de IA. No entanto, se os avanços no desenvolvimento da IA começarem a depender menos do poder computacional e mais de factores como melhores algoritmos ou técnicas especializadas, estas restrições poderão ter um impacto menor no abrandamento do progresso da IA na China.
“A coisa mais abrangente que os EUA precisam de compreender é que, até certo ponto, os controlos de exportação foram construídos com base numa teoria de cronogramas da tecnologia”, diz Scott Singer, investigador visitante do Programa de Tecnologia e Assuntos Internacionais do Carnegie Endowment for International. Paz. Num mundo onde os EUA “estagnam na fronteira”, diz ele, poderíamos ver um impulso nacional para impulsionar avanços na IA. Ele diz que uma queda na liderança percebida dos EUA em IA poderia estimular uma maior disposição para negociar com a China sobre princípios de segurança.
Ainda não se sabe se estamos vendo uma desaceleração genuína ou apenas mais uma pausa antes de um salto. “Não está claro para mim se alguns meses são um ponto de referência suficientemente substancial”, diz Singer. “Você poderia atingir um patamar e, em seguida, obter ganhos extremamente rápidos.”
