Este artigo faz parte de nossa seção especial no DealBook Summit, que incluiu líderes empresariais e políticos de todo o mundo.
Dario Amodei, presidente-executivo da empresa de IA Antrópico, coloca o seu entre 10 e 25 por cento. Lina Khan, presidente da Comissão Federal de Comércio, disse-me recentemente que está com 15%. E Emmett Shear, que atuou como executivo-chefe interino da OpenAI por cerca de cinco minutos no mês passado, disse que paira algo entre 5 e 50 por cento.
Estou falando, é claro, de p(doom), a nova estatística mórbida que está varrendo o Vale do Silício.
P(doom) – que significa “probabilidade de destruição” em matemática – é a forma como alguns investigadores de inteligência artificial falam sobre a probabilidade de acreditarem que a IA nos matará a todos ou criará algum outro cataclismo que ameace a sobrevivência humana. Um p(desgraça) alto significa que você acha que um apocalipse de IA é provável, enquanto um p(desgraça) baixo significa que você acha que provavelmente iremos resistir.
Outrora uma piada interna entre os nerds da IA em fóruns online, p(doom) se tornou popular nos últimos meses, à medida que o boom da IA desencadeado pelo ChatGPT no ano passado gerou temores generalizados sobre a rapidez com que a IA está melhorando.
Tornou-se um quebra-gelo comum entre os técnicos de São Francisco – e uma parte inevitável da cultura da IA. Estive em dois eventos de tecnologia este ano, onde um estranho pediu meu p (doom) tão casualmente como se estivesse pedindo informações sobre como chegar ao banheiro. “Isso surge em quase todas as conversas durante o jantar”, Aaron Levie, presidente-executivo do plataforma de dados em nuvem Boxme disse.
P(doom) até desempenhou um pequeno papel no drama OpenAI do mês passado. Depois que Shear foi nomeado líder interino da OpenAI, os funcionários começaram a circular um clipe de um podcast recente no qual o executivo afirmava que seu p(doom) poderia chegar a 50%. Alguns funcionários temiam que ele fosse um “destruidor” e que pudesse tentar desacelerar ou limitar o trabalho deles porque era muito arriscado, disse uma pessoa que testemunhou as discussões. (No final das contas, Sam Altman, presidente-executivo deposto da OpenAI, voltou, então isso não importou.)
Os fãs de ficção científica teorizam sobre a aquisição de robôs há anos, é claro. Mas depois do lançamento do ChatGPT no ano passado, a ameaça começou a parecer mais real. Afinal, se os modelos de IA ganhassem prémios de arte e passando no exame da ordemquão longe poderia estar o desastre?
Os membros da IA também estavam soando o alarme. Geoffrey Hinton, o proeminente pesquisador de IA que deixou o Google este ano e começou a alertar sobre os riscos da IA, recentemente estimado que se a IA não fosse fortemente regulamentada, havia 10% de probabilidade de levar à extinção humana nos próximos 30 anos. Yoshua Bengio, que junto com o Sr. Hinton é considerado um dos “padrinhos do aprendizado profundo”, disse a um entrevistador que ele achava que uma catástrofe de IA era cerca de 20% provável.
Ninguém sabe se a IA tem 10%, 20% ou 85,2% de probabilidade de nos matar, é claro. E há muitas questões óbvias de acompanhamento, tais como: Ainda seria considerado “desgraça” se apenas 50% dos humanos morressem em resultado da IA? E se ninguém morresse, mas todos acabássemos desempregados e miseráveis? E como a IA dominaria o mundo, afinal?
Mas o objetivo de p(doom) não é a precisão. É avaliar aproximadamente a posição de alguém no espectro da utopia à distopia e transmitir, em termos vagamente empíricos, que você pensou seriamente sobre a IA e seu impacto potencial.
O termo p(doom) parece ter se originado há mais de uma década em Menos errado, um quadro de mensagens online dedicado ao movimento filosófico racionalista.
O fundador da LessWrong, um pesquisador autodidata de IA chamado Eliezer Yudkowsky, chegou cedo à ideia de que uma IA desonesta poderia assumir o controle e escreveu sobre vários cenários de desastre de IA que ele imaginou. (Na época, a IA mal conseguia definir um cronômetro de cozinha, então o risco parecia bastante remoto.)
Yudkowsky, que desde então se tornou um dos líderes mundiais da IA os condenadores mais conhecidos, me disse que não foi ele quem originou o termo p(doom), embora tenha ajudado a popularizá-lo. (Ele também disse que seu p(desgraça), se as tendências atuais de IA continuarem, é “sim”.) O termo foi posteriormente adotado por membros do Movimento de Altruísmo Eficazque usam o raciocínio lógico para chegar a ideias sobre a bondade moral.
Meu melhor palpite é que o termo foi cunhado por Tim Tyler, um programador baseado em Boston que o usou no LessWrong começando em 2009. Em uma troca de e-mail, Tyler disse que estava usando o termo para “se referir à probabilidade de destruição sem ser muito específico sobre a escala de tempo ou a definição de ‘desgraça’”.
Para alguns, falar sobre o seu p(doom) é apenas conversa fiada. Mas também se tornou um sinal social importante no debate que trava em Silicon Valley entre pessoas que pensam que a IA está a avançar demasiado depressa e pessoas que pensam que ela deveria avançar ainda mais depressa.
Levie, presidente-executivo da Box, pertence ao campo mais otimista. Ele diz que seu p(doom) é muito baixo — não zero, mas “tão baixo quanto poderia ser” — e aposta que mitigaremos os grandes riscos da IA e evitaremos os piores resultados possíveis. A sua preocupação não é que a IA nos mate a todos, mas que os reguladores e legisladores aproveitem as assustadoras previsões de destruição como justificativa para reprimir um sector jovem e promissor.
“O exagero provavelmente ocorrerá se ele entrar em decisões políticas críticas muito cedo no desenvolvimento da IA”, disse ele.
Outro problema com p(doom) é que não está claro o que conta como boas ou más probabilidades, quando o que está em jogo é existencial. Você é realmente um otimista em relação à IA se prevê, por exemplo, que há 15% de chance de que a IA mate todos os seres humanos na Terra? (Dito de outra forma: se você pensasse que havia “apenas” 15% de chance de que o próximo avião em que você embarcasse caísse e matasse todos a bordo, você entraria no avião?)
Ajeya Cotra, pesquisadora sênior da Filantropia Aberta que estuda o risco da IA, passou muito tempo pensando em p(doom). Ela acha que é potencialmente útil como uma forma abreviada – seu p(doom) está entre 20 e 30 por cento, para que conste – mas ela também vê seus limites. Para começar, p(doom) não leva em conta que a probabilidade de danos associados à IA depende em grande parte de como escolhemos governá-la.
“Conheço algumas pessoas que têm um ap(doom) superior a 90 por cento, e é tão elevado, em parte porque pensam que as empresas e os governos não se preocuparão com boas práticas de segurança e medidas políticas”, disse-me ela. “Conheço outros que têm um ap(doom) inferior a 5 por cento, e é tão baixo, em parte porque esperam que os cientistas e os decisores políticos trabalhem arduamente para evitar danos catastróficos antes que estes ocorram.”
Em outras palavras, você poderia pensar em p(doom) como uma espécie de teste de Rorschach – uma estatística que deveria ser sobre IA, mas que em última análise revela mais sobre como nos sentimos em relação a IA. humanose a nossa capacidade de utilizar novas tecnologias poderosas, mantendo ao mesmo tempo os seus riscos sob controlo.
Então, qual é o seu?
