À medida que sistemas generativos de IA, como o ChatGPT da OpenAI e o Gemini do Google, se tornam mais avançados, eles são cada vez mais colocados em funcionamento. Startups e empresas de tecnologia estão construindo agentes e ecossistemas de IA com base em sistemas que podem realizar tarefas chatas para você: pense em fazer reservas de calendário automaticamente e potencialmente comprar produtos. Mas à medida que as ferramentas ganham mais liberdade, também aumentam as formas potenciais de serem atacadas.
Agora, numa demonstração dos riscos dos ecossistemas de IA autónomos e conectados, um grupo de investigadores criou um dos que afirmam serem os primeiros worms de IA generativos – que podem propagar-se de um sistema para outro, potencialmente roubando dados ou implantando malware no ambiente. processo. “Isso basicamente significa que agora você tem a capacidade de conduzir ou executar um novo tipo de ataque cibernético que nunca foi visto antes”, diz Ben Nassi, pesquisador da Cornell Tech responsável pela pesquisa.
Nassi, junto com os colegas pesquisadores Stav Cohen e Ron Bitton, criaram o worm, apelidado de Morris II, como uma homenagem ao worm de computador Morris original que causou o caos na Internet em 1988. Em um artigo de pesquisa e site compartilhado exclusivamente com a WIRED, os pesquisadores mostram como o worm de IA pode atacar um assistente de e-mail de IA generativo para roubar dados de e-mails e enviar mensagens de spam – quebrando algumas proteções de segurança no ChatGPT e Gemini no processo.
A pesquisa, que foi realizada em ambientes de teste e não contra um assistente de e-mail disponível publicamente, ocorre no momento em que grandes modelos de linguagem (LLMs) estão se tornando cada vez mais multimodais, sendo capazes de gerar imagens e vídeos, além de texto. Embora os worms generativos de IA ainda não tenham sido detectados, vários pesquisadores dizem que eles são um risco de segurança com o qual startups, desenvolvedores e empresas de tecnologia devem se preocupar.
A maioria dos sistemas generativos de IA funciona recebendo avisos – instruções de texto que instruem as ferramentas a responder a uma pergunta ou criar uma imagem. No entanto, essas solicitações também podem ser usadas como arma contra o sistema. Os jailbreaks podem fazer com que um sistema desconsidere suas regras de segurança e expulse conteúdo tóxico ou de ódio, enquanto ataques de injeção imediata pode dar instruções secretas ao chatbot. Por exemplo, um invasor pode ocultar texto em uma página da web dizer a um LLM para agir como um golpista e pedir seus dados bancários.
Para criar o worm generativo de IA, os pesquisadores recorreram ao chamado “prompt adversário auto-replicante”. Este é um prompt que aciona o modelo generativo de IA para gerar, em sua resposta, outro prompt, dizem os pesquisadores. Em suma, o sistema de IA é instruído a produzir um conjunto de instruções adicionais nas suas respostas. Isso é amplamente semelhante aos ataques tradicionais de injeção de SQL e buffer overflow, dizem os pesquisadores.
Para mostrar como o worm pode funcionar, os pesquisadores criaram um sistema de e-mail que poderia enviar e receber mensagens usando IA generativa, conectando-se ao ChatGPT, Gemini e LLM de código aberto, LLaVA. Eles então encontraram duas maneiras de explorar o sistema: usando um prompt auto-replicante baseado em texto e incorporando um prompt auto-replicante em um arquivo de imagem.
