A carta dos legisladores também afirma que o NIST está a ser apressado para definir padrões, embora a investigação sobre testes de sistemas de IA esteja numa fase inicial. Como resultado, há “desacordo significativo” entre os especialistas em IA sobre como trabalhar ou mesmo medir e definir questões de segurança com a tecnologia, afirma. “O estado atual do campo de pesquisa de segurança de IA cria desafios para o NIST à medida que ele desempenha seu papel de liderança na questão”, afirma a carta.
A porta-voz do NIST, Jennifer Huergo, confirmou que a agência recebeu a carta e disse que “responderá através dos canais apropriados”.
O NIST está tomando algumas medidas que aumentariam a transparência, incluindo a emissão de um pedido de informação em 19 de dezembro, solicitando contribuições de especialistas externos e empresas sobre padrões para avaliação e formação de equipes em modelos de IA. Não está claro se esta foi uma resposta à carta enviada pelos membros do Congresso.
As preocupações levantadas pelos legisladores são partilhadas por alguns especialistas em IA que passaram anos a desenvolver formas de testar os sistemas de IA. “Como um órgão científico apartidário, o NIST é a melhor esperança para acabar com o hype e a especulação em torno do risco da IA”, diz Rumman Chowdhury, cientista de dados e CEO da Consultoria de Paridade especializado em testar modelos de IA para preconceitos e outros problemas. “Mas, para fazerem bem o seu trabalho, eles precisam de mais do que mandatos e votos de boa sorte.”
Yacine Jernite, líder de aprendizado de máquina e sociedade da Hugging Face, uma empresa que apoia projetos de IA de código aberto, diz que a grande tecnologia tem muito mais recursos do que a agência, que recebeu um papel fundamental na implementação do ambicioso plano de IA da Casa Branca. “O NIST tem feito um trabalho incrível para ajudar a gerir os riscos da IA, mas a pressão para encontrar soluções imediatas para problemas de longo prazo torna a sua missão extremamente difícil”, diz Jernite. sistemas de IA visíveis.”
Margaret Mitchell, cientista-chefe de ética da Hugging Face, diz que o crescente sigilo em torno dos modelos comerciais de IA torna a medição mais desafiadora para uma organização como o NIST. “Não podemos melhorar o que não podemos medir”, diz ela.
A ordem executiva da Casa Branca exige que o NIST execute várias tarefas, incluindo o estabelecimento de um novo Instituto de Segurança de Inteligência Artificial para apoiar o desenvolvimento de IA segura. Em abril, um grupo de trabalho do Reino Unido focado na segurança da IA foi anunciado. Receberá US$ 126 milhões em financiamento inicial.
A ordem executiva deu ao NIST um prazo agressivo para apresentar, entre outras coisas, diretrizes para avaliar modelos de IA, princípios para modelos de “red-teaming” (testes adversários), desenvolver um plano para fazer com que as nações aliadas dos EUA concordassem com os padrões do NIST. , e elaborar um plano para “promover padrões técnicos globais responsáveis para o desenvolvimento de IA”.
Embora não esteja claro como o NIST está se envolvendo com as grandes empresas de tecnologia, as discussões sobre a estrutura de gestão de risco do NIST, que ocorreram antes do anúncio da ordem executiva, envolveram a Microsoft; Anthropic, startup formada por ex-funcionários da OpenAI que está construindo modelos de IA de ponta; Parceria em IA, que representa grandes empresas de tecnologia; e o Future of Life Institute, uma organização sem fins lucrativos dedicada ao risco existencial, entre outros.
“Como cientista social quantitativo, adoro e odeio que as pessoas percebam que o poder está na medição”, diz Chowdhury.
