Em 2016, Elon Musk afirmou que os carros da Tesla poderiam “dirigir de forma autônoma e com maior segurança do que uma pessoa. Agora mesmo.” Foi uma mentira, que fez disparar o preço das ações da Tesla – e fez de Musk uma das pessoas mais ricas do planeta. Essa mentira está agora a desmoronar-se face a um novo recall de 2 milhões de Teslas. Também está revelando ao público em geral o que os observadores mais atentos da Tesla sempre souberam (e a própria empresa admite nas letras miúdas de seus acordos legais): a chamada tecnologia de “direção autônoma” da Tesla funciona bem – desde que haja um ser humano por trás. o volante, sempre alerta.
De todos os escândalos ao longo da última década de excesso alimentado por capital de risco, a abordagem perigosa e exagerada da Tesla para conduzir a tecnologia de automação tem sido uma das mais importantes, mas também uma das mais escondidas à vista de todos. Assim como o Turco Mecânico de 1770, todos estão tão focados na tecnologia em si que perderam os fatores humanos que impulsionam todo o espetáculo. De forma igualmente preocupante, os reguladores não perceberam que forçar os humanos a cuidar de sistemas incompletos introduz riscos inteiramente novos para as vias públicas.
Se você ler o aviso oficial do recall da Tesla de mais de dois milhões de veículos equipados com piloto automático, o que chama a atenção é que não se trata realmente de um defeito na tecnologia do piloto automático em si. Pelo menos não no sentido de que as câmeras do sistema estejam quebrando, ou que seu software esteja vendo luzes vermelhas como luzes verdes, ou que sua IA esteja fazendo escolhas perturbadoras em exercícios de “problemas no carrinho” ou algo assim. O problema, por incrível que pareça, tem tudo a ver com os humanos.
Os humanos, revela a tagarelice regulatória, às vezes fazem as coisas mais estranhas. Acontece que quando um ser humano utiliza um sistema de “assistência à condução” que dirige, trava e acelera por ele, por vezes deixa de prestar atenção à estrada. Isso não seria um problema se os Teslas pudessem realmente dirigir com segurança, e a empresa assumisse a responsabilidade legal pelas ações que seu software realiza ao navegar em veículos de 5.000 libras em vias públicas. Mas como nada disso é verdade, os usuários devem estar preparados para resgatar o Autopilot de si mesmo a qualquer momento, ou enfrentar o fato de ele os levar contra um objeto em alta velocidade – talvez um caminhão virando em sua pista – como aconteceu. aconteceu em varias ocasiões.
Resumindo, quando o ser humano deixa de prestar atenção, é um problema tão grande como se uma câmera ou sensor de radar fosse desconectado do computador que executa o código. O que faz todo o sentido quando você lê ainda mais profundamente as letras miúdas de Tesla e descobre que o proprietário o proprietário assume toda a responsabilidade legal por tudo o que o sistema faz, sempre. Ao dizer aos seus clientes que os seus carros são quase autónomos e ao projetá-los sem grades de proteção, a Tesla induz a desatenção apenas para culpar a vítima. (A empresa não respondeu a um pedido de comentário para este artigo.)
Para ser claro, se os humanos fossem uma parte fabricada do sistema Autopilot, seus projetistas teriam levado em conta um defeito nosso bem conhecido: quando ficamos entediados, paramos de prestar atenção. Um artigo de 1983 apontando as “ironias da automação” apontou um problema que remonta a pesquisa comportamental do início do século 20: se a automação assumir grande parte de uma tarefa, o ser humano ficará desatento e poderá perder a parte crítica da tarefa para a qual é necessário, especialmente se for urgente, como assumir o controle para evitar um acidente. Não se trata de ser um mau motorista ou uma má pessoa, nenhum ser humano pode monitorar uma tarefa chata para sempre sem eventualmente ficar desatento, deixando-o incapaz de fazer uma manobra de resgate complexa num segundo.
É claro que tudo isso também foi bem compreendido no contexto específico do piloto automático durante anos. Após as primeiras mortes do piloto automático relatadas publicamente – em 2016, quando Musk dizia que eles já dirigiam de forma autônoma e mais segura do que os humanos – o National Transportation Safety Board começou a investigar acidentes envolvendo o piloto automático. Em três fatal falhas, dois deles em circunstâncias quase idênticas, os motoristas morreram porque não estavam prestando atenção quando seu Tesla os levou a um obstáculo inesperado em alta velocidade. Nos dois acidentes quase idênticos na Flórida, o sistema estava ativo em uma estrada para a qual não foi projetado.
O que o NTSB encontrou nesses três acidentes não foi um defeito singular no sistema de condução autónoma do Autopilot em si, porque do ponto de vista legal o Autopilot não estava a conduzir tecnicamente. Ao chamar o Autopilot de um sistema de assistência ao motorista denominado “Nível 2” (usando os níveis misteriosos de taxonomia de automação da Society for Automotive Engineering), Tesla criou uma tecnologia que automatiza os principais controles do carro, mas deixa o motorista humano legalmente no comando. A falta de monitoramento do motorista, de sistemas para manter o ser humano envolvido com a responsabilidade legal e final pela segurança, era uma peça fundamental que faltava. Combine isso com a capacidade de ativar o sistema em qualquer lugar, mesmo em estradas para as quais Tesla diz que não foi projetado, e você terá o novo horror bizarro de humanos desviando o olhar enquanto a automação em que eles confiam demais os leva a objetos facilmente evitáveis (se inesperados). .
Devido a uma peculiaridade da concepção regulamentar, o NTSB tem o padrão ouro de capacidades de investigação de acidentes, mas não tem poder para fazer mais do que fazer recomendações com base nas suas conclusões. Depois de investigar três acidentes fatais, o conselho implorou à agência com poder regulatório real, a Administração Nacional de Segurança no Trânsito Rodoviário, que tomasse medidas, mas nenhuma ação foi tomada. Tanto a NHTSA como a Tesla ignoraram as evidências de três investigações aprofundadas que apontaram esta combinação fatal de falhas no design do Autopilot.
Pelo menos até 2021, de acordo com o novo aviso de recall, quando a NHTSA abriu uma investigação sobre nada menos que 11 acidentes envolvendo pilotos automáticos em veículos de resposta a emergências. A essa altura, Musk já havia feito o MC numerosos alta do preço das ações eventos de hype em torno da tecnologia e vem coletando depósitos de clientes desde o final de 2016 para uma versão “Full Self-Driving” da tecnologia. Apesar das mortes relatadas e evidência clara que o único vídeo de um Tesla sem motorista era fortemente encenadoaté Musk admite que o seu entusiasmo em torno da tecnologia de condução autónoma tem sido o factor central no recente crescimento da sua riqueza a proporções titânicas.
Mas é claro que tudo isso depende das costas de humanos atrás de volantes, o que Madeline Clare Elish chama de “Zonas de deformação moral.”A Tesla mantém essas esponjas de responsabilidade pagantes ao volante, em grande parte devido à força de uma mentira estatística: que o piloto automático é mais seguro do que os motoristas humanos. Tesla tem feito oficialmente esta afirmação em seu “Relatórios Trimestrais de Segurança” desde 2018 (embora Musk já o faça há mais tempo), apesar de a sua ampla comparação estatística não ter em conta nenhum dos factores mais conhecidos que afectam a segurança rodoviária. Quando o pesquisador de segurança viária Noah Goodall ajustou os melhores dados publicamente disponíveis para fatores como tipo de estrada e idade do motorista em um artigo revisado por paresa afirmação da Tesla de uma redução de 43% nos acidentes se transformou em um aumento de 11% nos acidentes.
Se Tesla tivesse projetado um sistema semelhante ao piloto automático com o objetivo de aumentar a segurança, combinaria os pontos fortes das tecnologias de sensores com o incrível poder cognitivo de um ser humano, criando um sistema “ciborgue” aumentado com o ser humano no centro. Em vez disso, construiu um simulacro de um sistema autónomo, um espectáculo tanto para os consumidores como para Wall Street, que impulsionou os lucros e os preços das acções à custa de qualquer pessoa que estivesse a olhar para o seu telefone quando o sistema cometeu um erro. Em vez de aumentar a nossa segurança como condutores, o Autopilot obriga os humanos a esperar atentamente para responder no momento em que algo corre mal, o tipo de “tarefa de vigilância” em que os humanos são notoriamente ruins.
Agora que foi flagrado vendendo um simulacro de direção autônoma e exagerando seus benefícios de segurança, a resposta da Tesla é a de sempre: ela pode consertar tudo isso com uma atualização de software. Como a Tesla não consegue instalar câmeras infravermelhas de rastreamento ocular ou estradas aprovadas por mapas a laser, como os sistemas concorrentes fazem com uma mera atualização de software, a NHTSA tem que seguir em frente. A única coisa que a Tesla pode fazer por software é bombardear constantemente os motoristas com avisos para lembrá-los da verdade que eles ocultaram por tanto tempo: você está realmente no controle aqui, preste atenção, o sistema não irá mantê-lo seguro.
Mas mesmo na pequena vitória de forçar um recall com base em fatores humanos, a NHTSA contribuiu, à sua pequena maneira, para a crescente compreensão de que as afirmações da Tesla sobre a sua tecnologia são falsas e inseguras. Musk vem discutindo desde 2019 que a tecnologia de direção autônoma da Tesla estava progredindo tão rápido que adicionar monitoramento do motorista não faria sentido, e qualquer intervenção humana apenas introduziria erros no sistema. Depois de dar-lhe quatro anos de benefício da dúvida, a NHTSA está finalmente pagando o blefe.
Embora não seja um esforço heróico para proteger as vias públicas, este recall abre a porta para uma ação mais ampla. O Departamento de Justiça realizou investigações já há algum tempo na “condução totalmente autónoma” da Tesla, e a admissão tácita de que os humanos ainda são o factor crítico de segurança no sistema de condução autónoma da Tesla pode ser um prelúdio para uma fiscalização mais vigorosa. Mais importante ainda, fornece munição para um exército de advogados famintos por danos pessoais destruir a pilha de dinheiro da Tesla num frenesi crescente de litígios civis.
Se o fim da incursão perigosa e enganosa de Tesla na tecnologia de direção autônoma está chegando, ele não poderá chegar em breve. Enquanto o homem mais rico do mundo chegou lá, pelo menos em parte, introduzindo novos riscos nas vias públicas, o seu sucesso constitui um exemplo preocupante para futuros aspirantes a uma riqueza enorme. Por medo apenas desse exemplo, esperemos que este recall seja apenas o começo da ação regulatória contra o Autopilot.
Ed Niedermeyer é o autor de Ridículo: a história nua e crua da Tesla Motorse co-anfitrião de O Autonocast. Ele cobriu e comentou sobre carros e tecnologia de mobilidade para diversos veículos desde 2008.
