Em resposta ao pedido de liberdade de informação da WIRED, o TfL afirma que usou imagens CCTV existentes, algoritmos de IA e “numerosos modelos de detecção” para detectar padrões de comportamento. “Ao fornecer aos funcionários da estação insights e notificações sobre o movimento e comportamento dos clientes, esperamos que eles sejam capazes de responder a qualquer situação mais rapidamente”, diz a resposta. Afirma também que o ensaio forneceu informações sobre a evasão tarifária que “nos ajudarão nas nossas futuras abordagens e intervenções”, e os dados recolhidos estão em linha com a sua políticas de dados.
Numa declaração enviada após a publicação deste artigo, Mandy McGregor, chefe de política e segurança comunitária do TfL, afirma que os resultados do ensaio continuam a ser analisados e acrescenta: “não houve evidência de parcialidade” nos dados recolhidos no ensaio. Durante o julgamento, diz McGregor, não havia placas na estação que mencionassem os testes de ferramentas de vigilância de IA.
“Estamos atualmente considerando o desenho e o escopo de uma segunda fase do teste. Nenhuma outra decisão foi tomada sobre a expansão do uso desta tecnologia, seja para outras estações ou para adicionar capacidade.” McGregor diz. “Qualquer implementação mais ampla da tecnologia além de um projeto piloto dependeria de uma consulta completa com as comunidades locais e outras partes interessadas relevantes, incluindo especialistas na área.”
Sistemas de visão computacional, como os usados no teste, funcionam tentando detectar objetos e pessoas em imagens e vídeos. Durante o teste de Londres, algoritmos treinados para detectar determinados comportamentos ou movimentos foram combinados com imagens das câmeras CCTV da estação de metrô com 20 anos de idade – analisando imagens a cada décimo de segundo. Quando o sistema detectava um dos 11 comportamentos ou eventos identificados como problemáticos, ele emitia um alerta para os iPads ou computadores dos funcionários da estação. A equipe do TfL recebeu 19 mil alertas para potencialmente agir e outros 25 mil mantidos para fins analíticos, dizem os documentos.
As categorias que o sistema tentou identificar foram: movimento de multidões, acesso não autorizado, salvaguarda, assistência à mobilidade, crime e comportamento anti-social, pessoas nas pistas, pessoas feridas ou doentes, perigos como lixo ou piso molhado, itens abandonados, clientes retidos e evasão tarifária. Cada um tem várias subcategorias.
Daniel Leufer, analista político sénior do grupo de direitos digitais Access Now, diz que sempre que vê qualquer sistema a fazer este tipo de monitorização, a primeira coisa que procura é se está a tentar detectar agressão ou crime. “As câmeras farão isso identificando a linguagem corporal e o comportamento”, diz ele. “Que tipo de conjunto de dados você terá para treinar algo sobre isso?”
O relatório do TfL sobre o julgamento diz que “queria incluir atos de agressão”, mas descobriu que era “incapaz de detectá-los com sucesso”. Acrescenta que faltaram dados de treino – outras razões para não incluir actos de agressão foram ocultadas. Em vez disso, o sistema emitia um alerta quando alguém levantava os braços, descrito nos documentos como um “comportamento comum ligado a atos de agressão”.
“Os dados de treinamento são sempre insuficientes porque essas coisas são provavelmente muito complexas e matizadas para serem capturadas adequadamente em conjuntos de dados com as nuances necessárias”, diz Leufer, observando que é positivo que a TfL tenha reconhecido que não tinha dados de treinamento suficientes. “Estou extremamente cético sobre se os sistemas de aprendizado de máquina podem ser usados para detectar agressões de maneira confiável, de uma forma que não seja simplesmente uma replicação dos preconceitos sociais existentes sobre que tipo de comportamento é aceitável em espaços públicos.” Houve um total de 66 alertas de comportamento agressivo, incluindo dados de testes, de acordo com os documentos recebidos pela WIRED.
