Rite Aid, a rede de farmácias, usou tecnologia de reconhecimento facial para identificar falsa e desproporcionalmente pessoas de cor e mulheres como prováveis ladrões de lojas, disse a Comissão Federal de Comércio na terça-feira, descrevendo um sistema que envergonhou os clientes e levantou novas preocupações sobre os preconceitos incorporados a tais tecnologias .
Segundo os termos do acordo, a Rite Aid será proibida de usar tecnologia de reconhecimento facial em suas lojas para fins de vigilância por cinco anos, a FTC disse. A agência, que aplica as leis federais de proteção ao consumidor, parecia estar sinalizando a seriedade com que responderia às preocupações sobre a tecnologia de reconhecimento facial.
A denúncia de 54 páginas da FTC também esclareceu como uma preocupação outrora teórica – de que o preconceito humano se infiltraria nos algoritmos de inteligência artificial e amplificaria a discriminação – se tornou um motivo de preocupação no mundo real.
Samuel Levine, diretor do Bureau de Proteção ao Consumidor da FTC, disse em um comunicado que “o uso imprudente de sistemas de vigilância facial pela Rite Aid deixou seus clientes enfrentando humilhação e outros danos”.
De outubro de 2012 a julho de 2020, diz a denúncia, os funcionários da Rite Aid agindo com base em alertas falsos dos sistemas seguiram os clientes nas lojas, revistaram-nos, ordenaram que alguns saíssem e, caso se recusassem, chamaram a polícia para confrontá-los ou removê-los, às vezes. na frente de amigos e familiares.
As ações da Rite Aid afetaram desproporcionalmente pessoas de cor, especialmente negros, asiáticos e latinos, tudo em nome de manter “pessoas de interesse” fora de centenas de lojas Rite Aid em cidades como Nova York, Filadélfia e Sacramento, disse a FTC.
Rite Aid disse em um comunicado que embora discordasse das acusações da FTC, estava “satisfeita por chegar a um acordo”.
“As alegações referem-se a um programa piloto de tecnologia de reconhecimento facial que a empresa implantou em um número limitado de lojas”, disse a empresa. “A Rite Aid parou de usar a tecnologia neste pequeno grupo de lojas há mais de três anos, antes do início da investigação da FTC sobre o uso da tecnologia pela empresa.”
O acordo com a Rite Aid ocorre cerca de dois meses depois que a empresa entrou com pedido de recuperação judicial e anunciou planos de fechar 154 lojas em mais de 10 estados.
A Rite Aid estava a utilizar a tecnologia de reconhecimento facial enquanto as cadeias retalhistas soavam alarmes sobre furtos em lojas, especialmente “crime organizado no retalho”, em que várias pessoas roubam produtos de várias lojas para depois venderem no mercado negro.
Essas preocupações levaram várias lojas, incluindo a Rite Aid, a proteger as mercadorias, trancando grande parte delas em caixas de plástico.
Mas essas preocupações parecem ter sido exageradas. Este mês, a Federação Nacional do Retalho retirou a sua estimativa incorreta de que o crime organizado no retalho foi responsável por quase metade dos 94,5 mil milhões de dólares em mercadorias das lojas que desapareceram em 2021. Os especialistas dizem que o número está provavelmente mais próximo dos 5%.
A Rite Aid não informou aos clientes que estava usando a tecnologia em suas lojas e os funcionários foram “desencorajados de revelar tais informações”, disse a FTC.
Não está claro quantos outros varejistas estão usando tecnologia de reconhecimento facial para vigilância. Macy’s disse ao Business Insider que ele usa em algumas lojas. HomeDepot diz em seu site que coleta “informações biométricas, incluindo reconhecimento facial”.
Alvaro M. Bedoya, comissário da FTC, disse num comunicado que “o facto contundente de que a vigilância pode prejudicar as pessoas” não deve perder-se nas conversas sobre como a vigilância viola direitos e invade a privacidade.
“Há anos que está claro que os sistemas de reconhecimento facial podem funcionar de forma menos eficaz para pessoas com pele mais escura e mulheres”, disse Bedoya.
Woodrow Hartzog, professor de direito da Universidade de Boston que pesquisou tecnologias de reconhecimento facial e a FTC, disse que a denúncia da agência contra a Rite Aid mostra que ela vê a tecnologia de vigilância de IA como uma ameaça séria.
O alvo da denúncia da agência era significativo, disse o professor Hartzog. Embora a Rite Aid tenha contratado duas empresas não identificadas para ajudar a criar um banco de dados de pessoas que considerava propensas a furtar em lojas, a FTC só foi atrás da Rite Aid.
A FTC, disse ele, está basicamente dizendo que “o comportamento culposo que visamos é a falha em fazer a devida diligência ao trabalhar com outros fornecedores”.
A denúncia observa que a Rite Aid utilizou os sistemas de vigilância em áreas urbanas e ao longo das rotas de transporte público, levando a um efeito desproporcional sobre as pessoas de cor, disseram as autoridades.
Cerca de 80% das lojas Rite Aid estão em áreas onde os brancos constituem o maior grupo racial ou étnico. Mas 60 por cento das lojas Rite Aid que usavam a tecnologia de reconhecimento facial estavam em áreas onde os brancos não eram o maior grupo racial ou étnico, de acordo com a FTC.
A Rite Aid treinou trabalhadores de segurança nas suas lojas para alimentar imagens numa “base de dados de inscrição” de pessoas que considerava “pessoas de interesse”, e os funcionários foram instruídos a “pressionar pelo maior número possível de inscrições”. Os bancos de dados estavam repletos de imagens de baixa qualidade, muitas das quais obtidas de circuitos fechados de televisão, câmeras de celulares e reportagens da mídia, disse a FTC.
Esse sistema defeituoso, disseram as autoridades, causou milhares de “correspondências falso-positivas”, ou alertas que indicavam incorretamente que um cliente era “correspondente” a uma pessoa no banco de dados da Rite Aid. Pior ainda, a Rite Aid não tinha como rastrear falsos positivos, dizia a denúncia.
“A falha da Rite Aid em treinar ou supervisionar adequadamente os funcionários que operavam a tecnologia de reconhecimento facial aumentou ainda mais a probabilidade de danos aos consumidores”, disse a FTC.
Num caso, os funcionários da Rite Aid pararam e revistaram uma menina de 11 anos que o sistema havia sinalizado falsamente como uma pessoa com probabilidade de cometer furtos em lojas.
Em outro exemplo citado na denúncia, um homem negro escreveu à Rite Aid depois de ser vítima de uma correspondência de reconhecimento facial falso positivo.
“Quando entro em uma loja agora é estranho”, disse ele, acrescentando: “Todo homem negro não é um ladrão e nem deveria se sentir como um”.
