Ela não conseguiu um apartamento por causa de uma pontuação gerada por IA – e processou para ajudar outras pessoas a evitar o mesmo destino | Inteligência synthetic (IA)

Ttrezentos e vinte e quatro. Essa foi a pontuação que Mary Louis recebeu por uma ferramenta de triagem de inquilinos com tecnologia de IA. O software program SafeRent não explicou em seu relatório de 11 páginas como a pontuação foi calculada ou como ela pesou vários fatores. Não disse o que a pontuação realmente significava. Apenas exibiu o número de Louis e determinou que period muito baixo. Numa caixa ao lado do resultado, o relatório dizia: “Recomendação de pontuação: DECLINE”.

Louis, que trabalha como segurança, solicitou um apartamento no leste Massachussets subúrbio. No momento em que visitou a unidade, a administradora disse que ela não teria problemas para ter sua inscrição aceita. Embora ela tivesse uma pontuação de crédito baixa e algumas dívidas de cartão de crédito, ela teve uma excelente referência de seu senhorio de 17 anos, que disse que ela sempre pagava o aluguel em dia. Ela também usaria um voucher para locatários de baixa renda, garantindo que a administradora receberia pelo menos uma parte do aluguel mensal em pagamentos do governo. Seu filho, também citado no voucher, tinha uma pontuação de crédito alta, indicando que ele poderia servir como proteção contra pagamentos perdidos.

Mas em maio de 2021, mais de dois meses depois de ela ter solicitado o apartamento, a administradora enviou um e-mail a Louis para informá-la de que um programa de computador havia rejeitado seu pedido. Ela precisava ter uma pontuação de pelo menos 443 para que sua inscrição fosse aceita. Não houve mais explicações e não houve forma de recorrer da decisão.

“Mary, lamentamos informar que o serviço terceirizado que utilizamos para selecionar todos os possíveis inquilinos negou sua locação”, dizia o e-mail. “Infelizmente, a pontuação de locação SafeRent do serviço foi inferior ao permitido pelos nossos padrões de locação.”

Um inquilino processa

Louis teve que alugar um apartamento mais caro. A gerência não a pontuou por meio de algoritmos. Mas ela descobriu que sua experiência com a SafeRent não foi única. Ela fazia parte de uma classe de mais de 400 inquilinos negros e hispânicos em Massachusetts que usam vale-moradia e disse que seus pedidos de aluguel foram rejeitados devido à pontuação do SafeRent.

Em 2022, eles se uniram para processar a empresa no âmbito da Feira Habitação Act, alegando que a SafeRent os discriminou. Louis e a outra demandante citada, Monica Douglas, alegaram que o algoritmo da empresa pontuou desproporcionalmente os locatários negros e hispânicos que usam vales de habitação inferiores aos dos candidatos brancos. Eles alegaram que o software program avaliou incorretamente informações irrelevantes da conta sobre se seriam bons inquilinos – pontuações de crédito, dívidas não relacionadas à habitação – mas não levou em consideração o fato de que usariam um vale-moradia. Estudos demonstraram que os candidatos negros e hispânicos a arrendamento têm maior probabilidade de ter pontuações de crédito mais baixas e de utilizar vales de habitação do que os candidatos brancos.

“Foi uma perda de tempo esperar por um declínio”, disse Louis. “Eu sabia que meu crédito não period bom. Mas a IA não conhece meu comportamento – ela sabia que eu estava atrasado no pagamento do meu cartão de crédito, mas não sabia que eu sempre pago meu aluguel.”

Dois anos se passaram desde que o grupo processou a SafeRent pela primeira vez – tanto tempo que Louis diz que ela seguiu em frente com sua vida e praticamente se esqueceu do processo, embora ela fosse uma das duas únicas demandantes nomeadas. Mas as suas ações ainda podem proteger outros inquilinos que utilizam programas de habitação semelhantes, conhecidos como vouchers da Secção 8 para o seu lugar no código authorized federal dos EUA, de perderem habitação devido a uma pontuação determinada por algoritmos.

SafeRent fez um acordo com Louis e Douglas. Além de fazer um pagamento de US$ 2,3 milhões, a empresa concordou em parar de usar um sistema de pontuação ou fazer qualquer tipo de recomendação quando se tratasse de possíveis inquilinos que usaram vale-moradia por cinco anos. Embora a SafeRent não admitisse legalmente qualquer irregularidade, é raro que uma empresa de tecnologia aceite alterações nos seus produtos principais como parte de um acordo; o resultado mais comum de tais acordos seria um acordo financeiro.

“Embora a SafeRent proceed a acreditar que as pontuações SRS cumprem todas as leis aplicáveis, o litígio é demorado e caro”, disse Yazmin Lopez, porta-voz da empresa, em comunicado. “Tornou-se cada vez mais claro que defender a pontuação SRS neste caso desviaria tempo e recursos que a SafeRent pode utilizar melhor para cumprir a sua missão principal de fornecer aos fornecedores de habitação as ferramentas de que necessitam para selecionar os candidatos.”

Seu novo proprietário de IA

Sistemas de triagem de inquilinos como o SafeRent são frequentemente usados ​​como uma forma de “evitar o envolvimento” direto com os candidatos e transferir a culpa pela negação para um sistema de computador, disse Todd Kaplan, um dos advogados que representam Louis e a classe de demandantes que processou o empresa.

A empresa de gestão de propriedades disse a Louis que o software program decidiu sozinho rejeitá-la, mas o relatório da SafeRent indicou que foi a empresa de gestão que estabeleceu o limite para a pontuação necessária de alguém para que sua inscrição fosse aceita.

Ainda assim, mesmo para as pessoas envolvidas no processo de candidatura, o funcionamento do algoritmo é opaco. A administradora da propriedade que mostrou o apartamento a Louis disse que não through por que Louis teria problemas para alugar o apartamento.

“Eles estão colocando um monte de informações e a SafeRent está criando seu próprio sistema de pontuação”, disse Kaplan. “Torna mais difícil para as pessoas preverem como a SafeRent as verá. Não apenas para os inquilinos que estão se inscrevendo, até mesmo os proprietários não conhecem os detalhes da pontuação do SafeRent.”

Como parte do acordo de Louis com a SafeRent, que foi aprovado em 20 de novembro, a empresa não pode mais usar um sistema de pontuação ou recomendar se aceita ou recusa um inquilino se ele estiver usando um vale-moradia. Se a empresa apresentar um novo sistema de pontuação, ela será obrigada a validá-lo de forma independente por uma organização de habitação justa terceirizada.

“Remover a determinação positiva e negativa realmente permite que o inquilino diga: 'Sou um ótimo inquilino'”, disse Kaplan. “Isso torna a determinação muito mais individualizada.”

pular a promoção do boletim informativo

após a promoção do boletim informativo

A IA se espalha para partes fundamentais da vida

Quase todas as 92 milhões de pessoas consideradas de baixa renda nos EUA foram expostas à tomada de decisões de IA em partes fundamentais da vida, como emprego, habitação, medicina, escolaridade ou assistência governamental, de acordo com um estudo. novo relatório sobre os danos da IA pelo advogado Kevin de Liban, que representou pessoas de baixa renda como parte da Authorized Support Society. O fundador de uma nova organização de justiça de IA chamada Justiça TechTonicDe Liban começou a investigar estes sistemas em 2016, quando foi abordado por pacientes com deficiência no Arkansas, que subitamente deixaram de receber tantas horas de cuidados domiciliários financiados pelo Estado devido à tomada de decisões automatizadas que cortavam a intervenção humana. Num caso, a dispensa estatal do Medicaid baseava-se num programa que determinava que um paciente não tinha quaisquer problemas com o pé porque este tinha sido amputado.

“Isso me fez perceber que não deveríamos adiar (os sistemas de IA) como uma espécie de forma extremamente racional de tomar decisões”, disse De Liban. Ele disse que esses sistemas fazem várias suposições baseadas em “ciência estatística lixo” que produzem o que ele chama de “absurdos”.

Em 2018, depois de De Liban ter processado o departamento de serviços humanos do Arkansas em nome destes pacientes devido ao processo de tomada de decisão do departamento, a legislatura estadual decidiu que a agência poderia não automatize mais a determinação das cotas de cuidados domiciliares dos pacientes. A vitória de De Liban foi uma vitória precoce na luta contra os danos causados ​​pela tomada de decisões algorítmicas, embora a sua utilização a nível nacional persista noutras áreas, como o emprego.

Poucas regulamentações restringem a proliferação da IA, apesar das falhas

As leis que limitam o uso da IA, especialmente na tomada de decisões com consequências que podem afetar a qualidade de vida de uma pessoa, são poucas, assim como as vias de responsabilização para pessoas prejudicadas por decisões automatizadas.

Uma pesquisa realizada por Relatórios do Consumidorlançado em julho, descobriu que a maioria dos americanos se sentia “desconfortável com o uso de IA e tecnologia algorítmica de tomada de decisão em momentos importantes da vida no que se refere à habitação, emprego e saúde”. Os entrevistados disseram que estavam preocupados por não saber quais informações os sistemas de IA usavam para avaliá-los.

Ao contrário do caso de Louis, muitas vezes as pessoas não são notificadas quando um algoritmo é usado para tomar uma decisão sobre as suas vidas, tornando difícil recorrer ou contestar essas decisões.

“As leis existentes que temos podem ser úteis, mas são limitadas no que podem oferecer”, disse De Liban. “As forças do mercado não funcionam quando se trata dos pobres. Todo o incentivo está basicamente em produzir mais tecnologia ruim, e não há incentivo para as empresas produzirem boas opções para pessoas de baixa renda.”

Os reguladores federais sob o comando de Joe Biden fizeram várias tentativas para acompanhar a rápida evolução da indústria de IA. O presidente emitiu uma ordem executiva que incluía um quadro destinado, em parte, a abordar a segurança nacional e os riscos relacionados com a discriminação nos sistemas de IA. No entanto, Donald Trump fez promessas de desfazer esse trabalho e reduzir as regulamentações, incluindo a ordem executiva de Biden sobre IA.

Isso pode tornar ações judiciais como a de Louis um caminho mais importante do que nunca para a responsabilização da IA. Já, o processo atraiu o interesse do Departamento de Justiça e do Departamento de Habitação e Desenvolvimento Urbano dos EUA – ambos os quais lidam com políticas habitacionais discriminatórias que afectam lessons protegidas.

“Na medida em que este é um caso marcante, tem o potencial de fornecer um roteiro sobre como analisar estes casos e encorajar outros desafios”, disse Kaplan.

Ainda assim, será difícil manter estas empresas responsáveis ​​na ausência de regulamentação, disse De Liban. As ações judiciais levam tempo e dinheiro, e as empresas podem encontrar uma maneira de criar soluções alternativas ou produtos semelhantes para pessoas não cobertas por ações judiciais coletivas. “Você não pode trazer esses tipos de casos todos os dias”, disse ele.