'Sérias preocupações' sobre o uso de IA pelo DWP para ler correspondência de requerentes de benefícios | Benefícios

CQuando sua mala postal transborda com 25.000 cartas e e-mails todos os dias, decidir qual responder primeiro é assustador. Quando escondidos estão os pedidos de ajuda de algumas das pessoas mais vulneráveis ​​do país, os riscos só aumentam.

Este é o desafio que o Departamento do Trabalho e Pensões (DWP) enfrenta à medida que a correspondência chega de requerentes e requerentes de benefícios – dos quais há mais de 20 milhões, incluindo pensionistas, no Reino Unido. O DWP acredita que pode ter encontrado uma solução ao usar inteligência synthetic para ler tudo primeiro – incluindo missivas manuscritas.

A leitura humana costumava levar semanas e podia deixar as pessoas mais vulneráveis ​​esperando por ajuda por muito tempo. Mas o “correio branco” é uma IA que pode fazer o mesmo trabalho num dia e supostamente priorizar os casos mais vulneráveis ​​para os funcionários chegarem primeiro.

Por implicação, desprioriza outras pessoas, pelo que a sua precisão e a forma como chega aos seus julgamentos contam, mas ambas as questões permanecem opacas. Apesar de um mandato ministerial, é um dos numerosos algoritmos do sector público ainda não registados o registro de transparência para IAs do governo central.

A correspondência branca tem sido testada desde pelo menos 2023, quando o então secretário de bem-estar, Mel Stride, disse que isso significava “os mais necessitados podem ser encaminhados mais rapidamente para a pessoa relevante que os pode ajudar”. Mas os documentos divulgados ao Guardian ao abrigo da Lei da Liberdade de Informação mostram que os requerentes dos benefícios não são informados sobre a sua utilização.

Uma avaliação interna do impacto da proteção de dados afirmou que os redatores das cartas “não precisam saber sobre o seu envolvimento na iniciativa”.

A avaliação diz que a correspondência pode incluir números de seguro nacional, datas de nascimento, endereços, detalhes de telefone, endereços de e-mail, detalhes de pedidos de benefícios, informações de saúde, detalhes de contas bancárias, características raciais e sexuais e detalhes sobre crianças, como datas de nascimento e quaisquer necessidades especiais.

As pessoas que trabalham com requerentes de benefícios expressam agora “sérias preocupações” sobre como o sistema lida com dados pessoais confidenciais.

Meagan Levin, gerente de políticas e assuntos públicos da Turn2usuma instituição de caridade que ajuda pessoas que enfrentam insegurança financeira, disse que o sistema “levanta preocupações, especialmente em relação à falta de transparência e ao tratamento de dados pessoais altamente sensíveis, incluindo registos médicos e detalhes financeiros. Processar tais informações sem o conhecimento e consentimento dos requerentes é profundamente preocupante.”

De acordo com as informações divulgadas até agora, os dados são criptografados antes da exclusão dos originais e ficam em poder do DWP e de seu provedor de computação em nuvem. O nome do provedor é uma das muitas informações sobre o sistema que foram editadas.

A avaliação de impacto da proteção de dados do DWP também afirma que consultar indivíduos sobre esta forma de processamento dos seus dados “não é necessário, pois… estas soluções aumentarão a eficiência do processamento”.

As autoridades dizem que é complementar aos sistemas existentes e sinaliza a correspondência que é então revista pelos agentes para determinar se um correspondente é de facto potencialmente vulnerável. O DWP disse que nenhuma decisão foi tomada pela IA e nenhum dado foi processado por ela.

O vasto acervo de texto também é usado pelo DWP “para determinar insights” e criar uma “análise temática”, embora pouco mais tenha sido divulgado sobre a forma que isso assume e como esses insights foram usados.

“Priorizar alguns casos inevitavelmente desprioriza outros, por isso é very important compreender como estas decisões são tomadas e garantir que sejam justas”, disse Levin. “O DWP deve publicar dados sobre o desempenho do sistema e introduzir salvaguardas, incluindo auditorias regulares e processos de recurso acessíveis, para proteger os requerentes vulneráveis.

“A transparência e a responsabilização devem estar no centro de qualquer sistema de IA para garantir que apoia, em vez de prejudicar, aqueles que dependem dele.”

O DWP foi contatado para comentar.