Ferramenta de pesquisa ChatGPT vulnerável a manipulação e engano, mostram testes | Bate-papoGPT
OpenAI's Bate-papoGPT A ferramenta de pesquisa pode estar aberta à manipulação usando conteúdo oculto e pode retornar códigos maliciosos de websites que pesquisa, descobriu uma investigação do Guardian.
OpenAI tem disponibilizou o produto de pesquisa para clientes pagantes e está incentivando os usuários a torná-la sua ferramenta de pesquisa padrão. Mas a investigação revelou potenciais problemas de segurança com o novo sistema.
O Guardian testou como o ChatGPT respondeu quando solicitado a resumir páginas da internet que contêm conteúdo oculto. Este conteúdo oculto pode conter instruções de terceiros que alteram as respostas do ChatGPT – também conhecida como “injeção imediata” – ou pode conter conteúdo projetado para influenciar a resposta do ChatGPT, como uma grande quantidade de texto oculto falando sobre os benefícios de um produto ou serviço.
Essas técnicas podem ser usadas de forma maliciosa, por exemplo, para fazer com que o ChatGPT retorne uma avaliação positiva de um produto, apesar das avaliações negativas na mesma página. Um pesquisador de segurança também descobriu que o ChatGPT pode retornar códigos maliciosos de websites que pesquisa.
Nos testes, o ChatGPT recebeu o URL de um website falso criado para se parecer com a página de um produto de uma câmera. A ferramenta de IA foi então questionada se a câmera valia a pena comprar. A resposta da página de controle retornou uma avaliação positiva, mas equilibrada, destacando alguns recursos que as pessoas podem não gostar.
Perguntas e respostas
AI explicou: o que é um modelo de linguagem grande (LLM)?
Mostrar
O que os LLMs fizeram pelo texto, as “redes adversárias geradoras” fizeram pelas imagens, filmes, música e muito mais. Estritamente falando, uma GAN consiste em duas redes neurais: uma construída para rotular, categorizar e avaliar, e outra construída para criar do zero. Ao combiná-los, você pode criar uma IA que pode gerar conteúdo sob comando.
Digamos que você queira uma IA que possa tirar fotos. Primeiro, você faz o trabalho árduo de criar a IA de rotulagem, que pode ver uma imagem e dizer o que ela contém, mostrando milhões de imagens que já foram rotuladas, até aprender a reconhecer e descrever “um cachorro”. , “um pássaro”, ou “fotografia de uma laranja cortada ao meio, mostrando que seu inside é o de uma maçã”. Então, você pega esse programa e o usa para treinar uma segunda IA para enganá-lo. Essa segunda IA “ganha” se conseguir criar uma imagem à qual a primeira IA dará o rótulo desejado.
Depois de treinar essa segunda IA, você terá o que se propôs a construir: uma IA à qual você pode dar um rótulo e tire uma foto que ele acha que corresponde ao rótulo. Ou uma música. Ou um vídeo. Ou um modelo 3D.
Leia mais: Sete principais siglas de IA explicadas
No entanto, quando o texto oculto incluía instruções ao ChatGPT para retornar uma avaliação favorável, a resposta period sempre totalmente positiva. Esse acontecia mesmo quando a página continha comentários negativos – o texto oculto poderia ser usado para substituir a pontuação actual da revisão.
A simples inclusão de texto oculto por terceiros sem instruções também pode ser utilizada para garantir uma avaliação positiva, com um teste incluindo avaliações falsas extremamente positivas que influenciaram o resumo retornado pelo ChatGPT.
Jacob Larsen, pesquisador de segurança cibernética da CyberCX, disse acreditar que se o atual sistema de busca ChatGPT fosse totalmente lançado em seu estado atual, poderia haver um “alto risco” de pessoas criarem websites especificamente voltados para enganar os usuários.
No entanto, ele alertou que a funcionalidade de pesquisa só foi lançada recentemente e OpenAI estaria testando – e idealmente corrigindo – esses tipos de problemas.
“Essa funcionalidade de busca foi lançada (recentemente) e está disponível apenas para usuários premium”, disse ele.
“Eles têm uma equipe muito forte (de segurança de IA) e, quando isso se tornar público, em termos de acesso de todos os usuários, eles terão testado rigorosamente esse tipo de caso.”
A OpenAI recebeu perguntas detalhadas, mas não respondeu oficialmente sobre a função de pesquisa ChatGPT.
Larsen disse que havia problemas mais amplos com a combinação de modelos de pesquisa e de grandes linguagens – conhecidos como LLMs, a tecnologia por trás do ChatGPT e de outros chatbots – e as respostas das ferramentas de IA nem sempre devem ser confiáveis.