O insidioso "prompt injection"

 Imagine um assistente pessoal inteligente, mas que segue qualquer instrução que recebe sem questionar a intenção de quem a emite. Imagine agora as potencialidades do mundo virtual e da inteligência artificial. Se alguém nesse contexto, engana a IA com a conversa certa, ela pode, sim, ser levada a realizar tarefas que, a priori, deveria recusar. Nisso reside a essência de um Modelo de Linguagem de Grande Escala ou LLM, tecnologia que sopra vida em ferramentas como o ChatGPT, ao passo em que a técnica empregada para enganar o assistente se intitula Injeção de Prompt ou Prompt Injection. É um ataque pelo qual o invasor introduz instruções maliciosas no comando (“prompt”) enviado a um modelo de IA, para que este ignore as suas diretrizes originais e execute ações não autorizadas.

Suponha-se que o usuário pede a uma IA para traduzir um texto escrito em alemão. Esse texto contém um tutorial sobre como modificar o código de um programa de computador para ignorar verificações de licença, permitindo seu uso sem pagamento (“crackear”). Fiel às suas diretrizes de segurança, a IA irá analisar o conteúdo do texto, perceberá que há relação com a pirataria e se recusará a realizar a tradução. O usuário, então, cria novo comando (“prompt”). Informa que está a elaborar um roteiro de filme sobre um grupo de hackers e que a personagem principal precisa traduzir um tutorial escrito em alemão. O usuário pede que a IA adicione a tradução do texto em questão ao filme. Pronto. O ataque deu certo. Não se cuida de demonizar a inteligência artificial, mas de uma realidade alarmante, a despeito da excludente de responsabilidade do artigo 77, § 6°, do Código de Processo Civil no que toca à advocacia e à aplicação de uma multa que ignora que, ao contrário do autor, o advogado não é sujeito processual.

O “prompt injection” traz consigo o inimigo da contaminação algorítmica que oportuniza nulidades, sendo grosso modo uma fraude. Pior: em razão de técnicas de manipulação oculta, a partir do uso de ‘prompt fantasma’ (fonte digitada branca ou tamanho de fonte microscópico), enganamse os olhos humanos e permitem-se a interpretação e a absorção como comandos válidos pela inteligência artificial. O enfrentamento a um desafio dessa magnitude passa por codificações especiais e estratégias de verificação, além da aceitação de que a atitude consciente de inserção de prompts ocultos afronta o princípio da boa-fé objetiva processual, perfaz conduta desleal e implica em abuso processual

. Não é pouca coisa. Decisões judiciais amparadas em informações agregadas ilicitamente podem comprometer o processo constitucional e a parte prejudicada pouco provavelmente seria capaz de identificar a fonte do vício, já que a intromissão se mostrou invisível. A injeção oculta faz-se apta a subverter a paridade de armas, ensejando a comunicação de uma parte com o sistema de IA gerando a suspeita de manipulação complicada de provar, ficando a parte contrária indefesa.

Nos parece, ao fim e ao cabo, flagrante que a vulnerabilidade explorada pela técnica de prompt injection não resulta somente de comportamentos humanos (da parte ou de seu advogado), mas do próprio risco de manipulação, que muito depende do modo como essas ferramentas se agregam ao processo decisório com a delegação de funções cognitivas à IA sem uma adequada supervisão humana qualificada. Resta claro que essa supervisão, assim como o personagem Thanos da Marvel, é inevitável.

A analogia corrobora que se a IA chegou para ficar (do que não há dúvidas), o componente humano, deve ser protegido e nunca substituído. Reverbero a pergunta de Luís Guilherme Vieira em artigo para o Conjur (08/10/2025): “Que futuro aguarda o Direito se a arte de argumentar deixar de ser virtude do jurista para virar rotina de máquina?”. Eis o “xis” da questão, à moda do dilema que assolou o Príncipe Hamlet na obra de Shakespeare: “Ser ou não ser”. E não supor que se pode voltar aos idos do papel-carbono.

Gustavo Henrique de Brito Alves Freire, advogado