Modelos de linguagem grandes e a prática jurídica no STF : estudo comparativo de decisões em agravos em recurso extraordinário

Abstract

Este estudo busca avaliar a confiabilidade jurídico-processual de modelos de linguagem grande (LLMs) na redação de minutas de decisões do Supremo Tribunal Federal (STF) em agravos em recurso extraordinário (ARE). Vinculado ao Projeto de Inovação em Inteligência Artificial da Universidade de Brasília, o trabalho dialoga com a Estratégia Brasileira de IA (EBIA), o Plano Brasileiro de IA (PBIA) e a agenda do STF na adoção dessa tecnologia. Diante de um cenário, no qual quase metade dos magistrados e servidores já experimentou IAs generativas de texto, é evidente a necessidade de fixação de parâmetros seguros para seu uso no âmbito jurisdicional. Selecionaram-se quinze AREs recentes, de temas e complexidades variadas. Para cada processo, por meio da utilização do modelo GPT-4o, e sem intervenção humana, gerou-se uma minuta de decisão baseada apenas nas peças dos autos. Os textos foram comparados às decisões originais do STF segundo quatro eixos: (i) fidelidade fática e informacional; (ii) aderência aos filtros recursais e limites cognitivos do ARE; (iii) conformidade do estilo (relatório, fundamentação, dispositivo); e (iv) ocorrência de “alucinações”, entendidas essas como afirmações ou referências inexistentes, imprecisas ou equivocadas. Os resultados são expressivos: alucinações em 80% dos casos; incursão indevida no mérito recursal em 73%; descumprimento do padrão de abertura em 73%; redação do dispositivo em terceira pessoa em 86,7%. Apenas uma das quinze decisões geradas pela máquina (6,7 %) coincidiu integralmente com a conclusão humana, enquanto em 20% das situações a IA simplesmente reiterou, sem crítica, a decisão da instância de origem. Conclui-se que, embora os LLMs extraiam fatos essenciais com razoável precisão, a elevada taxa de erros formais e substantivos inviabiliza seu emprego dissociado da atuação humana na produção de decisões do STF. O trabalho recomenda treinamento direcionado dos modelos para as necessidades da instituição, aprimoramento de prompts e revisão mandatória por indivíduos qualificados para se validar o produto gerado pela IA. Tais achados oferecem subsídios empíricos capazes de contribuir para a governança de IA no Poder Judiciário, sinalizando um caminho de integração responsável entre homem, tecnologia e jurisdição.