Inteligência artificial generativa e a redação de ementas no Supremo Tribunal Federal : avaliação empírica do sistema Maria em ações diretas de inconstitucionalidade

Abstract

A incorporação de inteligência artificial (IA) generativa à atividade jurisdicional brasileira tem avançado de forma acelerada. No Supremo Tribunal Federal (STF), destaca-se o sistema MARIA (Modelo Automatizado de Redação e Inteligência Artificial), que representa a primeira ferramenta de IA generativa do Tribunal tendo como uma de suas principais funções gerar minutas de ementas para acórdãos a partir do voto condutor. A dissertação avalia empiricamente a eficácia e as limitações do MARIA na elaboração automática de ementas, com base em amostra de dezessete ADIs publicadas entre 13 de agosto e 16 de dezembro de 2024, período compreendido entre a adoção do novo modelo-padrão de ementas recomendado pelo Conselho Nacional de Justiça (CNJ) e o lançamento da ferramenta. As ementas geradas pelo sistema em ambiente de homologação, antes de qualquer revisão humana, são cotejadas com ementas produzidas por redatores humanos para os mesmos casos e ambas são avaliadas segundo critérios de adequação construídos a partir da doutrina especializada, das orientações normativas e dos padrões institucionais relativos a esse documento técnico-jurídico. Estruturou-se matriz de avaliação contemplando dez critérios distribuídos em três dimensões (estrutural/formal, informacional e linguístico-comunicacional), com classificação em Adequada, Parcialmente Adequada ou Inadequada. Os resultados revelam um perfil de desempenho que combina confiabilidade informacional com fragilidades comunicacionais tipificáveis. Nos aspectos de fidelidade informacional, o MARIA equiparou-se aos redatores humanos; o índice de alucinações factuais foi muito baixo (uma ocorrência em dezessete casos). Os achados confirmam que o sistema incide em falhas recorrentes e categorizáveis que justificam a manutenção da revisão humana obrigatória, em consonância com a Resolução CNJ nº 615/2025. Ao mesmo tempo, evidenciam o valor do sistema como instrumento auxiliar, deslocando o trabalho do servidor da elaboração integral para a revisão crítica de minutas com ganhos quantitativos de eficiência e potenciais melhorias qualitativas na produção de ementas. A pesquisa identifica as frentes prioritárias para essa revisão humana e aponta caminhos concretos para o aprimoramento técnico do sistema.