Explorando Large Language Models para a geração de requisitos de software a partir de issues em projetos de código aberto

Abstract

Contexto: A Engenharia de Requisitos (ER) em projetos de Open-Source Software (OSS) sofre com a informalidade e o grande volume de issues, gerando lacunas entre solicitações de usuários e artefatos formais exigidos por normas como a ISO/IEC/IEEE 29148:2018. Objetivo: Avaliar empiricamente a eficácia de Large Language Models (LLMs) — modulada por diferentes estratégias de engenharia de prompts — na geração automática de requisitos de software a partir de títulos de issues. Método: Foram coletados 150 títulos de issues de cinco repositórios OSS altamente ativos; esses títulos foram processados pelos LLMs o3-mini e DeepSeek R1, combinados com três estilos de prompt (Zero-shot, Few-shot e Expert Identity), resultando em 900 requisitos avaliados por um LLM-juiz (Qwen QwQ-32b) segundo as métricas Não Ambiguidade, Verificabilidade e Singularidade derivadas da norma ISO/IEC/IEEE 29148. Resultados: Ambos os LLMs produziram requisitos de alta qualidade (médias > 4,2 numa escala 1–5), mas com variação significativa; a estratégia Few-shot elevou consistentemente a Singularidade, enquanto a Expert Identity melhorou a Verificabilidade ao custo de requisitos menos singulares, evidenciando trade-offs dependentes do modelo e do prompt. Conclusão: LLMs são assistentes promissores para automatizar etapas críticas da ER em OSS, porém sua eficácia exige prompts cuidadosamente projetados e supervisão humana para balancear atributos de qualidade concorrentes e assegurar requisitos claros, verificáveis e atômicos.