Avaliação de políticas públicas nos tribunais de contas brasileiros : concepções e práticas na perspectiva dos auditores de controle externo

Abstract

A realização de avaliações de políticas públicas tem reposicionado os Tribunais de Contas como atores estratégicos para o aprimoramento da ação governamental, do aprendizado organizacional e da entrega de valor público. No Brasil, esse movimento ocorre em meio a ambiguidades conceituais e metodológicas, sobretudo quanto à distinção entre auditorias operacionais e avaliações de políticas públicas em sentido estrito, bem como aos limites institucionais do Controle Externo na emissão de juízos de valor sobre políticas governamentais. Esta dissertação analisa como auditores de controle externo percebem a avaliação de políticas públicas no âmbito dos Tribunais de Contas brasileiros, identificando metodologias adotadas, critérios para a valoração e estratégias para fomentar o uso das avaliações, com base nos quais foi possível identificar algumas trajetórias emergentes de inovação. A pesquisa adota abordagem qualitativa e baseia-se em dois eixos empíricos complementares: (i) realização de grupos focais de dois a seis auditores de controle externo, totalizando 126 participantes, distribuídos nos 33 Tribunais de Contas do país; e (ii) análise de conteúdo a uma amostra de relatórios de fiscalização indicados pelos participantes dos grupos focais ou identificados nos portais institucionais das Cortes. O desenho da pesquisa ancora-se em referenciais contemporâneos da teoria da avaliação, como a ‘Árvore da Teoria da Avaliação’, revisitada por Lemire et al. (2020) e colaboradores, e o ‘Jardim das Abordagens de Avaliação’ (Montrosse-Moorhead, 2024). Esses referenciais fundamentaram a estrutura analítica do roteiro de discussão do grupo focal, organizado em três ramos centrais – métodos, valores e uso – e orientaram a categorização e a interpretação dos achados empíricos. Os resultados indicam que, embora a maioria dos Tribunais de Contas realize fiscalizações com emissão de juízo de valor sobre políticas públicas, predomina a compreensão da avaliação como extensão da auditoria operacional, com foco nos critérios clássicos de economicidade, eficiência e eficácia. Em relação aos métodos, percebe-se com base nos depoimentos e documentos analisados, que a adoção sistemática de metodologias alinhadas às diretrizes da NBASP 9020 ainda é incipiente, embora diversas experiências inovadoras tenham sido observadas, como o uso de modelos de avaliação baseados na Teoria da Mudança, no Modelo Lógico de Programa, na Síntese de Evidências e em avaliações de impacto. Quanto aos valores, segundo a percepção dos participantes dos grupos focais, a cultura institucional ainda é predominantemente de conformidade. Por último, em relação ao uso, foram relatadas estratégias diferenciadas de envolvimento de stakeholders para induzir o efetivo uso de resultados das avaliações. Ao final, propõe-se uma Tipologia dos Tribunais de Contas de acordo com metodologias, critérios e estratégias para incentivar o uso das avaliações, oferecendo vantagens teóricas, institucionais e práticas. Do ponto de vista teórico, permite construir um diagnóstico dos Tribunais na avaliação de políticas públicas. Sob a perspectiva institucional, fortalece a identidade institucional das Cortes de Contas como avaliadores, evidencia assimetrias e orienta estratégias de aprimoramento. Na dimensão prática, incentiva o aprendizado entre instituições coirmãs, amplia a qualidade das avaliações e facilita a comunicação com os stakeholders, favorecendo o uso efetivo das evidências produzidas.