Meta-avaliação de auditorias de natureza operacional do Tribunal de Contas da União

Abstract

O objetivo geral desta pesquisa foi propor um modelo de meta-avaliação e aplicá-lo à auditoria de natureza operacional [ANOP] do Tribunal de Contas da União, meta-avaliando seus critérios, padrões, validade e confiabilidade dos procedimentos e resultados das ANOPs. Para tal, delimitaram-se os conceitos de auditoria, avaliação e meta-avaliação. O referencial teórico que sustenta o modelo proposto provém da abordagem metodológica qualitativa e adota estes procedimentos: síntese de categorias da análise de conteúdo; agrupamento dedutivo de critérios Joint Committee e Síntese de Estudos Qualitativos. Conceitua-se meta-avaliação como uma avaliação de outra avaliação, considerando como parâmetros para a análise: metodologia; seleção dos sujeitos; objetivos; critérios e análise dos resultados. Analisaram-se dez auditorias de áreas de atuação do governo. Os resultados demonstram forças das ANOPs, como avaliação do contexto e checagem de características dos programas e fraquezas relacionadas principalmente à aplicação dos métodos e técnicas da auditoria. Conclui-se descrevendo as dificuldades metodológicas para a realização das auditorias e apresentam-se sugestões para melhor aplicação da ANOP do tribunal. _______________________________________________________________________________ ABSTRACT

The general purpose of this study was to present a model of meta-evaluation applied to the performance audit of the Brazilian Court of Audit. This consisted of meta-evaluating its procedures such as criteria, standards, validity, trustworthiness and its results. Auditing, evaluation and meta-evaluation were also conceptualized. The theoretical approach used was based on qualitative methods and their procedures: synthesis of analysis content, deductive grouping criteria from Joint Committee criteria and Qualitative Synthesis Studies. Meta-evaluation was defined as evaluation from other evaluation considering its aspects: methodology; subject selection, purpose, criteria and results analysis. Ten audits of government performance were analyzed. The results showed weakness of methods and techniques used to evaluate the program context and criteria related to applying audit methods and techniques. To conclude, other difficulties of the audit process were demonstrated and there are also suggestions on how to improve it.