Relação entre características do teste educacional e estimativa de habilidade do estudante

Abstract

O presente estudo teve como objetivo verificar a relação de características de testes educacionais de matemática e a validade e a fidedignidade das habilidades de estudantes estimadas por meio da Teoria de Resposta ao Item (TRI). Estudos prévios mostraram que dois testes de matemática aplicados em 2005 a estudantes de 8ª série do Ensino Fundamental, a ANEB, contendo 155 itens, e a Prova Brasil, contendo 81 itens, apresentaram resultados de estimativas de habilidade diferentes para grupos com características semelhantes. Esses resultados não foram os esperados, já que a TRI, teoricamente, permite a estimação das habilidades dos estudantes independentemente das características do teste, uma vez que seus pressupostos são atendidos. O grau de cobertura da matriz de referência e os parâmetros psicométricos dos testes foram analisados para subsidiar a composição de testes simulados. Utilizando o teste ANEB como referência, quatro testes (formas A, B, C e D) foram simulados com diferentes números de itens (104 e 81) itens, a partir da variação de seu grau de dificuldade e de discriminação. As estimativas de habilidade dos estudantes foram comparadas entre os testes originais ANEB e Prova Brasil e entre os quatro testes simulados. Evidências de validade e de fidedignidade foram investigadas. Resultados revelaram que estudantes que responderam à Prova Brasil obtiveram estimativas de habilidade maiores em 0,2 desvios-padrão que estudantes que responderam ao teste ANEB. Essa diferença, significativa ao nível de 5%, não pode ser explicada em função de baixo grau de validade de um dos testes, já que foram encontradas evidências de bom grau de validade para ambos os testes quanto às características: grau de cobertura da matriz de referência, elaboração e revisão de itens, análise pedagógica e análise de Funcionamento Diferencial do Item. Os resultados de análise unidimensionalidade podiam ter sido utilizados para decidir quais itens seriam considerados para estimar as habilidades dos estudantes e serviriam como uma evidência adicional de validade. A comparação ente quatro testes simulados e os testes originais indicaram que o número de itens dos testes respondidos pelos estudantes, a qualidade discriminativa dos itens e a relação do parâmetro b com o parâmetro de habilidade são acompanhados de um aumento da fidedignidade dos testes. Os resultados da investigação sugerem que as diferenças observadas quanto às estimativas de habilidade entre ANEB e Prova Brasil estão associadas ao pequeno número de itens discriminativos para estudantes com estimativas baixas e médias. Com base nos resultados do estudo, recomenda-se a inclusão, nos testes de matemática, 8ª série, de um número maior de itens discriminativos para as faixas baixa e média de habilidades estimadas. Os resultados podem auxiliar o xii Instituto Nacional de Estudos e Pesquisas Educacionais (INEP) na composição de testes para os próximos processos avaliativos. ________________________________________________________________________________________ ABSTRACT

The main purpose of this investigation was to verify the relation between psychometric properties of educational tests assessing Mathematics and the validity and reliability of the estimated proficiencies of students using Item Response Theory (IRT). Earlier studies showed that two equalized Mathematics tests applied in 2005 to students attending the 8th grade of basic education, one containing 155 items (ANEB), and the other containing 81 items (Prova Brasil) presented different outcomes for the estimated proficiencies of groups of students with similar characteristics. These results were not expected considering the fact that IRT theoretically permits the estimation of students’ proficiency independent of the characteristics of a test, once the assumptions underlying the IRT model are satisfied. The degree of coverage of the reference matrices and the psychometric parameters of the two Mathematics tests were analyzed in order to obtain a basis for the creation of simulated test forms. Taking the ANEB test as point of reference, four tests (forms A, B, C, and D) were simulated with different number of items (104 or 81) and displaying varying degrees of difficulty and discrimination. Estimated students´ proficiencies were compared among the original ANEB and Prova Brasil tests and among the four simulated test forms. Also indications of validity and reliability were compared. Results from this comparison revealed that students who took the Prova Brasil received a higher estimated proficiency than the students who took the ANEB test. The difference amounted to .2 standard deviations and was significant at the 5% level. This observed difference can´t be explained by poor validity of one of the measuring instruments because both tests present evidence of good validity based on the following characteristics: degree of coverage of the reference matrices, elaboration and revision of the items, pedagogical analysis and analysis of Differential Item Functioning. Results of the unidimensionality analysis can be used to decide which items should be included to esteem the proficiency of the students, and serve as an additional indication of the validity of the tests. Comparing the four simulated test and the original tests indicated that the number of items answered by the students, the discrimination quality of the items and the relation of the b parameter with the estimated proficiency are accompanied by an increase of the reliability of the tests. The results of this investigation suggest that the observed difference in the estimation of students’ proficiency of the ANEB and Prova Brasil test is related to the low number of highly discriminating xiv items for students with low and medium proficiences. Based on the results of this study it is recommended to include in tests assessing Mathematics for 8th grade students of basic education a greater number of good discriminating items for the low and medium proficiences in Mathematics. The results of this study can assist INEP, the National Institute for Educational Research of Brazil, in the composition and elaboration process of future tests.