Deep IRT : an application of deep learning methods to Item Response Theory

Abstract

Este trabalho buscou um novo método para a estimação do nível de conhecimento de alunos, no contexto de TRI para estimação da habilidade latente, o que foi feito ao criar um modelo de redes neurais capaz de utilizar algoritmos de aprendizado de máquina a fim de estimar os parâmetros do ML3. Essa rede foi aplicada ao Exame Nacional do Ensino Médio (Enem), resultando em estimativas mais precisas do que alcançado por métodos tradicionais. Também faz parte do escopo deste trabalho a replicação dos métodos oficiais de correção e atribuição de notas aos alunos em uma linguagem aberta. O trabalho é introduzido por uma contextualização do que é o Exame Nacional do Ensino Médio, destacando sua relevância para a população e para a educação do país. Os métodos utilizados na correção desse exame são indicados, com observações acerca de suas limitações intrínsecas. Então, métodos de inteligência artificial são ilustrados, demonstrando sua abrangência e grande utilidade, e, em sequência, a utilização desses métodos em Teoria de Resposta ao Item, na área que está sendo denominada TRI Profunda, sendo este trabalho uma expansão dos modelos atualmente disponíveis e sua aplicação aos dados do Enem. Em seguida, a revisão de literatura busca cadenciar o surgimento da TRI Profunda, tratando inicialmente da própria TRI e de redes neurais profundas, para mostrar como o modelo tradicional de 3 parâmetros (ML3) pode ser escrito como uma rede neural. Então, é mostrado sucintamente o modelo de TRI Profunda de Tsutsumi et. al (2021) e o que seriam positional encoders, método utilizado mais à frente. Ainda como parte da revisão, são resumidas informações sobre o método de estimação utilizado pelo Inep e sobre as bases de dados disponibilizadas publicamente e que foram o escopo de análise deste trabalho. O Capítulo seguinte apresenta os dois métodos propostos para tratar dados binários originados de respostas de alunos a um teste: ML3 Raso (Shallow 3PL) e ML3 Profundo (Deep 3PL), buscando extender os modelos previamente revisados, especialmente no caso deste último, que se deriva mais diretamente do modelo de Tsutsumi et al. (2021). Os modelos utilizam estratégias diferentes para lidar com o grande volume de dados de entrada, um com camadas de embedding e o outro com positional encoders. A Aplicação inicialmente descreve os passos percorridos neste trabalho, desde o tratamento da base de dados, indicando os softwares e métodos utilizados. Então são apresentados os resultados, primeiramente comparando o alcançado pelo Inep utilizando o software proprietário BILOG e sua replicação no mirt, pacote de TRI disponível no R. Estes resultados são então comparados aos modelos propostos, destacando-se a performance do modelo ML3 Raso, mais preciso (com o menor EQM e perda) e maior verossimilhança das probabilidades de acerto estimadas às respostas empíricas. Os resultados alcançados em lingaguem aberta também indicam performance superior, apesar da falta de informações divulgadas sobre o método oficial de estimação. Por fim, esses resultados são sintetizados na Conclusão, com sugestões para trabalhos futuros, destacando-se a fixação dos parâmetros dos itens na estimação das habilidades dos alunos. Assim a estimação das notas poderá ser feita pelo algoritmo Adam, muito mais parcimonioso, em vez das aproximações e integrações (Quadratura Gaussiana) do algoritmo EM utilizado. Dessa forma, apresenta-se uma alternativa que poderia contribuir com o trabalho atualmente feito pelo Inep, tanto na questão da transparência do cálculo das notas dos alunos, como na simplicidade e maior confiabilidade da estimação conduzida pela rede neural.