Chatbot pedagógico baseado em engenharia de prompts em Modelos de Linguagem de Grande Escala : uma investigação sobre as percepções dos educadores sobre a qualidade da personalização do feedback

Abstract

O uso da tecnologia de Inteligência Artificial (IA) pode auxiliar o docente na personalização do ensino e, consequentemente, ajudar estudantes no processo de aprendizagem. Tecnologias com base em IA estão apoiando a educação e pesquisas têm sido realizadas com vistas a aprimorá-las e obter maior assertividade do modelo desenvolvido. Uma das tecnologias de IA aplicadas à educação são os Sistemas Tutores Inteligentes (STI). Com o advento da IA generativa e da complexidade de desenvolvimento de um STI, esta pesquisa teve como objetivo: Investigar as percepções dos educadores sobre a qualidade da personalização do feedback em chatbot pedagógico baseados em engenharia de prompts em LLM. O enfoque da pesquisa foi qualitativo, com finalidade de ser aplicada e com propósito de ser uma pesquisa exploratória. Para analisar o feedback foi aplicado um questionário para os participantes da pesquisa do Grupo ÁBACO, o qual fizeram a interação com o chatbot pedagógico baseado na tecnologia ChatGPT, da OpenAI, e responderam às perguntas. A análise dos dados foi realizada pela Análise de Conteúdo de Bardin. A aplicação foi desenvolvida com a técnica de prompt engineering. Ao analisar os dados, oportunidades de melhoria foram identificadas para que o chatbot pudesse atuar na personalização do ensino e colocando o aluno no centro do processo de aprendizagem, a exemplo de um STI, utilizando como “mola propulsora” as características da interatividade. Utilização de outras técnicas como o fine-tunning e o Reinforcement Learning from Human Feedback (RLHF) para viabilização dos componentes da arquitetura de um STI, definição de requisitos e público-alvo, ajustes no tamanho do feedback e aprimoramento no prompt de forma a aprofundar a identificação do conhecimento do aluno, foram as oportunidades de melhoria identificadas.