Classificação de textos de bases desbalanceadas aplicada às solicitações cidadãs

Abstract

Este estudo de caso investigou alternativas para automatizar a classificação binária de textos com classes desbalanceadas no contexto do Participa DF, uma plataforma de par ticipação social do GDF. Esse canal digital tem como objetivo ampliar a participação cidadã na gestão pública do Distrito Federal por meio de manifestações textuais. Esses textos são enviados pelos cidadãos ao Participa DF e categorizados manualmente pelos usuários entre dois sistemas: o e-SIC DF e o Ouv-DF. Diversas técnicas de PLN foram aplicadas, como redução de dimensionalidade por PCA, métodos de redimensionamento (como o NM), além de múltiplos algoritmos de AM, tais como BERTimbau, LR, SVM e LGBM. A avaliação priorizou a capacidade de identificar a classe minoritária e-SIC DF, cuja classificação correta é especialmente difícil. O desbalanceamento normalmente compromete a eficácia de modelos tradicionais de AM. Entre os métodos analisados, destaca-se o EFC, originalmente desenvolvido para detecção de anomalias em redes e explorado neste trabalho pela primeira vez em tarefas de classificação textual. Esse al goritmo utiliza estatísticas inversas para treinar modelos. Os resultados mostram que o EFC, quando treinado exclusivamente com exemplos da classe e-SIC DF e submetido a um nível reduzido de pré-processamento, atinge alto Recall (94%), demonstrando forte capacidade de reconhecer a classe minoritária. Entretanto, apresentou elevada taxa de FDR, o que implicaria aumento significativo do retrabalho por parte dos servidores re sponsáveis pelo tratamento das manifestações e pela reclassificação. Em comparação com o EFC, modelos clássicos e modelos baseados em transformers apresentaram desempenho mais equilibrado entre Recall, F1-Score, AUC-ROC e Acurácia. Conclui-se que, apesar de o EFC ser promissor para cenários de detecção de anomalias em conjuntos de dados textuais desbalanceados, ele gera muitos falsos positivos. Para implantação no ambiente de produção da plataforma Participa DF, o modelo treinado com o algoritmo SVM, com redução de dimensionalidade via PCA e uso de textos sintéticos, mostrou-se a alternativa tecnicamente mais viável.