Classificação automatizada de reclamações abertas pelos clientes e usuários do Sistema Financeiro Nacional

Abstract

Compete ao Banco Central do Brasil (BCB) atender aos clientes e usuários do Sistema Financeiro Nacional (SFN) na apresentação de reclamações contra produtos e serviços oferecidos pelas entidades supervisionadas, e monitorar o atendimento de suas demandas. O processo de tratamento dessas reclamações é feito manualmente, e consiste no seu enquadramento como “procedente” ou “improcedente”, a partir da análise do relato do cidadão, da resposta da entidade reclamada, de documentos anexados e de julgamento sobre se houve ou não indício de descumprimento da regulamentação vigente. Contudo, com o recente aumento no volume de demandas, não é possível, com os recursos disponíveis, analisar a integralidade das remessas. Nesse contexto, foi construída, pelo BCB, solução automatizada para filtrar as reclamações com maior possibilidade de serem procedentes, direcionando, assim, os esforços de análise e julgamento promovidos pelos seus servidores. Destarte, esta pesquisa teve como objetivo desenvolver um classificador para a tarefa em questão com desempenho superior ao do modelo vigente. Para isso, foram exploradas abordagens de aprendizagem profunda, em contraponto ao método tradicional empregado na solução do BCB. Como resultado, foi desenvolvido um classificador baseado em uma estrutura hierárquica combinando um Bidirectional Encoder Representations from Transformers (BERT) e uma Bidirectional Long short-term memory (BiLSTM) para gerar representações únicas dos textos da reclamação do cidadão e da resposta da entidade reclamada. Essa solução alcançou, na validação cruzada, um desempenho médio - calculado pela Área sob a curva Precisão-Revocação (PRAUC) - de 71,41%, superando em 0,96 pontos percentuais o modelo reproduzido do BCB, e desempenhando 71,92% nos dados de teste. Estimou-se que, caso o classificador proposto fosse utilizado para nortear a tarefa de tratamento das reclamações, seria possível cobrir 90,23% daquelas de fato procedentes avaliando-se apenas 60% do total de demandas. Por fim, foram ainda propostas estratégias multimodais para a combinação das representações textuais descritas com outras variáveis tabulares que compuseram a solução original. No entanto, o ganho obtido pelas estratégias multimodais frente à proposta anterior não foi estatisticamente significante.