Enhancing large language models for portuguese language : lexical normalisation case study

Abstract

Esta tese de doutorado aborda o desafio premente de aprimorar o desempenho e a confiabilidade de Modelos de Linguagem de Grande Escala (LLMs) em tarefas complexas de classificação e normalização no contexto da língua portuguesa. O trabalho foca especificamente na normalização lexical de descrições de mercadorias e de dados de endereçamento (CEP), essenciais para sistemas fiscais e logísticos. O problema central estudado reside na dificuldade de classificar mercadorias de forma eficaz conforme a Nomenclatura Comum do Mercosul (NCM) e de padronizar códigos postais (CEP) a partir de descrições textuais livres. No contexto da língua portuguesa, a escassez de recursos e de modelos de linguagem otimizados para o idioma apresenta obstáculos significativos. Modelos tradicionais enfrentam dificuldades consideráveis para lidar com a especificidade e a complexidade inerentes a essas tarefas, especialmente em linguagens não-inglesas. A maior parte dos LLMs proeminentes é treinada predominantemente em inglês, o que restringe o desempenho em contextos técnicos e de domínio específico, como a fiscalização tributária. A tarefa de normalização lexical, que consiste em converter texto não-padrão ou irregular em uma forma canônica e uniforme, é crucial neste cenário. Descrições de produtos ou endereços apresentam grande variabilidade textual, incluindo abreviações, inconsistências e erros ortográficos. Por exemplo, um produto pode aparecer de múltiplas formas em uma Nota Fiscal Eletrônica (NFe), como “T. Pap. FDupla” em vez de “Toalha de Papel Folha Dupla”. Sem uma normalização eficaz, sistemas que dependem de correspondência exata falham na classificação. A relevância do problema transcende o processamento linguístico puro. A classificação precisa dos códigos, como os códigos NCM (compostos por oito dígitos), afeta diretamente a conformidade fiscal, as estatísticas de comércio internacional e o monitoramento da receita pública. Erros na atribuição do código NCM podem resultar em perdas financeiras, alterações nos cálculos de tarifas, atrasos no desembaraço aduaneiro e penalidades regulatórias decorrentes de declaração incorreta. Esta tese, portanto, busca desenvolver uma solução que não apenas processe o português de forma eficiente, mas também melhore a precisão e a relevância das saídas de classificação em domínios especializados e de alto risco. Para enfrentar essas limitações, a pesquisa propõe uma arquitetura híbrida inovadora, denominada Tri-Layered Intelligent Framework for LLMs (TRINITY-LLM). Essa estrutura modular e integrada visa combinar o ajuste fino eficiente, a geração aumentada por recuperação de informações (Retrieval Augmented Generation - RAG) e a avaliação estatisticamente robusta. O TRINITY-LLM é composto por três estágios complementares, cada um correspondendo a uma inovação metodológica desenvolvida na tese: 1) Modelo Simplificado Lógico Inteligente de Ajuste Fino com Geração Aumentada por Recuperação de Informações (SLIM-RAFT): focado no ajuste fino custo-eficiente e na normalização lexical em português. 2) Geração Aumentada por Recuperação em Dois Passos (Two-Step RAG): que aprimora a precisão da recuperação de informações por meio da filtragem contextual orientada por metadados. 3) Modelos Mistos Integrados com Análise em Bootstrap (IMMBA): que estabelece uma estrutura estatística rigorosa para a avaliação de LLMs, quantificando a variabilidade de desempenho. O SLIM-RAFT foi concebido para superar o viés linguístico anglocêntrico e as exigências computacionais das pipelines tradicionais de ajuste fino. Ele estende os princípios do Retrieval-Augmented Fine-Tuning (RAFT), que treina o modelo para utilizar informações externas recuperadas durante o fine-tuning. O RAFT original, no entanto, é quase inviável devido à dependência de outro LLM de alta capacidade para construir o corpus de treinamento baseado na Cadeia de Pensamento (Chain-of-Thought - CoT). O SLIM-RAFT simplifica a fase de geração de dados por meio do paradigma de raciocínio Sequence-of-Sets (SoS) no prompt de treinamento, criado e desenvolvido neste trabalho. O SoS representa o raciocínio como sequências lógicas ordenadas entre conjuntos, espelhando a inferência dedutiva: a ∈ A, A ⊆ B,∴a ∈ B. Isso reduz drasticamente o custo de criação do conjunto de dados de ajuste fino, mantendo a consistência de aprendizado. O fine-tuning foi realizado em modelos leves, como o TeenyTinyLLaMA (TTL), que já é pré-treinado nativamente em português brasileiro, utilizando a técnica de Low-Rank Adaptation (LoRA), que reduz o custo computacional. O conjunto de dados extenso utilizado incluiu mais de 240.000 registros da NCM provenientes de notas fiscais eletrônicas (NFe’s). O Two-Step RAG aborda a limitação central dos sistemas RAG convencionais, que dependem fortemente da similaridade semântica, o que frequentemente resulta em ruído quando os prompts são vagos. Ele organiza a recuperação contextual em duas fases explícitas: 1) Recuperação Comum (R1): Uma busca ampla e irrestrita, garantindo alto recall e fornecendo um conjunto inicial de candidatos. 2) Extração e Aplicação de Metadados (M e R2): Um LLM é solicitado a extrair atributos estruturados (metadados, como NCM ou rótulo) diretamente do prompt original. Esses atributos são usados para refinar a recuperação por meio de uma filtragem direcionada aos candidatos semânticos iniciais. Essa abordagem equilibra amplitude e precisão, distinguindo-se de métodos como o MultiMeta-RAG, que dependem de esquemas rígidos de metadados. A formulação matemática do Two-Step RAG inclui: i) Função de Recuperação Comum. ii) Função de Extração de Metadados. iii) Função de Filtragem. O Integrated Mixed Models with Bootstrap Analysis (IMMBA) é uma estrutura estatística que garante a avaliação rigorosa, interpretável e reprodutível dos LLMs. Ele utiliza modelos lineares multivariados mistos em combinação com o reescalonamento bootstrap não-paramétrico (com 1000 iterações). A formulação hierárquica do LMM decompõe a variância observada em fontes sistemáticas e aleatórias: Var(Y ) = σ 2 f + σ 2 P + σ 2 e onde Var(Y ) é a variância total, σ 2 f é a variância explicada por efeitos fixos (arquitetura do modelo, método de recuperação), σ 2 P representa a variabilidade devida ao fraseado do prompt (efeito aleatório), e σ 2 e captura o erro residual, ou seja, aquilo não explicado pelas variáveis anteriores. A avaliação dos modelos foi baseada em quatro dimensões principais, pontuadas em uma escala ordinal de 0 a 10: Qualidade, Acordo (alinhamento semântico), Precisão (correção factual) e Alucinação (penalização de conteúdo não suportado). Os resultados empíricos validaram a eficácia da abordagem proposta. O modelo SLIMRAFT (aplicado ao TTL de 160M de parâmetros) apresentou desempenho comparável ao de modelos de ponta na classificação NCM. O SLIM-RAFT alcançou uma precisão média de 8,63 (0 a 10), o que representa um aumento significativo em relação aos modelos observados. Notavelmente, superou o ChatGPT 4.0 (modelo proprietário de bilhões de parâmetros), que alcançou uma média de 4,5 (0 a 10) no mesmo protocolo de avaliação, e o TTL base, que marcou apenas 0,2. O sucesso foi replicado no domínio do CEP: o modelo SLIM-RAFT-CEP (160M parâmetros) obteve uma média de 1,92, um desempenho comparável ao do modelo de ponta GPT-4.o mini (1,90). Isso confirma que a metodologia SoS e o ajuste fino direcionado são suficientes para capturar a lógica de domínio específico, mesmo em arquiteturas compactas. Os experimentos com o Two-Step RAG compararam seu desempenho com o RAG Convencional em cinco arquiteturas de LLMs (incluindo Mistral-7B, Deepseek-chat e GPT-4o-mini). Os resultados confirmaram que a recuperação orientada por metadados é eficaz. O Two-Step RAG melhorou a Qualidade em 2,20×, o Acordo em 2,63× e a Precisão em 2,91×, em média, em comparação com a abordagem RAG comum. O modelo Mistral-7B teve o maior ganho relativo em Precisão (×4, 54), mas seu desempenho absoluto permaneceu inferior ao dos modelos de ponta. Em contraste, o RAG Comum reduziu significativamente a Qualidade média (2,73 vs 5,30) e a Precisão (2,12 vs 4,70), resultando em taxas de Alucinação mais altas (4,67 vs 3,93 para Two-Step RAG). Isso reforça a necessidade de refinamento contextual. A análise de correlação de Spearman ρ, que é o indicador numérico que mede a força e a direção da relação entre duas variáveis, revelou associações positivas fortes e monotônicas entre Qualidade, Acordo e Precisão (ρ ∈ [0, 955; 0, 977]), e correlações negativas fracas, mas consistentes, com Alucinação (aproximadamente −0, 28). O framework IMMBA forneceu a base estatística para interpretar esses resultados com confiança. A análise de decomposição da variância revelou as fontes de incerteza no desempenho dos LLMs: i) Efeitos Fixos (arquitetura do modelo, método RAG, etc.): 23,2% da variância total (σ 2 f = 2, 14). ii) Variabilidade do Prompt (efeito aleatório): 7,2% da variância total (σ 2 P = 0, 66). iii) Erro Residual e Ruído Estocástico: 69,6% da variância total (σ 2 e = 6, 42). Essa grande proporção de variância não explicada pelos fatores controlados reforça a necessidade de metodologias estatísticas robustas, como o bootstrap, para inferir a confiabilidade dos resultados. O uso do bootstrap aumentou a estabilidade das estimativas e produziu intervalos de confiança mais estreitos, o que comprova que as melhorias reportadas são estatisticamente significativas e robustas. O trabalho faz uma contribuição significativa ao campo do processamento de linguagem natural multilíngue, particularmente para a língua portuguesa. As contribuições metodológicas incluem a técnica de ajuste fino SLIM-RAFT, a estratégia de prompting Sequence-of-Sets (SoS), a metodologia de recuperação avançada Two-Step RAG, e o framework estatístico IMMBA. O sucesso em adaptar modelos compactos (160M) para alcançar o desempenho de modelos proprietários massivos (GPT-4o mini) em tarefas de domínio específico no âmbito do processamento de linguagem natural, por meio de estratégias de fine-tuning e de recuperação otimizadas, sugere um caminho promissor para o desenvolvimento de inteligência artificial sustentável e linguisticamente inclusiva. O TRINITY-LLM oferece uma solução completa e estatisticamente fundamentada para enfrentar o desafio de alto risco da normalização lexical e da classificação de dados fiscais em português.