Neural information extraction pipeline for cyber forensics with pre-trained language models

Abstract

A investigação digital é uma tarefa desafiadora composta por várias etapas e procedimentos que são muitas vezes lentos e propensos a erros. Da coleta de informações à análise e comunicação de resultados, muitas subtarefas são dependentes de soluções tecnológicas que visam reduzir a sobrecarga de informações que os investigadores enfrentam. Algumas ferramentas forenses oferecem mecanismos para automatizar pesquisas e categorizações de objetos e dados relevantes, mas ainda não têm suporte para cenários complexos e dinâmicos, especialmente em aplicações de Big Data. A maioria desses dados não é estruturada, o que significa que é mais difícil organizar e encontrar insights significativos. Avanços recentes em Machine Learning (ML) e, mais especificamente, em Processamento de Linguagem Natural (NLP) trouxeram à existência novas arquiteturas e modelos de linguagem que podem ser usados para aumentar significativamente o desempenho de tarefas de Extração de Informações (IE), como Reconhecimento de Entidades Mencionadas (NER) e Extração de Relacionamentos (RE). Este trabalho propõe uma configuração reproduzível para construir, testar e ajustar um pipeline de extração de informação que pode ser aplicado a investigações forenses cibernéticas usando NLP de textos em diferentes idiomas. As tarefas de NER e RE são profundamente exploradas e discutidas, com base nos mais recentes modelos de linguagem natural, como BERT e RoBERTa. Também é discutido como otimizar o desempenho de um modelo de NLP ajustando seus hiperparâmetros, validando seu desempenho com métricas de avaliação padrão e comparações com benchmarks bem conhecidos. O pipeline proposto também é aplicado a diferentes cenários com exemplos hipotéticos mas realistas, culminando com a apresentação de grafos de conhecimento abrangentes para análise de informações. Os componentes do pipeline são organizados de forma que seja possível configurar classes de entidade e de relacionamento para diferentes domínios de aplicação com alterações mínimas, não limitadas ao contexto da análise forense cibernética nem a uma linguagem específica. Os resultados apresentados neste trabalho tanto para o português quanto para o inglês alcançaram níveis de desempenho do estado da arte seguindo as etapas propostas para cada tarefa, corroborando a ideia de que o processamento por etapas tem potencial para melhorar ainda mais o resultado final.