Redes neurais quantílicas de grafos com codificador posicional para dados geográficos

Abstract

Este trabalho propõe uma nova arquitetura chamada Redes Neurais Quantílicas de Grafos com Codificador Posicional para Dados Geográficos (PE-GQNN). Ela foi criada para melhorar a previsão espacial, integrando Redes Neurais de Grafos (GNNs) com Codificação Posicional (PE) e regressão quantílica. A PE-GQNN é projetada para superar as limitações dos modelos tradicionais, ao incorporar o contexto espacial e capturar uma ampla gama de quantis condicionais, permitindo a modelagem de incertezas de maneira mais precisa. Os dados geoespaciais, ou dados espaciais, contêm informações que incluem um ou mais atributos relacionados às coordenadas geográficas dos dados, geralmente definidas por latitude e longitude. Estes dados são amplamente utilizados em várias áreas, como economia, meteorologia, transporte urbano, redes sociais, plataformas de comércio eletrônico, entre outras. Um aspecto importante dos dados espaciais é a autocorrelação espacial, que se refere ao fenômeno em que pontos de dados espaciais não são estatisticamente independentes, mas sim correlacionados, especialmente em locais próximos. Modelos de regressão espacial tradicionais utilizam matrizes de pesos espaciais ou termos de defasagem espacial para capturar a estrutura espacial nos dados. No entanto, esses modelos frequentemente não conseguem modelar relações complexas entre as variáveis preditoras e a variável de interesse. Por outro lado, os Processos Gaussianos (GPs), que assumem uma distribuição preditiva Gaussiana, apresentam alta flexibilidade e podem capturar relações complexas, mas enfrentam desafios significativos de escalabilidade e complexidade computacional, especialmente para conjuntos de dados grandes. As GNNs surgiram recentemente como uma solução poderosa e escalável para aplicar redes neurais a dados estruturados em grafos. A abordagem tradicional de GNNs para dados espaciais consiste em representar os dados como um grafo, permitindo que as GNNs sejam aplicadas para aprendizado de representações e inferência. No entanto, a eficácia desta abordagem depende fortemente de como os dados espaciais são representados no grafo, e a aplicação tradicional de GNNs a dados espaciais pode não modelar efetivamente relações espaciais complexas. Para melhorar o desempenho preditivo, foi proposta a Rede Neural de Grafos com Codificador Posicional (PE-GNN), uma abordagem modular e flexível projetada para aplicação a dados espaciais. A PE-GNN constrói o grafo usando distâncias calculadas a partir das coordenadas geográficas e incorpora um Codificador Posicional (PE) para assimilar o contexto espacial de cada par de coordenadas. A saída do PE resulta em um embedding espacial que é concatenado com as variáveis explicativas dos nós antes da aplicação do operador GNN, que produz uma previsão pontual para a variável alvo. Entretanto, a PE-GNN está limitada a fornecer apenas previsões pontuais e não foi projetada para oferecer uma descrição probabilística completa da distribuição condicional da variável alvo. Para superar essa limitação, este trabalho propõe a PE-GQNN, que combina a abordagem PE-GNN com inovações que permitem a quantificação de incerteza ao realizar previsões, oferecendo uma descrição completa da distribuição preditiva condicional. A PE-GQNN inclui três inovações principais: (1) uma nova arquitetura que funde o procedimento em dois passos proposto por Kuleshov and Deshpande (2022) em um único modelo intrinsecamente calibrado, adiando a concatenação do quantil τ proposto por Si, Kuleshov, and Bishop (2022); (2) uma alteração estrutural que aplica o operador GNN apenas às características dos nós, que são então concatenadas com o embedding espacial; e (3) a introdução da média da variável alvo dos vizinhos do nó no grafo como uma característica adicional em uma camada próxima ao output. A PE-GQNN foi testada em três conjuntos de dados reais contendo dados espaciais. Para o conjunto de dados da Califórnia, a PE-GQNN atingiu desempenho de estado da arte, com melhorias relevantes em relação a GNN tradicional e PE-GNN. Ao compará-la com o modelo Processo Neural Condicional com Multi-Atenção Espacial (SMACNP), proposto por Bao, Zhang, and Zhang (2024), a PE-GQNN consistentemente apresentou desempenho preditivo superior com uma grande vantagem: melhor quantificação de incerteza. Utilizando esse mesmo conjunto de dados, as contribuições de cada inovação são reveladas ao realizar uma análise aprofundada dos resultados. A inovação τ , que corresponde à aplicação do framework de regressão quantílica proposto por Si, Kuleshov, and Bishop (2022), realizou um efeito de regularização e melhorou notavelmente a calibração das previsões de quantis, reduzindo o MPE e o MADECP. A inovação estrutural, que envolve a aplicação do operador GNN apenas nas características, é fundamental para melhorar o desempenho das previsões e melhorar a calibração, conforme evidenciado pela redução do MSE, MAE, MPE e MADECP. Além disso, o uso da média dos alvos dos vizinhos de treinamento como uma característica introduzida em uma das últimas camadas da rede, inspirada no método KNN, também melhorou ainda mais o modelo em termos de desempenho preditivo e calibração, apresentando uma redução substancial de MSE, MAE, MPE e MADECP. Além disso, foi verificado empiricamente que as predições da PE-GQNN não apresentaram casos de cruzamento de quantis. Os resultados experimentais para os outros dois conjuntos de dados demonstraram que a PE-GQNN consistentemente supera a GNN tradicional e a PE-GNN em todas as arquiteturas de GNN. Em cada conjunto de dados, as inovações da PE-GQNN levam a reduções significativas em MSE, MAE e MPE. Por outro lado, para o conjunto de dados Air Temperature, o SMACNP alcança o menor MSE e MAE, mas sofre com previsões significativamente descalibradas, refletidas por um MPE e MADECP muito mais altos em comparação com a PE-GQNN. Em resumo, a PE-GQNN representa um avanço significativo na modelagem de dados espaciais, combinando a flexibilidade das GNNs com a capacidade de quantificar incerteza através da regressão quantílica, oferecendo maior capacidade preditiva e uma descrição probabilística completa da distribuição condicional da variável de interesse.