An empirical workflow of uncertainty quantification to evaluate agent-based simulation outputs aiming analytical confidence

Abstract

A investigação sobre a mudança de uso e cobertura da terra é importante para promover o gerenciamento criterioso do território, como meio de contenção de danos ambientais. Além disso, é um processo complexo que relaciona a interação entre sistemas ambientais, econômicos e sociais em diferentes escalas temporais e espaciais. O entendimento da dinâmica desses sistemas foca não somente nas partes, mas do comportamento que emerge da interação entre elas. Modelo Baseado em Agente (MBA) é uma boa técnica para o estudo desses fenômenos, uma vez que modela as interações entre agentes autônomos e o seu ambiente. As simulações computacionais são a técnica mais utilizada para avaliar esses modelos, para testar explicitamente os efeitos das decisões humanas em situações complexas. Conquanto os MBAs forneçam uma ferramenta poderosa para analisar fenômenos emergentes, sua utilidade é limitada por dificuldades na análise dos seus resultados, o que fomenta críticas e questionamentos sobre a contribuição real dos frameworks para o suporte à decisão. A ferramenta mais difundida para avaliação é a análise de sensibilidade, pois quantifica os efeitos das alterações nos fatores de entrada do modelo nas previsões do modelo. Entretanto, grande parte dos métodos mais difundidos de análise de sensibilidade não são adequados ou são insuficientes para lidar com as especificidades advindas da complexidade dos MBAs. Dentre elas, destacam-se a estocasticidade, não-linearidade e a parametrização ad hoc, que implicam uma considerável incerteza epistêmica. Sem uma investigação apropriada, há chances significativas de que os resultados derivados da simulação sejam a consequência de vieses. Embora reconhecendo as diferenças particulares dos inúmeros MBAs, a presente tese examina se esses desafios podem ser superados, no contexto de um estudo de caso de uso e cobertura da terra no Cerrado do Distrito Federal, usando a ferramenta multiagente MASE-BDI (Coelho et al., 2016). O objetivo dessa tese é avaliar a aplicação de várias metodologias de quantificação de incerteza e análise de sensibilidade na análise de resultados de MBAs. O foco da pesquisa é efetuar uma aplicação integrada de técnicas de análise de incerteza e sensibilidade e avaliar os impactos que as diferenças nos tamanhos de amostra, técnicas de amostragem e métodos de análise de sensibilidade podem ter na saída do modelo. Além disso, propõe-se um workflow para que essas técnicas possam ser aplicadas de forma organizada e sistemática. De modo mais abrangente, aplica-se uma metodologia geral de avaliação de MBAs, que inclui diferentes abordagens para produzir versões simplificadas do modelo que podem ser usadas para explorar os resultados ou realizar uma análise exploratória. Estas abordagens para análise, calibração e verificação do modelo requerem um grande número de execuções de simulação de cenários repetidos e com muitas combinações de parâmetros e de configurações do modelo. Para facilitar esse processo, foi implementada a integração da ferramenta de simulação MASE-BDI com o conjunto de bibliotecas estatísticas para quantificação de incerteza PSUADE. Houve a criação de um driver e de uma interface para automatizar o pré e pós-processamento de entradas e saídas para muitas execuções do modelo. Todos os experimentos foram testados em um modelo espacialmente explícito de uso e cobertura da terra. A ferramenta de simulação é o MASE-BDI, desenvolvido pela Universidade de Brasília. MASE é o acrônimo para MultiAgent System for Environmental simulation que implementa o modelo de racionalidade Belief-Desire-Intention (BDI). No BDI, os agentes possuem crenças, um conjunto de informações que se tem sobre o ambiente que habitam e que alteram tanto a percepção quanto o seu pensamento sobre o mundo. Desejos, que representam as atitudes motivacionais dos agentes que os conduzem a um curso de ação, e intenções, que são o conjunto de planos montados pelo agente para que ele atinja os seus objetivos. A função objetivo da análise dos resultados da simulação é uma métrica estatística de aptidão denominada figura de mérito (FoM), determinada pela razão entre as mudanças na terra que foram preditas corretamente sobre a soma das mudanças observadas (Pontius et al., 2008). Essa métrica quantifica se os acertos de um mapa de uso e cobertura da terra são maiores que os erros na predição da quantidade de conversão entre os diferentes usos e coberturas da terra e da alocação dessas mudanças no espaço. A metodologia utilizada na tese foi incremental e evolutiva. Inicialmente, foi realizada uma avaliação do modelo com a utilização dos métodos mais difundidos na literatura: análise de sensibilidade um-fator-de-cada-vez (OAT - One-factor-At-a-Time) para quatro fatores de entrada e um número variável de replicações. Para avaliar a qualidade da saída do modelo, a métrica de aptidão foi avaliada por meio de intervalos de confiança. Os resultados mostraram que apesar de ser possível diferenciar os fatores de entrada sensíveis e não sensíveis, a variabilidade da saída era tão grande que a incerteza impedia qualquer análise mais robusta. Percebeu-se que diferentes replicações da amostra afetavam consideravelmente os resultados. A revisão de literatura apresentou um cenário apelidado por Angus (2015) de "anarquia metodológica". Partindo da premissa que há grandes discrepâncias nas orientações provenientes da revisão de literatura, optou-se por uma investigação profunda e abrangente dos itens que eram passíveis de influenciar os resultados do modelo. Esse segundo passo da investigação propôs uma adaptação e detalhamento do workflow para análise de saída do modelo, disponíveis na literatura. A partir da proposta de (Pianosi et al, 2016) propôs-se uma metodologia com três passos: 1) projeto do experimento; 2) análise de incerteza; e 3) análise de sensibilidade. A contribuição baseia-se na inserção explícita de métodos para a definição da estabilidade da variância, ou seja, o tamanho mínimo da amostra para o estudo de caso específico. Os pesquisadores divergem consideravelmente sobre qual deve ser o tamanho mínimo de uma amostra, dado um determinado número de fatores de entrada. Postula-se que a variabilidade do parâmetro de saída sob investigação deve nortear essa escolha. Apenas quando a variância atingir um ponto de estabilidade, é possível obter o número mínimo de simulações necessárias para que as conclusões sejam válidas. Além disso, os experimentos foram projetados para investigar a eficácia e eficiência da estratégia de amostragem e do método de análise de sensibilidade. Foram avaliadas todas as possíveis combinações entre as estratégias de amostragem comuns na literatura (Monte Carlo, Hipercubo Latino, Array Ortogonal, Fourier, entre outros) e os métodos de sensibilidade (regressão, correlação, OAT, Sobol, Teste Delta, processos gaussianos, entre outros). Todas as possíveis combinações resultaram em uma miríade de simulações. Para executar esse grande número de testes, foi necessário implementar uma integração entre a modelo de simulação MASE-BDI e a ferramenta estatística de quantificação de incerteza PSUADE (Tong, 2005). Dessa forma, por meio de uma interface de usuário é possível determinar os fatores de entrada e saída, o tamanho da amostra e a técnica de amostragem. O sistema automaticamente informa esses parâmetros para a ferramenta e simula cada um desses cenários. Após esse cálculo, é possível selecionar os métodos de análise de incerteza e sensibilidade e calcular os respectivos índices. De forma surpreendente, métodos amplamente difundidos apresentaram resultados controversos quando aplicados no estudo de caso. Ademais, diferentes métodos de amostragem produziram diferentes saídas para o mesmo método de análise de sensibilidade. Em alguns casos, diferentes tamanhos de amostra indicaram resultados conflitantes para uma mesma métrica de sensibilidade. A partir dessas observações é possível afirmar que nenhum MBA pode aplicar um método sem antes questioná-lo. Uma série de investigações preliminares são obrigatórias para garantir que os métodos de incerteza e sensibilidade são adequados para o estudo de caso em questão. Para tornar os experimentos mais eficientes, uma utilização integrada de análise de incerteza e sensibilidade foi a opção metodológica escolhida. Os resultados da análise de incerteza alimentavam a análise de sensibilidade, promovendo uma análise mais completa das saídas do modelo. O workflow proposto é a ferramenta para guiar outros pesquisadores da área de MBA e evitar que erros comuns sejam cometidos. Um exemplo são os métodos de regressão-linear e correlação, amplamente difundidos em modelos ecológicos, mas que se mostraram inadequados para a avaliação do MBA em questão. Na última etapa da tese, optou-se por enquadrar os experimentos em um framework geral para avaliação de modelos inicialmente proposto por (Augusiak, 2014). "Avalidação" é a composição entre avaliação e validação que se ancora no ciclo de modelagem e propõe atividades específicas para verificar cada passo da concepção e simulação de um modelo. O foco desse trabalho concentrou-se nos métodos de verificação das saídas, análise e corroboração das saídas do modelo. Para cada item, fornece-se o passo a passo de atividades, aplicadas ao modelo MASE-BDI. Para ilustrar o potencial dessa metodologia, foram propostos dois experimentos, um exploratório e um explanatório, para gerar versões simplificadas, computacionalmente eficientes, e que exploram comportamentos específicos do sistema em questão. A simplificação baseia-se na redução da variabilidade dos fatores de entrada, de modo a aumentar a confiança nos resultados das predições. O experimento exploratório possibilitou a investigação de comportamentos extremos do sistema, mantendo a variabilidade dos fatores. O experimento explanatório reduz a variabilidade de saída. Ao refinar o fator de entrada que mais influencia o resultado, foi possível reduzir as incertezas. Ambos os experimentos mantêm a média da variável de saída constante. O resultado é uma avaliação integral do modelo, no que concerne a variável de saída de interesse. A sequência de experimentos identificou quais os métodos mais adequados e eficientes para o estudo de caso. Entretanto, a aplicação desses métodos ilustra como deveria ser uma análise integrada de incerteza e sensibilidade em um MBA. Essa iniciativa favorece a transparência e permite o escrutínio e a replicabilidade por parte da comunidade de pesquisa. O resultado é um modelo ajustado e avaliado, cuja média registrada para função objetivo é maior que 51%, melhorando significativamente os resultados iniciais obtidos com as orientações provenientes da literatura. Apesar de os testes terem sido realizados em um modelo específico, as considerações podem ser generalizadas para todo o campo de pesquisa. A integração de análise de incerteza e sensibilidade deve ser feita rotineiramente nos processos de avaliação de um modelo. Seguindo as etapas estabelecidas pelo workflow, pesquisadores podem aumentar o nível de confiança nos resultados de suas simulações e promover um uso mais racional e eficiente dos MBAs.