A framework for automated parallel execution of scientific multi-workflow applications in the cloud with work stealing

Abstract

Workflows científicos são executados em diversos laboratórios de pesquisa todos os dias em vários continentes, contribuindo significativamente para os avanços da Ciência. Na maioria das vezes, os workflows são executados por scripts desenvolvidos de maneira ad hoc em infra-estruturas computacionais defasadas. Na presente Dissertação de Mestrado, visamos propor e avaliar um framework para execução automática de aplicações compostas por múltiplos workflows científicos na nuvem AWS. Para tirar proveito do paralelismo, o framework proposto executa-se em plataforma com diversos nodes computacionais e várias threads em cada nodo. Adicionalmente, como existe um grande número de operações de E/S nestes workflows, dois tipos de sistema de arquivos serão usados (compartilhado e local). Finalmente, propomos uma estratégia multi-nível de roubo de trabalho para reduzir o desbalanceamento de carga. Nossa resultados mostram que a estratégia paralela combinada ao roubo de trabalho contribuem para a redução significativa de tempo de execução.