Aplicação de aprendizado por reforço na escolha inteligente de túneis estabelecidos por meio de caminhos LSP/MPLS-TE

Abstract

O presente trabalho se propõe a explorar técnicas que deem um caráter mais dinâmico e inteligente aos protocolos de roteamento ou engenharia de tráfego que existem e são amplamente utilizados no mercado, em razão de seu comportamento um tanto quanto estático frente a mudanças nas condições da rede. Geralmente é necessária a intervenção de um operador humano, o que nem sempre ocorre de forma rápida ou eficaz. Portanto, constitui-se um objeto de estudo válido o acréscimo de inteligência artificial a esses sistemas de modo a avançar nesse sentido. Este trabalho teve como objetivo aplicar um algoritmo de aprendizado por reforço ao protocolo RSVP-TE de modo a permitir a escolha dinâmica e automática do caminho com menor atraso até o roteador de borda de saída da sessão, dentre um grupo de caminhos pré-configurados explicitamente. A ferramenta desenvolvida foi testada em ambiente de simulação e comparada com um algoritmo clássico de roteamento adaptativo, com bons resultados. Mostrou-se que a solução é válida e promissora, podendo passar por ajuste fino de parâmetros para que se consiga um desempenho otimizado e condizente com cada cenário. ______________________________________________________________________________ ABSTRACT

The present work has the goal to explore techniques that may add adaptive and intelligent characteristics to the existing routing protocols and traffic engineering tools of today s commercial networks. As these protocols don t generally respond well to changes in the network s performance and quality of service, the intervention of an engineer is often needed. It may not happen, however, in the fastest or most efficient way possible. Thus an interesting subject rises to be studied: the adding of Artificial Intelligence in today s protocols to reach the aimed dynamic response. It was intended in this work to apply a reinforcement learning algorithm to the RSVP-TE protocol to implement a scheme that allows the automatic and dynamic choice of the best path to the edge router at the end of the session, among a pre-configured group of paths. The end-to-end delay in each path is the considered performance parameter. The solution was tested and presented good results, remaining a promising tool for problems of traffic engineering after a fine adjustment of the parameters involved.