Criação e manipulação de áudio 3D em tempo real utilizando unidades de processamento gráfico (GPU)

Abstract

O uso crescente de unidades de processamento gráfico, Graphics Processing Units (GPUs), no desenvolvimento de aplicações de propósito geral nos permite criar softwares e sistemas capazes de processar grandes volumes de dados paralelamente. Isso faz com que aplicações, que antes imagin´avamos inviáveis no sentido de sua utilização, possam ser construídas. No contexto de aplicações que demandam alto poder de processamento, encontra-se o processo de criação de áudio tridimensional em tempo real e os sistemas de auralização. Tais sistemas têm o objetivo de simular virtualmente o posicionamento de fontes sonoras por meio de funções matem áticas responsáveis por aplicar os parâmetros de direcionalidade em um bloco de sinal de áudio, transmitindo-nos a sensação de posicionamento no campo sonoro ao nosso redor. Essa capacidade demanda a utilização de procedimentos de interpolação capazes de estimar as funções matemáticas de posi- ções pelas quais tais valores não são conhecidos, a partir de funções vizinhas previamente conhecidas. A possibilidade de otimização desses métodos de interpolação e consequentemente de sistemas que se utilizam destes m´etodos, abre caminhos para novas experiências sonoras no campo do entretenimento e da realidade virtual. Para tornar essa otimização possível, experimenta-se o uso de dispositivos eficientes e acessíveis capazes de processar um volume massivo de dados em paralelo. Este trabalho mantém o foco no desenvolvimento de uma biblioteca capaz de realizar a interpolação de HRTFs, as funções de transferência relacionadas à cabeça responsáveis por transmitir a percepção de direcionalidade de uma fonte sonora, e a síntese de áudio tridimensional em tempo real por meio da utilização de hardware gráfico para o processamento massivo de dados em paralelo e tomando como base o algoritmo de interpolação no domínio da transformada wavelet desenvolvido em trabalhos anteriores. Além disso, com a otimização desse método de interpolação, apresenta-se um programa capaz de sintetizar em tempo real o áudio resultante da aplicação dessas funções a partir de dados referentes ao posicionamento espacial da fonte sonora fornecidos por um usuário. Também como parte do escopo desse trabalho, a implementação com técnicas de processamento paralelo com base no uso de múltiplas threads é comparada com a implementação utilizando GPU. ______________________________________________________________________________ ABSTRACT

The increasing use of graphics processing units (GPUs) in the development of general- purpose applications allows us to develop software and systems capable of processing large amount of data in parallel. This means that applications once thought impractical, in the sense of its use, can be constructed with the use of these powerful and emerging processing units. In the context of applications that are heavy in terms of processing, there is the process of creating three-dimensional audio in real time and the auralization systems. Such systems are designed to virtually simulate the placement of sound sources by means of mathematical functions responsible for applying the parameters of directionality in a block of audio signal, giving us the sense of position in the sound field around the listener. This capability requires the use of interpolation procedures able to estimate the mathematical functions of positions, for which such values are not known, from neighboring functions previously known. The possibility of optimization of these methods of interpolation, and as a consequence the systems that use these methods, brings new sound experiences in the field of entertainment and virtual reality. To make this optimization possible, we experiment to use efficient and affordable devices capable of handling a massive volume of data in parallel. This work aims to focus on the development of a library to interpolate the HRTFs, the mathematical functions responsible for transmitting the perception of directionality of a sound source, and to synthesize 3D audio in real-time by using graphic hardware for massive and parallel data processing based on the interpolation algorithm in wavelet domain developed in previous works. In addition, with the optimization of this method of interpolation, as a result of using graphics processing units, a program was created to synthesize real-time audio resulting from the application of these transfer functions from data on the spatial positioning of the source sound provided by a user. Also as part of the scope of this work, we compare the implementation using multiple threads techniques with the implementation using GPU.