Ir a la barra de herramientas
Gaming

¬ŅQu√© es RayTracing Audio? – Caracter√≠stica y funcionamiento

Seguramente has visto el termino RayTracing Audio en alguna parte, pero no tienes ni idea de que es. En este artículo te explicaremos que es esto del RayTracing Audio, o mejor dicho, TrueAudio Next de AMD. Y es que la denominación comercial de RayTracing Audio se fundamenta en la extensión del termino RayTracing para el trazado de rayos de luz implementado por NVIDIA.

Realmente en este artículo encontraras muy pocas veces el término RayTracing Audio. Como decíamos, se debe a que el nombre de la tecnología es TrueAudio Next y ha sido desarrollada por AMD. Realmente la definición de trazado de rayos para el sonido no es correcta, sería más bien trazado de ondas. Pero ya se sabe, hay que ponerle un nombre comercial que llame la atención.

Para entender mejor cómo se comporta el sonido, es interesante entender un poco como funciona el Efecto Doppler. Buscando evitar decir algo incorrecto, prefiero dejaros un vídeo de Santaolalla, ya que está más cualificado que yo para explicarlo.

El origen de TrueAudio Next: la realidad virtual

La realidad virtual es una nueva tecnología que está creciendo poco a poco y que genera importantes desafíos, entre ellos, el procesamiento del audio.

Durante la historia de los videojuegos, el realismo de la representación de audio se ha mantenido relativamente. Esto se ve con mayor profundidad si miramos los avances en representación gráfica y en las cinemáticas modernas. Pero pese a que el sonido es inherente al sentido tridimensional, el audio no ha sufrido grandes cambios.

En un sistema 2D, como pueda ser una pantalla, si escuchas un sonido tras de ti y te giras, veras la fuente del sonido o una pared u otro elemento. Los juegos FPS suelen usar audio 3D para ofrecer asistencia t√°ctica que nos puede beneficial. Incluso en el cine, el sonido envolvente se basa en altavoces traseros y laterales que ofrecen efectos de relleno ambienta. No suelen ofrecer se√Īales auditivamente significativas, sencillamente, porque de hacerlo nos podr√≠an distraer de la acci√≥n de la pantalla.

Montar una pantalla en nuestra cabeza, como pasa en los visores de realidad virtual, lo cambia todo. Podemos movernos en todas direcciones y vemos una escena visual completa. Actualmente incluso podemos caminar de manera independiente en un mundo virtual. Los sistemas de realidad virtual ses espera que den una sensaci√≥n de presencia que se aproxima a la realidad consensuada: ‚Äėilusi√≥n perceptiva de no mediaci√≥n‚Äô. Hay estudios que indican que el audio realista es importante para la realidad virtual.

amd trueaudio next raytracing audio

Conceptos b√°sicos para un audio realista

Normalmente se indica que la representaci√≥n precisa de audio especial y posicional usando funciones de transferencias relacionadas con la cabeza basta para ofrecer audio realista (HRTF). Esto est√° muy bien para entornos con un recorrido cerrado. El dise√Īador puede a√Īadir efectos ambientales de reverberaci√≥n, oclusi√≥n, reflexi√≥n, difracci√≥n, absorci√≥n y difusi√≥n en cada pre grabado con sonido.

Esto se vuelve inadecuado cuando el usuario tiene capacidad de moverse libremente por la escena, incluso dentro de un área limitada. El usuario con el movimiento o con el cambio de posición de la cabeza, genera que las rutas de reflexión y los efectos ambientales sean diferentes.

Lo que se hace habitualmente es tomar todos los efectos en un complemento de reverberaci√≥n. Suele ser com√ļn usar una configuraci√≥n de reverberaci√≥n para toda la escena o m√ļltiples configuraciones para diferentes habitaciones en la escena. Para que lo entendamos, si en una habitaci√≥n anexa hay un sonido, se procesa con una configuraci√≥n de reverberaci√≥n diferente a la que nosotros estamos.

amd trueaudio next raytracing audio

Tecnología de la década de 1990

Dentro de un mundo virtual, dichas aproximaciones no generan una presencia, aunque los sonidos est√©n configurados con mucha precisi√≥n. Tomemos un ejemplo en realidad virtual. Vamos por un pasillo y hay una abertura desde la que sale un sonido. Con el sistema t√≠pico el sonido ser√≠a siempre el mismo, estemos en el punto que estamos, pero en la realidad esto cambia por el efecto Doppler. Cuando nos acercamos al punto que genera el sonido, aumenta el ‚Äėvolumen‚Äô, cuando llegamos al punto el ‚Äėvolumen‚Äô es m√°ximo y cuando lo pasamos, el ‚Äėvolumen‚Äô, decae.

Esto se debe por:

  • Oclusi√≥n de las paredes de la habitaci√≥n
  • Difracci√≥n alrededor de la abertura
  • Reflexi√≥n de las superficies de las paredes, piso y techo
  • Difusi√≥n y absorci√≥n de los materiales que componen las superficies

As√≠ el sistema de dise√Īo de audio convencional y la representaci√≥n de la reverberaci√≥n de una sala, agrega atenuaci√≥n simple y filtrado de paso bajo de una fuente de sonido. Posicionarlo con un HRTF genera una representaci√≥n de sonido cre√≠ble, pero no logra crear presencia. Algo que sucede por mucho que el dise√Īador use curvas de audio realistas para la atenuaci√≥n de distancia y filtrado de fuentes de sonido.

La raz√≥n sencilla por la que este enfoque convencional se queda corto es porque la ac√ļstica del mundo real es m√°s compleja. Nuestro cerebro est√° bien entrenado por exposici√≥n y adaptaci√≥n a reconocer la ac√ļstica del mundo real y lo discriminamos con precisi√≥n. Nuestra audici√≥n es una adaptaci√≥n de cr√≠tica para la supervivencia: el sonido es un primer indicador de peligro, habitualmente. Conocer la direcci√≥n y la distancia de la fuente de sonido, dado un entorno, supone una adaptaci√≥n cr√≠tica.

amd trueaudio next raytracing audio reflexión

Modelado del audio del entorno

Ofrecer sonido ambiental con una ac√ļstica similar a la del mundo real requiere del modelado de la f√≠sica de la propagaci√≥n del sonido. Este proceso se denomina auralizaci√≥n. Para esta implementaci√≥n hay varios enfoques de modelado de la propagaci√≥n con compensaciones entre complejidad y precisi√≥n.

El modelo perfecto, por ejemplo resolver la ecuaci√≥n de onda ac√ļstica para cada propagaci√≥n de sonido, no tiene un alcance pr√°ctico. Se debe a que la capacidad de c√≥mputo en tiempo real para sistemas de realidad virtual es limitada. La potencia de c√≥mputo en tiempo real mediante GPU con TrueAudio Next de AMD se podr√° habilitar en un futuro. Esto permitir√° la auralizaci√≥n que no se puede conseguir con una CPU.

La ac√ļstica geom√©trica inicia con el trazado de los caminos de los rayos entre cada fuente de sonido y la posici√≥n de los o√≠dos del oyente. Se requieren algoritmos para el conjunto de datos sobre los caminos del trazado y las propiedades del material sobre el que rebotan. Esto genera una respuesta de impulso √ļnica para cada sonido por o√≠do.

LEER M√ĀS
Todo lo que necesitas saber de Among Us, consejos y guía

Necesidad de pocos recursos

Adem√°s, la reflexi√≥n del camino, la difusi√≥n y la oclusi√≥n, as√≠ como los efectos de difracci√≥n y los filtros HRTF, se pueden modelar en este marco, superponi√©ndose cada respuesta de impulsos variables en el tiempo.  

Dentro de este proceso de representaci√≥n y la respuesta del impulso se actualizan constantemente seg√ļn la fuente y la posici√≥n del oyente. Estas se√Īales se mezclan por separado por o√≠do para generar las formas de onda de audio de salida escuchadas por el oyente. Un enfoque escalable implementado tanto en CPU como con TrueAudio Next de AMD.

Seg√ļn el n√ļmero de fuentes de sonido modeladas f√≠sicamente mejora significativamente. Se suprime la limitaci√≥n a un n√ļmero reducido de se√Īales primarias de sonido, permitiendo escalar para incluir fuentes de sonido ambiental. Permite conseguir un paisaje sonoro completo de entre 40 y 64 sonidos. Esto se consigue con la asignaci√≥n de entre un 10-15 de Compute Units de una GPU. Adem√°s se puede escalar en dimensiones a√ļn mayores cuando se implementan m√ļltiples GPU o combinaciones de APU y GPU. 

TrueAudio Next y FireRay

Para esta representaci√≥n ac√ļstica geom√©trica se necesitan dos elementos:

  • Convoluci√≥n variable en el tiempo (componente de procesamiento de audio)
  • RayTracing (componente de propagaci√≥n)

Las GPU Radeon de AMD permite el trazado de rayos mediante la biblioteca de código abierto FireRays desarrollada por AMD. Así la convolución en tiempo real variable en el tiempo se realizada mediante la biblioteca TrueAudio Next.

TrueAdio Next es una biblioteca de aceleración matemática en tiempo real basada en OpenCL de alto rendimiento de audio con especial énfasis en el compto por GPU. La convolución de baja latencia y variable en el tiempo soporta FFT y transformaciones Fast Hartley.

Ahora nos enfrentamos a dos preguntas críticas

  • ¬ŅSe puede usar esta tecnolog√≠a con los Stream Processors de las GPU sin penalizar el renderizado de los fotogramas (FPS)?
  • ¬ŅPuede el audio de alto rendimiento por GPU reproducir sin problemas y con baja latencia en un juego de realidad virtual o en un escenario de renderizaci√≥n cinem√°tico avanzado?

Tradicionalmente la respuesta sería que el procesamiento de audio por GPU genera una latencia inaceptable y penaliza en el rendimiento gráfico. Pero con TrueAudio Next se puede hacer sin problemas, reservando Compute Units para cómputo asíncrono.

La computaci√≥n as√≠ncrona de AMD es conocida en el renderizado de VR como elemento clave de las caracter√≠sticas Time Warp y Direct-to-GPU. Se basa en evitar que las colas se ejecuten en una √ļnica matriz de Compute Units. Lo que se busca es que m√ļltiples colas utilicen diferentes conjuntos de manera simult√°nea, priorizando la ejecuci√≥n variable bajo el control de un programador de hardware eficiente.

Reservar Compute Units lleva esto un paso más allá. Se puede coger un conjunto determinado de CPU y reservarse por el tiempo necesario, accediendo a la cola en tiempo real. Una GPU de 32 CU, por ejemplo, podría reservar 4-8 CU para el uso sólo bajo TrueAudio Next. La reserva se realiza dentro de la aplicación, complemente o motor habilitado para TrueAudio Next.

Reserva de las Compute Units

Este sistema permite reservar un n√ļmero de CU flexible, escalable y discrecional seg√ļn el juego. Los motores de audio ya tienen experiencia en el escalado de recursos del procesador mediante herramientas de creaci√≥n de perfiles. TrueAudio Next agrega una sandbox privada, confiable y altamente configurable.

Para evitar posibles problemas futuros, se puede establecer una reserva de CU temprana en el ciclo de desarrollo de un juego. As√≠ el desarrollo de audio y gr√°ficos puede transcurrir de manera independiente. Esto adem√°s permite evitar la problem√°tica que el procesamiento de audio ‚Äėrobe‚Äô recursos al procesamiento gr√°fico. Realmente ofrecen un entorno limitado estricto, pero mucho m√°s grande y potente que el ofrecido por un procesador.

Se a√≠slan los gr√°ficos del audio y el audio de los gr√°ficos. √önicamente se comparte el ancho de banda de la memoria, ocupando el audio una parte muy peque√Īa de este, comparada con los gr√°ficos. Adem√°s, para el audio las latencias de transferencia DMA son m√°s adecuadas.

Bajo estos par√°metros se han conseguido latencias de convoluci√≥n sin fallos con una latencia de solo 1.33ms en 64 muestras de 48kHz. Bajo este mismo test la respuesta de impulso ha sido de m√°s de 2 segundos. El audio convencional en juegos t√≠picos tiene una latencia de b√ļfer de entre 5-21ms.

amd trueaudio next raytracing audio

TrueAudio Next de AMD

El sonido, como pasa con la luz, interact√ļa con los elementos que tenemos a nuestro alrededor de diferentes manera. La textura, la forma, el desplazamiento o el volumen de un objeto influyen de manera directa en las onda de sonido. Quiza a muchos os suene de la serie The Big Bang Theory, el efecto Doppler, que describe c√≥mo cambia una fuente de sonido acerc√°ndose o alej√°ndose de nosotros, el observador.

La soluci√≥n por software de TrueAudio Net permite el procesamiento de una se√Īal de sonido mediante la aceleraci√≥n por GPU. Se asignan algunas Compute Units de las tarjetas gr√°ficas, aisladas del pipeline gr√°fico, para que realicen esta tarea.

Ser√≠a algo bastante parecido al trazado de rayos de luz de NVIDIA, que requiere los RT Cores, que b√°sicamente son CUDA Cores que √ļnicamente hacen los c√°lculos del movimiento de la luz y su interacci√≥n con otros elementos. En el caso de AMD, los desarrolladores asignan recursos de la GPU a esta funci√≥n seg√ļn las necesidades.

Para esto se ofrecen librerías optimizadas para algoritmos con un alto coste computacional. Estas ofrecen convolución de audio variable en el tiempo, FFT/FHT y matemática vectorial orientada al audio.

Todo esto permite a los dise√Īadores de sonido la opci√≥n de reproducir m√°s fuentes de sonido con f√≠sicas de alta resoluci√≥n. Permite tambi√©n pasar a Ambisonic de orden superior para una mayor resoluci√≥n del campo de sonido. Otra de las posibilidades es habilitar la respuesta de impulso de 5 segundos ideal para los sonidos de cuevas que no se pod√≠an renderizar mediante CPU.

TrueAudio Next 1.2 de AMD

Esta versión de la tecnología TrueAudio Next implementa importantes mejoras en cuanto a rendimiento y características.

El algoritmo de convoluci√≥n de audio implementa una opci√≥n de aceleraci√≥n denominada m√©todo particionado ‚Äúhead-tail‚ÄĚ. Permite a un hilo de procesamiento de audio que se manda a un b√ļfer de audio en tiempo real recibir una respuesta de TrueAudio Next m√°s r√°pida que con respecto a una convoluci√≥n convencional.

Gran parte de la sobrecarga de computaci√≥n se produce en segundo plano, entre la presentaci√≥n del b√ļfer a TrueAudio Next. Esto permite que todo sea mucho m√°s amigable para el procesamiento en paralelo.

LEER M√ĀS
Top 10 de los grandes problemas que tiene Nintendo

Al mismo tiempo todo esto permite reducir la latencia y mejorar el rendimiento. Esto se debe a que el hilo de audio de llamada no se bloquea esperando que se calcule toda la convolución.

Por otro lado se a√Īaden optimizaciones en la biblioteca de aceleraci√≥n de audio de gr√°ficos TrueAudio Next. Esto permite minimizar la cantidad de memoria necesaria, agilizar la transferencia de b√ļfer y evitar la sobrecarga de sincronizaci√≥n. Todo esto mejora de manera significativa el rendimiento cuando el n√ļcleo IR se actualiza de manera din√°mica mientras se ejecuta la convoluci√≥n.

La latencia que se genera para este subproceso de llamada de b√ļfer de audio ahora es un c√°lculo corto de cabecera.

TrueAudio Next en esta generación permite reservar recursos de una GPU AMD para el procesamiento de audio. Esta reserva lo que permite es proteger las colas de audio y de gráficos. Explicado de manera sencilla, evitamos que ambas colas se pueden bloquear entre sí, trabajando en paralelo.

Finalmente en esta versi√≥n se a√Īade la mezcla acelerada por GPU para minimizar la sobrecarga de la transferencia del b√ļfer. Se a√Īade ecualizador de 10 bandas, filtro IIR (respuesta de impulso infinita) y convoluci√≥n en el dominio del tiempo y muestra Doppler.

amd trueaudio next raytracing audio con respresentación en un museo
Las esferas representan fuentes de sonido

M√°s all√° del audio espacial

Los gr√°ficos son muy importantes en los juegos, pero un factor importante en estos tambi√©n es el sonido. Normalmente los dise√Īadores de sonido se centran en la representaci√≥n 3D espacial de las fuentes de sonido directas. El sonido directo es fundamental para crear paisajes sonoros geniales que lleven al jugar al siguiente nivel.

El problema reside en que el sonido en su desplazamiento puede toparse con objetos que absorban parte del sonido o lo distorsionen. Normalmente el sonido que reflejan las paredes, el techo, el suelo o los objetos no se tiene en mucha consideración.

No se tiene en cuenta porque la reflexi√≥n del sonido requiere una cantidad de recursos significativa, mayor que el sonido directo. El problema es que las herramientas disponibles (hardware y software) pueden no estar a la altura. Por lo tanto los dise√Īadores priorizan el sonido directo y usan reverberaciones simples para implementar las reflexiones de sonido. Adem√°s, esta reverberaci√≥n se hace a nivel bajo para evitar la p√©rdida de claridad.

RayTracing Audio

El nivel de realismo y credibilidad cuando se implementa el reflejo de sonido proceso en un juego aumenta la experiencia. Las reflexiones especializadas y generadas f√≠sicamente pueden lograr este objetivo y ofrecer se√Īales posicionales muy √ļtiles para el oyente, cosa que en el sonido directo esto se ve limitado.

Para ello Ambisonics ofrece codificaci√≥n de audio 3D con cambios cuando se cambia la orientaci√≥n de la cabeza. Permite de manera sencilla el c√°lculo de las reflexiones con resoluci√≥n escalable. Ambisonics de Orden Superior (HOA) es una soluci√≥n muy √ļtil en este punto. Cada aumento en orden, aumenta exponencialmente la resoluci√≥n espacial del campo de sonido reverberante, evitando el desorden y la ambig√ľedad.

Ambisonics de orden cero, por otro lado, es monodireccional, dirigiéndose hacia la cabeza. La nueva solución es Ambisonics de tercer orden o de orden superior ofrece sonido de dieciséis direcciones.

Ambisonics de tercer orden

Todo esto puede ser un poco complicado de entender, por eso AMD publicó un vídeo donde se pueden percibir las diferencias. La primera parte del vídeo basada en TrueAudio Next se basa en Ambisonics de orden cero o lo que es lo mismo, sin considerar refracción del sonido. La segunda parte del vídeo se basa en Ambisonics de tercer orden donde ya se perciben las diferencias que dependen de los objetos y la distancia.

Las 16 esferas que podemos ver en la sala representan focos de sonido diferentes hablando de manera simult√°nea. Empezamos fuera de la sala, pasamos por un pasillo y llegamos a la sala. Podemos escuchar en el segundo caso como el sonido cambia a cada movimiento.

Sonido de las dos escenas:

  • Primera parte con sonido en tiempo real mediante Ambisonics de orden cero. Se utilizan 16 convoluciones totales y se puede renderizar f√°cilmente con una CPU moderna.
  • Segunda parte con sonido en tiempo real mediante Ambisonics de tercer orden acelerado por TrueAudio Next. Son 16 fuentes con 256 filtros de convoluci√≥n que se ejecutan en la GPU con recursos reservados para esta tarea.

Cabe destacar que en los dos casos se utiliza la misma representación de sonido 3D directo. La diferencia entre las dos secuencias se debe al manejo de los reflejos de sonido.

Vídeo de Ambisonics de tercer orden (utilizar auriculares para mayor nitidez)

Elementos que se pueden escuchar cuando se habilita TrueAudio Next:

  • Fuera del edificio es sencillo escuchar la direcci√≥n del sonido reflejado. El posicionamiento directo del sonido no puede funcionar solo los reflejos son audibles. No se a√Īaden dispositivos de direcci√≥n de sonido en esta escena para crear dicho efecto, se genera autom√°ticamente con f√≠sica.
  • Dentro del pasillo el sonido reflejado es m√°s natural y cambia seg√ļn el movimiento de la cabeza.
  • Cuando entramos en la habitaci√≥n, pese al aumento de la reverberaci√≥n de paredes y techo, es m√°s f√°cil distinguir las fuentes de sonido individuales. La habituaci√≥n va sonando m√°s natural a medida que nos movemos. Pese a que suceden muchas cosas, el sonido se vuelve m√°s c√≥modo de escuchar. En Ambisonics de Orden cero el dise√Īador deber√≠a bajar la reverberaci√≥n para evitar que el oyente se pueda desorientar. 

Conclusión

Podemos decir tras lo explicado que el RayTracing Audio (nombre comercial de TrueAudio Next de AMD) supondrá un gran salto en juegos. Esta tecnología implementada en juegos tiene la capacidad potencial de ofrecer una experiencia de juego enriquecida. Debemos agradecer a la realidad virtual el desarrollo de RayTracing Audio y dejar atrás una tecnología poco rica de la década de 1990.

Quiza uno de los aspectos m√°s interesantes es que RayTracing Audio requiere una cantidad de recursos relativamente baja de la GPU. El procesador, como bien se explica, no puede procesar el RayTracing Audio, pero una GPU puede hacerlo f√°cilmente. Solo con el 15% de los recursos de la GPU, como m√°ximo, ya podemos disfrutar de RayTracing Audio.

De momento y que sepamos, no est√° a√Īadida en ning√ļn juego, pero el anuncio de su implementaci√≥n en la consola de Microsoft supondr√° su estandarizaci√≥n. RayTracing Audio ser√° soportado por la consola Xbox Series X basada en una gr√°fica y un procesador de AMD. Posiblemente para evitar el sacrificio m√≠nimo de rendimiento gr√°fico, AMD implemente hardware dedicado para el RayTracing Audio, aunque no se sabe a ciencia cierta.

Sea como fuera, el salto en la experiencia de juego se denota importante, con mayor nitidez y con un sonido más realista. RayTracing Audio, al igual que su hermano RayTracing para iluminación, han llegado para quedarse.

Roberto Solé

T√©cnico en sistemas de generaci√≥n de energ√≠a sustentables e instalador de sistema de distribuci√≥n de energ√≠a en vivienda. Trabajo delante de un PC, en mi tiempo libre estoy delante de un PC y cuando salgo de casa estoy pegado a la pantalla de m√≠ smartphone. Cada ma√Īana cuando me levanto cruzo el Stargate para hacerme un caf√© y empezar a ver v√≠deos de YouTube mientras hago ver que escribo aqu√≠. Una vez vi un drag√≥n... ¬Ņo era un Dragonite?

Publicaciones relacionadas

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Botón volver arriba