Hace pocos dias los desarrolladores de Google dieron a conocer mediante una publicación de blog que han tomado la decisión de hacer que Lyra sea de código abierto. Lyra se basa en el aprendizaje automático para permitir llamadas de voz de alta calidad en situaciones de ancho de banda bajo.
Con lo cual esto beneficia y permite a otros desarrolladores alimentar sus aplicaciones de comunicación y desarrollar Lyra en nuevas direcciones.
Un elemento básico de las aplicaciones de medios durante décadas, los códecs han permitido que las aplicaciones con uso intensivo de ancho de banda transmitan datos de manera eficiente.
Como tal, el desarrollo de códecs, tanto para video como para audio, presenta un desafío continuo: proporcionar una calidad cada vez mayor, usar menos datos y minimizar la latencia para la comunicación en tiempo real.
Aunque el video puede parecer que consume mucho más ancho de banda que el audio, los códecs de video modernos pueden lograr tasas de bits más bajas que algunos de los códecs de voz de alta calidad que se utilizan en la actualidad.
La combinación de códecs de voz y video de baja tasa de bits puede brindar una experiencia de videollamadas de alta calidad incluso en redes con poco ancho de banda. Sin embargo, históricamente, cuanto menor es la tasa de bits de un códec de audio, menos inteligible es la señal de voz y más robótica es.
Además, aunque algunas personas tienen acceso a una red de banda ancha de alta calidad constante, este nivel de conectividad no es universal, e incluso las personas que viven en áreas bien conectadas a veces enfrentan conexiones de red deficientes, conexiones de red deficientes y conectividad deficiente.
Para resolver este problema, Google creó Lyra, un códec de voz de alta calidad y tasa de bits ultrabaja que hace que la comunicación de voz esté disponible incluso en las redes más lentas.
Para hacer esto, Google aplicó técnicas de codificación tradicionales mientras aprovechaba los avances en el aprendizaje automático con modelos entrenados durante miles de horas de datos para crear un nuevo método de compresión y transmisión de señales de voz.
El código de Lyra está escrito en C++ para brindar velocidad, eficiencia e interoperabilidad, ademas de que utiliza el marco Bazel con Abseil y el marco GoogleTest para pruebas unitarias completas.
La API básica proporciona una interfaz para la codificación y decodificación a nivel de paquetes y archivos. También se proporciona la cadena de herramientas de procesamiento de señales completa e incluye varios filtros y transformaciones.
“Nuestra aplicación de muestra se integra con el NDK de Android para mostrar cómo integrar el código nativo de Lyra en una aplicación de Android basada en Java. También proporcionamos los pesos vectoriales y los cuantificadores necesarios para ejecutar Lyra ”, dijo Google. Esta versión proporciona las herramientas necesarias para que los desarrolladores codifiquen y decodifiquen audio con Lyra, optimizado para la plataforma Android ARM de 64 bits, con una versión para Linux.
Las características se decodifican en forma de onda mediante un modelo generativo. Los modelos generativos son un tipo especial de modelo de aprendizaje automático muy adecuado para recrear una forma de onda de audio completa a partir de un número limitado de funciones.
La arquitectura de Lyra es muy similar a los códecs de audio tradicionales, que han sido la columna vertebral de la comunicación por Internet durante décadas. Si bien estos códecs tradicionales se basan en técnicas de procesamiento de señales digitales, Lyra reside en la capacidad del modelo generativo para reconstruir una señal de voz de alta calidad.
Google implementó Lyra en su aplicación gratuita de videollamadas Duo y dijo que estaba haciendo el código de código abierto porque cree que podría ser adecuado para otras aplicaciones.
Google cree que hay una serie de aplicaciones para las que Lyra podría ser adecuada, ya sea para archivar grandes cantidades de voz, ahorrar batería o aliviar la congestión de la red en situaciones de mucha actividad.
«Esperamos ver la creatividad que caracteriza a la comunidad de código abierto aplicada a Lyra para ofrecer aplicaciones únicas e impactantes», dijo Google.
Fuente: googleblog | desdelinux
