Un equipo de científicos computacionales ha logrado realizar reconstrucciones en 3D de paneles de relieve perdidos en un sitio de Patrimonio Mundial de la UNESCO usando inteligencia artificial. Los investigadores desarrollaron una red neuronal que puede tomar una foto en 2D de un objeto tridimensional y producir una reconstrucción digital en 3D, esencialmente creando un estereoscopio del siglo XXI. El equipo presentó su prueba de concepto en la 32ª conferencia de ACM Multimedia el mes pasado.
Para su investigación, los científicos utilizaron imágenes de relieves en el templo Borobudur en Indonesia, el mayor conjunto de relieves budistas del mundo, con 2,672 bajorrelieves. A finales del siglo XIX, se reinstaló una capa protectora en la base del templo, ocultando 156 de estos relieves detrás de muros de piedra, donde permanecen enterrados hasta hoy. Antes de cubrirlos, se tomaron fotografías en blanco y negro de cada panel, y el equipo logró reconstruir digitalmente uno de esos relieves ocultos a partir de una foto de hace 134 años.
Intentos anteriores de reconstrucción perdían los detalles finos de los relieves debido a la compresión de los valores de profundidad, lo cual aplanaba las variaciones de los relieves tridimensionales. El equipo identificó estas características perdidas como “bordes suaves” y creó un mapa de esos bordes basado en los cambios de curvatura calculados en el espacio 3D.
En su nuevo estudio, el equipo argumentó que el mapa de bordes anterior reducía la precisión del modelo, ya que no transmitía correctamente los cambios de curvatura 3D y limitaba su impacto en la estimación de profundidad de los objetos físicos.
“Aunque logramos un 95% de precisión en la reconstrucción, los detalles más finos, como rostros humanos y decoraciones, aún faltaban,” explicó Satoshi Tanaka, investigador de la Universidad Ritsumeikan en Japón y coautor del estudio. “Esto se debió a la alta compresión de valores de profundidad en las imágenes de relieves en 2D, lo que dificulta extraer variaciones de profundidad a lo largo de los bordes. Nuestro nuevo método aborda esto al mejorar la estimación de profundidad, especialmente en los bordes suaves, mediante un enfoque novedoso de detección de bordes.”
La imagen comparativa de los resultados experimentales del equipo muestra (en la fila inferior) un mapa de bordes suaves (izquierda) y un mapa semántico (derecha) del relieve de muestra, comparado con los datos de referencia (fila superior). El mapa de bordes rastrea los puntos donde las curvas del relieve le dan profundidad, que confundían a los modelos anteriores.
Los conceptos relacionados para lograrlo
El mapa semántico, que recuerda vagamente a Blue Green Red de Ellsworth Kelly, muestra cómo la base de conocimientos del modelo asocia conceptos relacionados. En esta imagen, el modelo distingue características de primer plano (azul), figuras humanas (rojo) y el fondo. Los investigadores también incluyeron una comparación de su modelo con otros modelos de última generación en relación con las imágenes de referencia.
Aunque la IA ha recibido críticas, en las ciencias está demostrando ser increíblemente útil para resolver problemas de reconocimiento de imágenes y preservación del patrimonio cultural. En septiembre, un equipo usó una red neuronal para identificar detalles previamente invisibles en paneles pintados por Rafael, y otro equipo utilizó una red neuronal convolucional para casi duplicar el número de líneas de Nazca conocidas en Perú.
Este modelo tiene comprensión multimodal, es decir, puede integrar varios canales de datos para interpretar el objeto en cuestión. En este caso, el detector de bordes suaves usado para medir las curvas en el relieve no solo detecta ligeros cambios en el brillo para percibir profundidad, sino también las curvas en los propios grabados. Usar ambos canales de información permitió al nuevo modelo recrear una reconstrucción más nítida y detallada del relieve que los intentos previos.
¿Qué dijo Tanaka?
“Nuestra tecnología tiene un gran potencial para preservar y compartir el patrimonio cultural,” dijo Tanaka. “Abre nuevas oportunidades no solo para arqueólogos, sino también para experiencias virtuales inmersivas a través de tecnologías de VR y el metaverso, preservando el patrimonio global para las generaciones futuras.”
El patrimonio cultural debe ser preservado, y aunque estas reconstrucciones generadas por IA no pueden reemplazar el artefacto real, tienen su utilidad. Redes neuronales como la descrita en el estudio reciente podrían “resucitar” patrimonio perdido que solo existe en imágenes—por ejemplo, los Budas de Bamiyán, monumentales estatuas destruidas por los talibanes en 2001—al menos en un entorno de realidad aumentada o virtual.
Los modelos también podrían usarse para preservar el patrimonio cultural en peligro de destrucción, como los grabados aborígenes de siglos de antigüedad en los árboles boab en el desierto de Tanami en Australia. El patrimonio cultural define quiénes somos a través de las comunidades y culturas que nos precedieron. Si estos modelos de IA ayudan a historiadores del arte y conservacionistas a salvar una sola pieza de historia, habrán hecho bien su trabajo.
Este artículo ha sido traducido de Gizmodo US. Aquí podrás encontrar la versión original.
Fuente: gizmodo
