Los investigadores del Instituto Tecnológico de Massachusetts (MIT) y Meta han desarrollado una técnica de visión por computadora que crea modelos 3D físicamente precisos de una escena completa, incluidas áreas bloqueadas de la vista, utilizando imágenes desde una única posición de cámara. Su técnica utiliza sombras para determinar qué hay en las partes obstruidas de la escena.
La nueva técnica, llamada PlatoNeRF, combina la tecnología lidar (detección y alcance de luz) con el aprendizaje automático. De esta forma, se puede generar reconstrucciones de geometría 3D más precisas que algunas técnicas de inteligencia artificial existentes. Además, PlatoNeRF es mejor para reconstruir suavemente escenas donde las sombras son difíciles de ver, como aquellas con mucha luz ambiental o fondos oscuros.
Para PlatoNeRF, los investigadores del MIT desarrollaron estos enfoques utilizando una nueva modalidad de detección llamada lidar de fotón único. Los lidars mapean una escena en 3D emitiendo pulsos de luz y midiendo el tiempo que tarda esa luz en rebotar en el sensor. Dado que los lidares de fotón único pueden detectar fotones individuales, proporcionan datos de mayor resolución.
Información de la escena con los rebotes de la luz
Los investigadores utilizan un lidar de fotón único para iluminar un punto objetivo en la escena. Parte de la luz rebota en ese punto y regresa directamente al sensor. Sin embargo, la mayor parte de la luz se dispersa y rebota en otros objetos antes de regresar al sensor. PlatoNeRF se basa en estos segundos rebotes de luz.
Al calcular cuánto tiempo tarda la luz en rebotar dos veces y luego regresar al sensor lidar, PlatoNeRF captura información adicional sobre la escena, incluida la profundidad. El segundo rebote de luz también contiene información sobre las sombras.
El sistema rastrea los rayos de luz secundarios (aquellos que rebotan desde el punto objetivo hacia otros puntos de la escena) para determinar qué puntos se encuentran en la sombra (debido a la ausencia de luz). Según la ubicación de estas sombras, PlatoNeRF puede inferir la geometría de los objetos ocultos.
El lidar ilumina secuencialmente 16 puntos, capturando múltiples imágenes que se utilizan para reconstruir toda la escena 3D. La clave de PlatoNeRF es la combinación de lidar de rebote múltiple con un tipo especial de modelo de aprendizaje automático conocido como campo de radiación neuronal (NeRF). Un NeRF codifica la geometría de una escena en los pesos de una red neuronal, lo que le da al modelo una gran capacidad para interpolar o estimar vistas novedosas de una escena.
Comparación con otras técnicas
Compararon PlatoNeRF con dos métodos alternativos comunes, uno que solo usa lidar y el otro que solo usa un NeRF con una imagen en color. Descubrieron que su método podía superar a ambas técnicas, especialmente cuando el sensor lidar tenía una resolución más baja. Esto haría que su enfoque fuera más práctico de implementar en el mundo real, donde los sensores de menor resolución son comunes en los dispositivos comerciales.
En el futuro, los investigadores quieren intentar rastrear más de dos rebotes de luz para ver cómo eso podría mejorar las reconstrucciones de escenas. Además, están interesados en aplicar técnicas de aprendizaje más profundo y combinar PlatoNeRF con mediciones de imágenes en color para capturar información de textura.
Respecto a su aplicación, esta técnica se podría utilizar para hacer que los auriculares de realidad aumentada y realidad virtual (AR/VR) sean más eficientes al permitir al usuario modelar la geometría de una habitación sin la necesidad de caminar tomando medidas. También podría ayudar a los robots de almacén a encontrar más rápidamente artículos en entornos desordenados o mejorar la seguridad de los vehículos autónomos.