Identificar objetos en una escena que están compuestos del mismo material, conocido como selección de materiales, es un problema especialmente desafiante para las máquinas basadas en inteligencia artificial porque la apariencia de un material puede variar drásticamente según la forma del objeto o las condiciones de iluminación. Para resolver este problema, un grupo de científicos del Instituto Tecnológico de Massachussets (MIT) y Adobe Research han desarrollado una técnica que puede identificar todos los píxeles en una imagen que representa un material determinado, que se muestra en un píxel seleccionado por el usuario.
El método ofrece un enfoque de aprendizaje automático que evalúa dinámicamente todos los píxeles de una imagen para determinar las similitudes de materiales entre un píxel que selecciona el usuario y todas las demás zonas de la imagen. Si una imagen contiene una mesa y dos sillas, y las patas de la silla y el tablero están hechos del mismo tipo de madera, su modelo podría identificar con precisión esas zonas similares.
Antes de que los investigadores pudieran desarrollar un método de inteligencia artificial (IA) para aprender a seleccionar materiales similares, tuvieron que superar algunos obstáculos. En primer lugar, ningún conjunto de datos existente contenía materiales que estuvieran etiquetados con la precisión suficiente para entrenar su modelo de aprendizaje automático. Los investigadores generaron su propio conjunto de datos sintéticos de escenas interiores, que incluía 50.000 imágenes y más de 16.000 materiales aplicados aleatoriamente a cada objeto.
Entrenamiento del modelo de aprendizaje automático
Con el conjunto de datos sintéticos, entrenaron un modelo de aprendizaje automático para la tarea de identificar materiales similares en imágenes reales, cuyo resultado no funcionó. Los investigadores optaron por construir su modelo sobre un modelo de visión por computadora previamente entrenado, que ha visto millones de imágenes reales. Utilizaron el conocimiento previo de ese modelo aprovechando las características visuales que ya había aprendido.
El modelo de los investigadores transforma las características visuales genéricas preentrenadas en características específicas del material, y lo hace de una manera que es robusta para las formas de los objetos o las condiciones de iluminación variadas.
De esta forma, el modelo puede calcular una puntuación de similitud de material para cada píxel de la imagen. Cuando un usuario hace clic en un píxel, el modelo determina cómo de cerca en apariencia está cada otro píxel de la consulta. Produce un mapa donde cada píxel se clasifica en una escala de 0 a 1 por similitud.
Dado que el modelo genera una puntuación de similitud para cada píxel, el usuario puede ajustar los resultados estableciendo un umbral, como el 90% de similitud, y recibir un mapa de la imagen con esas zonas resaltadas. El método también funciona para la selección de imágenes cruzadas: el usuario puede seleccionar un píxel en una imagen y encontrar el mismo material en una imagen separada.
Resultados de los experimentos
Durante los experimentos, los investigadores descubrieron que su modelo podía predecir zonas de una imagen que contenían el mismo material con mayor precisión que otros métodos, obteniendo como resultado aproximadamente un 92% de precisión.
Además de las aplicaciones en la comprensión de escenas para la robótica, este método podría usarse para la edición de imágenes o incorporarse a sistemas computacionales que deduzcan los parámetros de los materiales en las imágenes. También podría utilizarse para sistemas de recomendación web basados en materiales.