El entrenamiento y la operación de modelos de inteligencia artificial (IA) a gran escala consumen cantidades extremas de energía y tiempo, lo que va en contra de los objetivos de sostenibilidad y limita los tipos de computadoras en las que se pueden implementar. Además, en muchas aplicaciones prácticas se quiere que los modelos de IA cumplan funciones específicas en lugar de ser todoterrenos. Los investigadores de la Universidad de Ciencias de Tokio (TUS) han desarrollado una metodología denominada ‘olvido de caja negra’, mediante la cual se pueden optimizar iterativamente las indicaciones de texto presentadas a un modelo clasificador de visión-lenguaje de caja negra para que este olvide selectivamente algunas de las clases que puede reconocer.
Aunque existen algunos métodos para el olvido selectivo en modelos preentrenados, estos suponen un entorno de caja blanca, donde el usuario tiene acceso a los parámetros internos y la arquitectura del modelo. La mayoría de las veces, los usuarios tratan con cajas negras; no tienen acceso al modelo en sí ni a la mayor parte de su información por razones comerciales o éticas. Por lo tanto, los investigadores tuvieron que emplear una estrategia de optimización sin derivadas, que no requiere acceso a los gradientes del modelo.
Para ello, ampliaron un método conocido como CMA-ES, con el modelo de clasificación de imágenes CLIP como modelo objetivo para este estudio. Este algoritmo evolutivo implica el muestreo de varios indicadores candidatos para alimentar el modelo y la evaluación de los resultados a través de funciones objetivo predefinidas, actualizando una distribución multivariante en función de los valores calculados.
Sin embargo, el rendimiento de las técnicas de optimización sin derivadas se deteriora rápidamente en el caso de problemas de gran escala. A medida que se deben olvidar más clases, el contexto latente utilizado para optimizar las indicaciones de entrada crece hasta alcanzar tamaños inmanejables.
Descomposición del contexto latente
Para abordar este problema, el equipo de investigación ideó una nueva técnica de parametrización llamada compartir contexto latente. Este enfoque implica descomponer el contexto latente derivado de las indicaciones en varios elementos más pequeños, que se consideran únicos para un token de indicación o compartidos entre varios tokens. Con el objetivo de optimizar para estas unidades más pequeñas, en lugar de grandes fragmentos de contexto latente, se puede reducir en gran medida la dimensionalidad del problema, lo que lo hace mucho más manejable.
Los investigadores validaron su método utilizando varios conjuntos de datos de clasificación de imágenes de referencia, intentando conseguir que CLIP olvidara el 40% de las clases de un conjunto de datos determinado. Basándose en valores de referencia de rendimiento razonables, los resultados fueron muy prometedores.
Este método innovador tiene importantes implicaciones en el campo de la inteligencia artificial y el aprendizaje automático. Podría ayudar a que los modelos a gran escala se desempeñen mejor en tareas especializadas, ampliando su aplicabilidad. Otro uso, por ejemplo, sería evitar que los modelos de generación de imágenes produzcan contenido no deseado al hacer que olviden contextos visuales específicos.