Los modelos de aprendizaje automático pueden fallar cuando intentan hacer predicciones para individuos que estaban subrepresentados en los conjuntos de datos en los que fueron entrenados. Para solucionar este problema, los investigadores del Instituto Tecnológico de Massachussets (MIT) desarrollaron una nueva técnica que identifica y elimina puntos específicos en un conjunto de datos de entrenamiento para los modelos de aprendizaje automático, que contribuyen en mayor medida a las fallas de un modelo en subgrupos minoritarios. Al eliminar muchos menos puntos de datos que otros enfoques, esta técnica mantiene la precisión general del modelo y, al mismo tiempo, mejora su desempeño en relación con los grupos subrepresentados.
Además, la técnica puede identificar fuentes ocultas de sesgo en un conjunto de datos de entrenamiento que no tiene etiquetas. Los datos sin etiquetas son mucho más frecuentes que los etiquetados para muchas aplicaciones. Este método también podría combinarse con otros enfoques para mejorar la imparcialidad de los modelos de aprendizaje automático implementados en situaciones de alto riesgo.
Identificación de ejemplos de entrenamientos para eliminar errores
A menudo, los modelos de aprendizaje automático se entrenan utilizando grandes conjuntos de datos recopilados de muchas fuentes de Internet. Estos conjuntos de datos son demasiado grandes para ser seleccionados cuidadosamente a mano, por lo que pueden contener ejemplos incorrectos que afecten el rendimiento del modelo. Los científicos también saben que algunos puntos de datos afectan el desempeño de un modelo en ciertas tareas posteriores más que otras.
Los investigadores del MIT combinaron estas dos ideas en un enfoque que identifica y elimina estos puntos de datos problemáticos. Buscan resolver un problema conocido como error del peor grupo, que ocurre cuando un modelo tiene un rendimiento inferior al esperado en subgrupos minoritarios en un conjunto de datos de entrenamiento.
La nueva técnica de los investigadores está impulsada por un trabajo previo en el que introdujeron un método, llamado TRAK, que identifica los ejemplos de entrenamiento más importantes para la salida de un modelo específico. Para esta nueva técnica, los investigadores toman predicciones incorrectas que el modelo hizo sobre subgrupos minoritarios y usan TRAK para identificar qué ejemplos de entrenamiento contribuyeron más a esa predicción incorrecta. Luego eliminan esas muestras específicas y vuelven a entrenar el modelo con los datos restantes.
Dado que tener más datos generalmente produce un mejor rendimiento general, eliminar solo las muestras que generan fallas en los peores grupos mantiene la precisión general del modelo y al mismo tiempo mejora su rendimiento en subgrupos minoritarios.
Mayor precisión con el método TRAK
En tres conjuntos de datos de aprendizaje automático, su método superó a múltiples técnicas. En un caso, mejoró la precisión del peor grupo al tiempo que eliminaba alrededor de 20.000 muestras de entrenamiento menos que un método de equilibrio de datos convencional. Su técnica también logró una mayor precisión que los métodos que requieren realizar cambios en el funcionamiento interno de un modelo.
Dado que el método MIT implica cambiar un conjunto de datos, sería más fácil de usar para un profesional y se puede aplicar a muchos tipos de modelos. También se puede utilizar cuando se desconoce el sesgo porque los subgrupos de un conjunto de datos de entrenamiento no están etiquetados. Al identificar los puntos de datos que más contribuyen a una característica que el modelo está aprendiendo, pueden comprender las variables que está utilizando para hacer una predicción.