Un complejo algoritmo de aprendizaje consigue distinguir entre gran cantidad de imágenes. Podría ser la solución al fenómeno del olvido catastrófico de una inteligencia artificial.
Los algoritmos de inteligencia artificial olvidan lo que aprenden. En la actualidad, se puede entrenar a un algoritmo de aprendizaje automático a distinguir entre imágenes de gatos y loros y, con suficientes datos, el algoritmo podrá hacerlo asombrosamente bien, tal vez mejor que un ser humano, e incluso con especies raras o imágenes de baja calidad. Siguiente tarea: enseñarle a distinguir entre perros y águilas. El algoritmo, nuevamente, lo hace sorprendentemente bien, pero para nuestra sorpresa, ya no recuerda nada de gatos y loros. Después de aprender la nueva tarea, ha olvidado la anterior.
Este fenómeno se denomina olvido catastrófico (o interferencia catastrófica), y es conocido por la comunidad de inteligencia artificial probablemente desde el comienzo de la disciplina, aunque solo se ha abordado formalmente desde principios de los 90. Una estrategia común para superar el olvido catastrófico implica el uso de información o «recuerdos» pasados al volver a entrenar el algoritmo para una nueva tarea, lo que se llama una estrategia de «ensayo». Cuando hay pocas tareas que aprender, también se puede lograr cierto éxito sin utilizar explícitamente información pasada. Por ejemplo, los algoritmos pueden aprender a regenerar artificialmente dicha información pasada y a usarla como un recordatorio al aprender una nueva tarea. Esta estrategia se llama de «pseudo ensayo».
Algoritmos para reutilizar el conocimiento de la IA
Tanto las estrategias de ensayo como las de pseudo ensayo implican algún tipo de aprendizaje simultáneo, es decir, tener que volver a procesar ejemplos antiguos cada vez que el algoritmo aprende una nueva tarea. Esto puede convertirse en un problema grave para sistemas más generales de inteligencia artificial. Dichos sistemas deberían poder recordar diferentes tareas y aprenderlas de forma secuencial o continua. Por ejemplo, puede ser inalcanzable para un robot volver a aprender desde cero su modelo del mundo cada vez que encuentra un objeto o tarea nuevo/desconocido. Además de ser más plausible biológicamente, hay muchas situaciones prácticas que requieren un aprendizaje secuencial o continuo.
Otra estrategia prometedora para superar el olvido catastrófico es la de «reducir la superposición de representación». En esencia, esta estrategia propone que partes del algoritmo se focalicen en una tarea en particular, mientras retiene la información de otras partes del mismo que fueron el foco para las tareas previas. De esta forma, el algoritmo no olvida las previas mientras que, si se realiza correctamente, puede reutilizar el conocimiento previo acumulado explotando sus partes consolidadas. Este es el enfoque seguido por un equipo de Telefónica Research, liderado por Joan Serrà. El proyecto ha sido seleccionado para una larga presentación oral en la International Conference on Machine Learning de este año, una de las conferencias de aprendizaje automático más reconocidas en el mundo.
Lo que los autores proponen es un mecanismo para aprender dinámicamente qué partes del algoritmo deben enfocarse en cada tarea, y hacerlo al mismo tiempo que la tarea en sí, sin ningún procesamiento complicado. Introducen dos parámetros intuitivos para controlar los aspectos clave del mecanismo: la cantidad de persistencia y la cantidad de compactación de la información almacenada. Por un lado, al evitar modificaciones severas en las partes que fueron útiles para tareas previas, el mecanismo garantiza que la información importante se preserve automáticamente (persistencia). Por otro, al promover un uso mínimo de los recursos, el mecanismo ahorra espacio automáticamente para aprender las próximas tareas (compactación).
Además de las contribuciones al tema del olvido catastrófico, el mecanismo introducido por los autores es interesante porque presenta una serie de posibilidades relacionadas con otros desafíos bien conocidos de la inteligencia artificial. Por ejemplo, el mecanismo para controlar la persistencia u olvido de la información aprendida podría encontrar aplicabilidad en escenarios de aprendizaje en línea, en los cuales el algoritmo necesita adaptarse a un entorno cambiante en el que parte de lo que se aprendió en el pasado cambia de manera más o menos explícita. El mecanismo para controlar la compactación del conocimiento aprendido también tiene utilidad para reducir el tamaño de los algoritmos existentes, lo que permite una implementación eficiente en dispositivos de escasos recursos, o para monitorear qué partes de dichos algoritmos están sobreexplotadas o insuficientemente explotadas, facilitando un desarrollo más informado de las arquitecturas de aprendizaje automático.
