La aplicación Aipoly está orientada para las personas ciegas y permite describir una escena a partir de una fotografía tomada.
La aplicación Aipoly cuenta con una visión inteligente que permite identificar escenas. Este software hunde sus raíces en la inteligencia artificial para llevar a cabo un reconocimiento de objetos orientado a ofrecer ciertos beneficios a las personas invidentes. Con esta idea en la cabeza la han desarrollado sus creadores, como un proyecto dentro de la Singularity University, un centro académico de Silicon Valley patrocinado por la NASA y Google.
Marita Cheng y Alberto Rizzoli son dos de los matriculados en la Singularity University, y los impulsores de Aipoly. La idea se inspiró en un amigo ciego de la familia de Rizzoli. Para que las personas invidentes sepan algo más del entorno que les rodea en un determinado momento, a veces una persona que ve y está a su lado les describe las cosas. Se trata de explicar qué es lo que ocurre o lo que hay más allá de los otros sentidos.
Aipoly hace precisamente esto: permite hacer una foto a un objeto o una escena y el software narra de viva voz lo que aparece en la imagen. Se trata de automatizar la labor que hace una persona cuando un invidente le pregunta por lo que hay a su alrededor o enfrente suya. La aplicación emplea inteligencia artificial para llevar a cabo el proceso de reconocimiento, más concretamente visión artificial y aprendizaje automático.
Funcionamiento basado en datos e inteligencia artificial
Cuando un usuario toma una foto, esta se envía a los servidores de la aplicación. En ellos se produce el procesamiento de la imagen y, una vez identificados los objetos o la escena, se devuelve la información en forma de texto, como mensaje de voz. El procesamiento es la parte clave. Se realiza mediante redes neuronales convolucionales (CNN), que subdividen la fotografía en varios puntos de interés y asocia cada uno de ellos con objetos concretos.
Desde que el usuario hace la foto hasta que recibe la información hablada pueden transcurrir entre 5 segundos –con una conexión WiFi rápida– y 20, con conectividades móviles lentas o para imágenes que requieran un arduo procesamiento.
Aipoly no solo puede identificar objetos sino las relaciones que estos guardan entre sí en una imagen. Gracias al avance de la visión artificial hoy en día un sistema como el que usa la aplicación puede distinguir que en una foto hay una persona montando en bici, en lugar de describir sencillamente que aparece una persona y una bicicleta.
Por el momento el equipo de Aipoly no usa sus propios algoritmos, pero está trabajando en una base de datos propia a partir de la cual entrenar al sistema. Hasta ahora la tecnología se ha entrenado con alrededor de 300.000 imágenes y va creciendo. Los creadores tienen pensado centrarse en objetos que puedan resultar útiles a los invidentes, como señales de tráfico.
Ni que decir tiene el sistema tiene sus fallas. No distingue adecuadamente el género de una persona ni las expresiones faciales, a no ser que sean muy marcadas.
Imágenes: lecercle
