La tecnología está empoderando a personas ciegas y con baja visión. Y Vhista, creada por el desarrollador colombiano, Juan David Cruz, es un gran ejemplo que prueba que la tecnología puede generar un impacto positivo. Esta app usa aprendizaje de máquina para reconocer y describir el entorno del usuario usando la cámara del iPhone.
Gracias a CoreML la app funciona sin conexión a Internet, una función bastante útil para usuarios con planes de datos ilimitados o que viven en lugares remotos. Vhista también utiliza ARKit para decirle a los usuarios qué tan próximos se encuentran los objetos. Y cada vez que una persona se encuentra cerca, ésta vibra para alertar al usuario.
Cruz está entusiasmado con los resultados iniciales. Y desde ya se encuentra trabajando con Create ML para la implementación de nuevas mejoras a su app. ¿Su próximo reto? “Quiero entrenar la app para el reconocimiento de dinero. Estoy seguro que será una función muy útil para la gente que ha perdido la visión”.
En entrevista con PUBLIMETRO nos contó sobre este trabajo y las características de su invento.
¿Qué es Vhista y cómo funciona?
Es una aplicación diseñada para ayudar a las personas con ceguera o baja visión. Usando algoritmos de aprendizaje y reconocimiento de imágenes, se convierte en una nueva herramienta para identificar objetos como automóviles, habitaciones, comida, paisajes y muchos más. Pero eso no es todo, con la función de análisis facial, esta aplicación describe a la gente e incluso predice sus emociones basadas en gestos faciales.
La persona simplemente apunta con su celular y recibe una lectura en voz alta de lo que ha sido identificado usando la cámara.
¿De dónde nació la idea?
Todo empezó porque yo iba en un Transmilenio pensando en nuestro país. Mirando por la ventana y pensando en la desigualdad que existe. La falta de oportunidades para muchos. Pensando en que necesitamos vivir en un país en el que nos preocupemos más por los demás. Colombia es una país en el que ni siquiera para cruzar la calle los carros no esperan por ti. Y junto con esa búsqueda de dar mi granito de arena, surgió una tecnología de reconocimiento de imagen que aunque me parecía interesante, no le encontraba un uso práctico en ese momento.
Pero me pregunté, qué tal si ayudo a las personas con ceguera o baja visión a tener una herramienta que los ayude a disminuir la desigualdad que les hemos generado. Qué tal sí puedo crear unos ojos digitales. Qué tal si ese es mi granito de arena para demostrarle a Colombia y al mundo que podemos ser mejores y podemos crear e innovar pensando también en el otro y no solo en nosotros. Y así surgió la idea de Vhista. La union de la tecnología que surgió y mi búsqueda de construir país.
¿Cuáles son las soluciones que plantea la aplicación Vhista?
Principalmente se plantea crear una nueva alternativa para que las personas que la usan, tengan una orientación y un saber de lo que los rodea. Algunas veces damos por sentado cosas tan básicas como saber cómo se ve nuestra pareja. Pero el hecho de que Vhista describa personas y sus gestos, ha hecho que muchos sonrían e incluso se les haga agua los ojos al usarla.
¿Cuánto tiempo le llevó desarrollar la app y cómo describe el proceso?
Todo empezó en los últimos días de noviembre. Trabajé en ella hasta que el 6 de enero de 2017 fue publicada por primera vez en el App Store. No dormí mucho en todo ese mes y dos semanas. Me levantaba y me acostaba sin separarme del computador.
Háblenos de su beca WWDC17.
Desde que soy desarrollador, he visto las presentaciones y conferencias WWDC todos los años. Desde los tiempos de Steve Jobs no me pierdo una sola. No solo porque son emocionantes y definen mi futuro como desarrollador, sino que además se aprende mucho.
WWDC es una conferencia de desarrolladores que dura aproximadamente una semana y en ella se reúnen las más grandes empresas, los mejores ingenieros e incluso miles de personas del equipo de Apple.
Para obtener la beca y tener la oportunidad de ir y conocer a todas estas personas, tuve que desarrollar una App en Swift Playgrounds (Swift Playgrounds es una app de iPad para incentivar a las personas a aprender a desarrollar en el lenguaje de programación Swift). Nos daban poco tiempo y debíamos crear una experiencia en la que los jurados pudieran ver nuestras habilidades creativas, de diseño y de programación. Yo desarrollé un App llamada “A Bit of Humanity”. Un poco de humanidad. Y la intención era demostrar como detrás de cada país, detrás de cada persona, detrás de cada profesión, existen personas reales, con historias reales y que tienen ideas de cómo la tecnología puede mejorar el mundo.
Entonces hice un aplicación que muestra a las personas en fotos de 180 grados y se puede leer y escuchar la forma en que ellos creen que la tecnología puede cambiar y mejorar Colombia y el mundo. Tome fotos a un celador, a una odontóloga, a una artista, a un artista urbano, entre otros. Quería demostrar la pluralidad de las personas y sus pensamientos. Sin saberlo, encajó perfecto con el WWDC donde en este año la diversidad fue muy importante.
Pude conocer personas del grupo de accesibilidad que me brindaron consejos y ayuda con Vhista, por ejemplo. Estar allá no es como ver los videos por internet, hay sesiones exclusivamente presenciales en las que las personas que están creando todo esto te ayudan a aprender y a mejorar lo que haces.
¿Qué siente al ser al ver que su aplicación fue destacada en varias de las tiendas en América Latina?
Lo más importante para mi es que puedo llegarle a más personas que sé que les ayudará mi aplicación. Tengo una reseña en el App Store que dice: “Le has cambiado la vida a mi hijo”. Solo mensajes como ese, hacen que todo valga la pena. Me alegra y me llena saber que ese destaque me permite llegarle a esas personas que yo solo no podría.
Saber que fui destacado en muchos países y que fui Top en la sección de Lifestyle del App Store de muchos de esos países también, incluso por encima de aplicaciones como Tinder (Puesto 2) es indescriptible. Solo me deja con la intriga de saber qué se viene. Seguiré trabajando para ayudar a miles y miles de personas.
¿Qué es ARKit y cómo funciona en la app?
ARKit es una tecnología de Realidad Aumentada. Esta permite plasmar en nuestra realidad, objetos que realmente no están allí. Usando la cámara y proyectando en el entorno lo que sea que queramos proyectar. Por ejemplo, proyectar un dinosaurio en nuestro cuarto que solo podemos visualizar en la pantalla de nuestro celular, pero no en la realidad de nuestro cuarto. Pero ARKit tiene muchas más características, una de ellas es poder reconocer planos, muros y distancias. Esto para poder proyectar correctamente los objetos. Además aprovecha esa característica de medir distancias, planos y muros para poder saber a qué distancia se encuentran los distintos objetos que logra identificar.
¿La app funciona sin internet?
Hace un reconocimiento inmediato y sin Internet. El usuario puede mover su celular y apuntar con la cámara e inmediatamente obtiene aproximaciones de los objetos que tiene en frente. Esto lo desarrollé porque los usuarios me comentaban que solo con Internet gastaban su plan, era lento y en algunos casos imposible.
También tiene otra función que si usa Internet, esta es más precisa y describe todo el panorama capturado por la cámara. La app podría decirte: “Encontré en la imagen: carro, carretera, pasto, paisaje, semáforo, cruce. Encontré en la imagen una mujer, que tiene gafas, esta persona esta sorprendida”. Entonces podrías imaginarte donde estas y que tienes en frente. Incluyendo una mujer posiblemente cruzando la calle.
