NIH-funded modern “white cane” brings navigation assistance to the 21st century

Equipado con una cámara 3D a color, un sensor de medición inercial y su propia computadora a bordo, un bastón robótico recientemente mejorado podría ofrecer a los usuarios ciegos y con discapacidad visual una nueva forma de navegar en interiores. Cuando se combina con el dibujo arquitectónico de un edificio, el dispositivo puede guiar con precisión al usuario a una ubicación deseada con señales sensoriales y auditivas, al tiempo que ayuda al usuario a evitar obstáculos como cajas, muebles y voladizos. El desarrollo del dispositivo fue cofinanciado por el Instituto Nacional del Ojo (NEI) de los Institutos Nacionales de Salud y el Instituto Nacional de Imágenes Biomédicas y Bioingeniería (NIBIB). Los detalles del diseño actualizado se publicaron en la revista IEEE/CAA Journal of Automatica Sinica.

“Muchas personas en la comunidad de personas con discapacidad visual consideran que el bastón blanco es su mejor y más funcional herramienta de navegación, a pesar de ser una tecnología centenaria”, dijo Cang Ye, Ph.D., autor principal del estudio y profesor de informática. en la Facultad de Ingeniería de la Virginia Commonwealth University, Richmond. “Para las personas videntes, las tecnologías como las aplicaciones basadas en GPS han revolucionado la navegación. Estamos interesados ​​en crear un dispositivo que cierre muchas de las brechas en la funcionalidad para los usuarios de bastón blanco”.

Si bien existen aplicaciones basadas en teléfonos celulares que pueden proporcionar asistencia para la navegación, por ejemplo, ayudando a los usuarios ciegos a permanecer dentro de los cruces peatonales, los espacios grandes dentro de los edificios son un gran desafío, especialmente cuando esos espacios no son familiares. Las versiones anteriores del bastón robótico de Ye comenzaron a abordar este problema mediante la incorporación de planos de construcción; el usuario podía decirle al bastón si deseaba ir, y el bastón, mediante una combinación de señales auditivas y una punta rodante robótica, podía guiar al usuario a su destino. Pero cuando se usa a largas distancias, las inexactitudes en la ubicación del usuario podrían acumularse y eventualmente dejar al usuario en una ubicación incorrecta.

Para ayudar a corregir este problema, Ye y sus colegas agregaron una cámara de profundidad de color al sistema. Usando luz infrarroja, al igual que la cámara frontal de un teléfono móvil, el sistema puede determinar la distancia entre el bastón y otros objetos físicos, incluido el piso, elementos como puertas y paredes, así como muebles y otros obstáculos. Usando esta información, junto con los datos de un sensor de inercia, la computadora a bordo del bastón puede mapear la ubicación precisa del usuario en el dibujo arquitectónico o plano de planta existente, al mismo tiempo que alerta al usuario sobre los obstáculos en su camino.

“Mientras que algunas aplicaciones de teléfonos celulares pueden dar a las personas instrucciones auditivas de navegación, al dar la vuelta a una esquina, por ejemplo, ¿cómo sabes que has girado la cantidad justa?” dijo Ye. “La punta rodante de nuestro bastón robótico puede guiarlo para que gire en el punto correcto y en el número exacto de grados, ya sea 15 grados o 90. Esta versión también puede alertarlo sobre obstáculos que sobresalen, algo que un bastón blanco estándar no puede. ”

Todavía quedan algunos problemas por resolver antes de que el sistema esté listo para el mercado: todavía es demasiado pesado para el uso regular, por ejemplo, y el equipo de Ye está buscando una forma de reducir el tamaño del dispositivo. Sin embargo, con la capacidad de cambiar fácilmente entre su modo automatizado y un "modo de bastón blanco" más simple y no robótico, Ye cree que este dispositivo podría proporcionar una herramienta de independencia clave para los ciegos y los discapacitados visuales, sin perder las características del bastón blanco. que han resistido la prueba del tiempo.

El estudio fue financiado por NEI y NIBIB a través de la subvención EB018117.

 NEI lidera la investigación del gobierno federal sobre el sistema visual y las enfermedades oculares. NEI apoya programas de ciencias básicas y clínicas para desarrollar tratamientos para salvar la vista y abordar las necesidades especiales de las personas con pérdida de la visión. Para obtener más información, visite https://www.nei.nih.gov.

Acerca de los Institutos Nacionales de Salud (NIH): NIH, la agencia de investigación médica del país, incluye 27 Institutos y Centros y es un componente del Departamento de Salud y Servicios Humanos de EE. UU. NIH es la agencia federal principal que realiza y apoya la investigación médica básica, clínica y traslacional, y está investigando las causas, los tratamientos y las curas para enfermedades comunes y raras. Para obtener más información sobre los NIH y sus programas, visite www.nih.gov.

Equipped with a color 3D camera, an inertial measurement sensor, and its own on-board computer, a newly improved robotic cane could offer blind and visually impaired users a new way to navigate indoors. When paired with a building’s architectural drawing, the device can accurately guide a user to a desired location with sensory and auditory cues, while simultaneously helping the user avoid obstacles like boxes, furniture, and overhangs. Development of the device was co-funded by the National Institutes of Health’s National Eye Institute (NEI) and the National Institute of Biomedical Imaging and Bioengineering (NIBIB). Details of the updated design were published in the journal IEEE/CAA Journal of Automatica Sinica.

“Many people in the visually impaired community consider the white cane to be their best and most functional navigational tool, despite it being century-old technology,” said Cang Ye, Ph.D., lead author of the study and professor of computer science at the College of Engineering at the Virginia Commonwealth University, Richmond. “For sighted people, technologies like GPS-based applications have revolutionized navigation. We’re interested in creating a device that closes many of the gaps in functionality for white cane users.”

While there are cell phone-based applications that can provide navigation assistance – helping blind users stay within crosswalks, for example – large spaces inside buildings are a major challenge, especially when those spaces are unfamiliar. Earlier versions of Ye’s robotic cane began tackling this problem by incorporating building floorplans; the user could tell the cane whether he or she wished to go, and the cane – by a combination of auditory cues and a robotic rolling tip – could guide the user to their destination. But when used over long distances, the inaccuracies in the user’s location could build up, eventually leaving the user at an incorrect location.

To help correct this issue, Ye and colleagues have added a color depth camera to the system. Using infrared light, much like a mobile phone’s front-facing camera, the system can determine the distance between the cane and other physical objects, including the floor, features like doorways and walls, as well as furniture and other obstacles. Using this information, along with data from an inertial sensor, the cane’s onboard computer can map the user’s precise location to the existing architectural drawing or floorplan, while also alerting the user to obstacles in their path.

“While some cell phone apps can give people auditory navigation instructions, when going around a corner for example, how do you know you’ve turned just the right amount?” said Ye. “The rolling tip on our robotic cane can guide you to turn at just the right point and exactly the right number of degrees, whether it’s 15 degrees or 90. This version can also alert you to overhanging obstacles, which a standard white cane cannot.”

There are still a few kinks to be worked out before the system will be market-ready – it’s still too heavy for regular use, for example, and Ye’s team is looking for a way to slim down the device. Nevertheless, with the ability to easily switch between its automated mode and a simpler, non-robotic “white cane mode,” Ye believes this device could provide a key independence tool for the blind and visually impaired, without losing the characteristics of the white cane that have stood the test of time.

The study was funded by NEI and NIBIB through grant EB018117.

 NEI leads the federal government’s research on the visual system and eye diseases. NEI supports basic and clinical science programs to develop sight-saving treatments and address special needs of people with vision loss. For more information, visit https://www.nei.nih.gov.

About the National Institutes of Health (NIH): NIH, the nation's medical research agency, includes 27 Institutes and Centers and is a component of the U.S. Department of Health and Human Services. NIH is the primary federal agency conducting and supporting basic, clinical, and translational medical research, and is investigating the causes, treatments, and cures for both common and rare diseases. For more information about NIH and its programs, visit www.nih.gov.

NIH…Turning Discovery Into Health®