El proyecto europeo Plan4Act ha desarrollado una tecnología que permitirá gestionar las viviendas inteligentes a través de una predicción de secuencias de la actividad cerebral de los usuarios. Esta tecnología ofrecerá a las personas con discapacidad motora edificios más accesibles.
El objetivo de Plan4Act es conseguir en un futuro que los dispositivos inteligentes puedan dotar a las personas de la capacidad de planificar un objetivo de la vida diaria, como, por ejemplo, preparar café, sin la necesidad de ejecutar cada una de las acciones individuales.
Para ello, el proyecto ha desarrollado un prototipo de interfaz cerebro-máquina automatizada (BMI) capaz de extraer y procesar la base neuronal de un plan de acción con el que controlar diferentes funciones en una vivienda inteligente de forma proactiva.
Recopilación de los datos neuronales
La complejidad del proyecto reside en la recopilación de los datos neuronales de múltiples áreas del cerebro y en su procesamiento para que se conviertan en ejecuciones en un entorno inteligente. Para ello, los investigadores del proyecto recopilaron el patrón neuronal utilizando primates, los cuales llevaban a cabo una tarea de comportamiento que les obligaba a realizar una secuencia de acciones individuales con el fin de conseguir su objetivo de comportamiento, como, por ejemplo, recibir una recompensa.
Para ello, se presentó al primate un árbol de decisiones que comienza en un punto A concreto y tenía que decidir entre múltiples opciones, etapa B. Tras su elección, el animal debía decidir entre un segundo conjunto de opciones, correspondiente a la etapa C. Esta secuencia de acciones permitió investigar la base neuronal de la planificación de acciones proactivas.
Los investigadores diseñaron, construyeron y probaron un entorno de jaula instrumentado (Reach Cage), donde el primate se movía libremente. Este entorno incluía un sistema de interacción visual-hepático en tiempo real, que contaba con múltiples dispositivos táctiles distribuidos en un espacio tridimensional para que el primate interactuase con ellos, un microcontrolador de interfaces y una computadora externa para el control experimental en tiempo real.
Dentro del entorno Reach Cage, también se realizó la captura de movimiento mediante Plexon CinePlex Tracking, una tecnología que rastrea la posición de la muñeca y la cabeza en un espacio tridimensional mientras el primate mueve su brazo y alcanza los objetivos. Gracias a esta tecnología, los investigadores pudieron registrar el comportamiento físico y correlacionarlo con los datos neuronales que se registraron simultáneamente a través de un sistema inalámbrico.
Para las grabaciones neuronales se implementaron seis matrices de microalambres flotantes, con 32 canales cada uno, en tres áreas cerebrales diferentes del primate. Los datos recopilados se enviaron al sistema neuronal Cerebus, cuyos registros fueron grabados y guardados en un servidor de archivos local, donde se almacenaban las grabaciones de todas las sesiones.
Procesamiento de los datos neuronales
Gracias a este entorno de simulación, los investigadores tuvieron la oportunidad de realizar un desarrollo más rápido y general del sistema BMI, al tiempo que se crearon métodos para analizar la actividad neuronal resultante (simulada o real) para extraer la información sobre la planificación proactiva.
Para validar todos los datos neuronales, Plan4Act utilizó un clasificador de señales basado en una red neuronal artificial para interpretar estas señales y crear comandos de control para el entorno de la vivienda inteligente.
Durante el proyecto, se recopiló una gran cantidad de datos, por lo que se requirió la aplicación del software de red neuronal artificial (ANN, por sus siglas en inglés), para acelerar los cálculos de las señales interpretadas, las cuales se trasladaron a un hardware basado en una matriz de puertas lógicas programable en campo (FPGA, por sus siglas en inglés). Junto a esta tecnología, se desarrolló una herramienta para llevar a cabo una reprogramación y adaptación más rápida del FPGA, con el fin de implementar en minutos los cambios producidos durante el análisis.
Asimismo, el protocolo experimental utilizado para generar la actividad de planificación proactiva en el cerebro se integró en la vivienda inteligente piloto mediante el desarrollo de un dispositivo novedoso, denominado Smart Cabinet, que consta de cuatro estantes a los que se puede acceder mediante acciones secuenciales de rotación y apertura de puerta.
El Smart Cabinet es un dispositivo IoT que utiliza las comunicaciones en tiempo real para reproducir las diferentes combinaciones de objetivos que ejecuta el primate en cualquier entorno. El Smart Cabinet es básicamente una extrapolación a un mueble/dispositivo que se pueda encontrar en la vivienda, destinado a mostrar los efectos prácticos de las predicciones neuronales y proactividad en un entorno de asistencia ambiental.
Elementos de la vivienda inteligente
Todas las tecnologías desarrolladas se han implementado en una vivienda inteligente, la cual se compone de varios dispositivos conectados como luces, puertas, ventanas, sensores, cámaras y asistentes virtuales, entre otros, que utilizan diversos protocolos de comunicación. Todos estos elementos, junto con el Smart Cabinet, se comunican a través de Living Lab Gateway, creando una comunicación bajo un único protocolo basado en HTTP.
El proyecto Plan4Act visiona al Living Lab Gateway como un dispositivo universal capaz de proporcionar medios para combinar acciones, suscribir eventos, registrar/recuperar datos procedentes de los sensores y producir servicios sobre la infraestructura instalada.
Por otro lado, para ayudar a la red neuronal a identificar qué dispositivos inteligentes tienen que funcionar para ejecutar la acción deseada por el usuario, en la vivienda inteligente se implementaron modelos de estimación de la postura, segmentación de la imagen corporal y seguimiento de puntos, para proporcionar inferencias sobre la vida de la persona.
Junto con estos modelos, Plan4Act desarrolló un sistema capaz de predecir la trayectoria de una persona en el interior de la vivienda en tiempo real, anticipándose al destino al que se dirige. Esta información se podría utilizar como retroalimentación para la interfaz cerebro-máquina (BMI), ayudando a mejorar sus predicciones.
El sistema desarrollado está compuesto por tres módulos principales apoyados por sensores y webcams. El primero de los módulos es de visión artificial, encargado de reconocer al sujeto y rastrear su posición a lo largo del entorno en tiempo real, para obtener su trayectoria. Por su parte, el módulo predictivo realiza una predicción del camino que el usuario va a tomar en base de la trayectoria observada. Por último, el módulo clasificador asocia esta trayectoria con uno de los posibles caminos para decidir con precisión hacia dónde se dirige la persona. De esta forma, la predicción ofrece la posibilidad de conocer qué elementos se encuentran en esa dirección y permite descartar los dispositivos que no están en la zona final.
Aunque todavía queda mucho trabajo para conseguir que las personas puedan controlar sus viviendas inteligentes sin interactuar directamente con ellas, el proyecto Plan4Act ha abierto una puerta a la evolución de los edificios inteligentes mediante la aplicación de datos neuronales.