CP-PLANNER
FINALIZADO
Planificador de tareas con aprendizaje para la colaboración humano-robot en un sistema industrial ciber-físico.
Datos generales
- Inicio: 1 de diciembre de 2022
- Fin: 1 de diciembre de 2024 (2 años). Ampliado hasta el 31 mayo de 2025.
- Evaluación de la propuesta: 90.1 puntos sobre 100
- Presupuesto concedido: 156.285,00€ (82% del presupuesto solicitado)
Convocatoria 2021. Proyectos de Transición Ecológica y Digital
TED2021-129893B-I00
IP1: Víctor Fernando Muñoz Martínez
IP2: Ricardo Vázquez Martín
OBJETIVOS ALCANZADOS
- Se utiliza el modelo conceptual del mundo de bloques para representar tareas de ensamblaje donde se han establecido un conjunto de predicados que modelan el estado actual de la tarea. Por otro lado, se ha desarrollado un sistema de percepción basado en una cámara RGB-D para estimar el estado real de la tarea y proporcionar como salida el vector de predicados que definen el estado real del entorno. Así, el módulo de diagnóstico compara el estado real de la tarea con el teórico proporcionado por el planificador y decide, en función del fallo, si se le indica al humano que lo solucione o que se proceda a replanificar la tarea. No se han incluido las capacidades de aprendizaje.
- Se ha diseñado e implementado un planificador para tareas colaborativas basadas en un modelo conceptual del mundo de bloques para representar tareas de ensamblaje industrial. Trabaja con predicados que modelan el estado del mundo con los que se indica el objetivo de ensamblaje. El planificador realiza una primera fase de aprendizaje con el gemelo digital de la estación robotizada con el objeto de asignar las tareas que tiene que realizar el humano y el robot. En la fase de ejecución del plan el operario interacciona con el robot real con el objeto de completar el plan establecido. En caso de fallo, se lanza el módulo de diagnóstico y recuperación del plan.
- Se ha construido un set-up físico compuesto por un robot manipulador, una cinta transportadora junto con una cámara RGB-D conectado su gemelo digital, el cual se ha realizado empleando el software Visual Components. Este incluye una arquitectura funcional que permite conectar el mencionado software con Steam VR y MATLAB para constituir un framework de experimentación. Los experimentos realizados han buscado una comparativa de eficiencia en la realización de tareas colaborativas con y sin planificación previa con el gemelo digital.
ACTIVIDADES REALIZADAS
Actividad 1:
Descripción:
Esta actividad corresponde al paquete de trabajo 1 de la memoria técnica y sus resultados implican a los tres objetivos específicos. El objetivo se centró en la definición de una célula robotizada, y la configuración de sistema ciberfísico, capaz de realizar tareas de colaboración persona-robot en tareas de ensamblaje. Para ello, se realizaron reuniones con las empresas TDK, DENSO TEN, TwIndustry y PREMO, con el objetivo de recoger sus impresiones sobre la robótica colaborativa y los aspectos más importantes que deben resolver para formar parte de un sistema de producción. Después de estas reuniones, se recogieron las especificaciones de diversas tareas colaborativas, finalizando esta tarea con la definición de una tarea de ensamblaje colaborativa humano-robot. Con ello, se seleccionó el arquetipo del mundo de bloques, que se modificó para cumplir las especificaciones recogidas. Con ello, se definió en base a predicados de lógica de primer orden el estado del mundo y las acciones que se podían llevar a cabo. Se consideraron que los fallos se centrarían en errores humanos o mal funcionamiento del robot. Con ello, se definió el set-up del sistema ciberfísico y su arquitectura funcional. Para los experimentos se seleccionó una métrica basada en el tiempo de realización de la tarea y la carga de trabajo del operario.
Resultado: Definición de un arquetipo basado en el mundo de bloques que representa tareas de montaje, especificaciones y arquitectura del sistema ciberfísico, y protocolo de experimentación.
Participantes: Víctor F. Muñoz Martínez, Ricardo Vázquez Martín, Isabel García Morales, Francisco
Lavado Rodríguez, Enrique Bauzano Nuñez, Irene Rivas Blanco, Alfredo Burrieza Muñiz
Actividad 2:
Descripción:
Esta actividad corresponde al paquete de trabajo 2 de la memoria técnica y sus resultados implican directamente al tercer objetivo específico, aunque resulta necesario para el resto de los objetivos. Se han llevado a cabo dos sistemas ciberfísicos con el objetivo de explorar dos posibilidades a realizar. Por un lado, una celda de trabajo con un robot manipulador colaborativo (ver Figura 1) y otra en una línea formada por cuatro manipuladores comunicado por tres cintas para el transporte de material (ver Figura 2). Ambas se basan en una célula robotizada dotada de brazos manipuladores y cintas transportadoras. En el primero de ellos la parte virtual se realizó con el software propietario Visual Components y el segundo con el software libre UNITY. En ambos casos se desarrollaron el modelo virtual del set-up físico construido y después de un estudio de viabilidad se seleccionó continuar con Visual Components por sus características de conectividad. Una vez seleccionada la celda de trabajo y el entorno de gemelo digital para emplear (Figura 1), posteriormente se implantó el sistema de percepción basado en una cámara RGB-D y se realizó el interfaz de usuario mediante unas gafas de realidad virtual. Finalmente, se incluyó un BCI para evaluar la carga.
Resultado: Sistema ciber-físico basado en una célula robotizada con un robot manipulador, una cinta transportadora, un sistema de percepción, un interfaz basado en realidad virtual y un BCI; con su contraparte virtual realizada en Visual Components. Se realizó un segundo set-up con su gemelo digital en UNITY a modo de tarea exploratoria empleando software libre.
Participantes: Víctor F. Muñoz Martínez, Ricardo Vázquez Martín, Isabel García Morales, Antonio Jesús Reina Terol, Marcos Rollón Rivas, Paula Luque Contreras, Álvaro Galán Cuenca.
a) Célula robotizada real
b) Gemelo digital desarrollado
Figura 1. Primer set-up montado y su gemelo digital. En el gemelo digital, aprecia el brazo robot (a), la pinza (b), la pantalla (c), el sensor de presencia (d), los bloques (e), la cinta t (f), botón (g) y el mando RV para la interacción con el gemelo
A)
B)
Figura 2. Segundo set-up montado y su gemelo digital. A) Laboratorio real, B) gemelo digital. Este gemelo digital fue desarrollado usando el motor de realidad virtual Unity 3D, de software libre.
Actividad 3: Definición y aplicación del módulo de diagnóstico
Descripción:
Esta actividad corresponde al paquete de trabajo 3 de la memoria técnica y sus resultados implica exclusivamente al primer objetivo. Se han desarrollado algoritmos basados en visión artificial para reconocer el estado del entorno de bloques y retornarlo en forma de predicados (ver figura 4). Asimismo, se han desarrollado algoritmos de reconocimiento de gestos de las manos del usuario basado en segmentación de la imagen y el uso de la librería de Google Media Pipe (ver figura 5). Con ellos, el usuario puede comunicarse con el sistema ciber-físico durante la ejecución de la tarea, asignando a cada gesto de la mano un significado. Así, con la definición de los predicados de lógica de primer orden identificados en la Actividad 1, se ha diseñado el módulo de diagnóstico consistente en la detección de fallos comparando la información que proporciona el planificador (realizado en la siguiente actividad) junto con el estado real del entorno. Para ello, se ha elaborado un algoritmo que convierte la información cualitativa de los predicados a numérica y comparando ambas detecta el tipo de fallo en el ensamblaje. Finalmente, se realizaron pruebas para verificar el funcionamiento del sistema de percepción y del módulo de diagnóstico.
Resultados: Sistema de percepción capaz de reconocer el estado del entorno y los gestos que el usuario realiza con la mano en la zona de trabajo. Sistema de diagnóstico que detecta fallos en el montaje de los bloques.
Participantes: Víctor F. Muñoz Martínez, Isabel García Morales, Antonio J. Reina Terol, Paula Luque Contreras.
A) Imagen real del mundo de bloques y sistema de percepción para reconocer el estado. |
B) Detalle de la identificación del estado del mundo de bloques |
Figura 4. Sistema de reconocimiento del estado del entorno basado en una cámara RGB-D.
A) Gestos considerados para comunicarse con el robot |
B) sistema de reconocimiento de gestos |
Figura 5. Sistemas de gestos diseñado para comunicarse con el robot durante la ejecución de una tarea A), y sistema de reconocimiento del gesto de la mano B).
Actividad 4: Definición y aplicación del módulo de planificación
Descripción:
Esta actividad corresponde al paquete de trabajo 4 de la memoria técnica y sus resultados implica exclusivamente al segundo objetivo. Con la formalización realizada en lógica de primer orden del mundo de bloques modificado, se ha llevado a cabo un planificador pasado en A* de dos fases. La primera que realiza la planificación de acciones que comprende la tarea, con una asignación preliminar de estas primeras que realiza el humano y el robot. Mediante el uso del operario del gemelo digital, con realidad virtual, se ha desarrollado un algoritmo, basado en aprendizaje por refuerzo, para que mediante sucesivas simulaciones elige la mejor manera de completar la tarea de montaje mediante el uso de una función de coste basada en la carga de trabajo del humano y del robot, el número de fallos que comete el humano y el tiempo que quedan ocioso humano y robot (ver figura 3.a). Asimismo, se ha realizado un estudio del estrés que provoca el robot sobre el humano mediante el uso del BCI mediante el uso del set-up físico para tenerlo en cuenta como parámetro de asignación. En la segunda fase de ejecución con el sistema real el planificador realiza un ciclo de asignar las acciones de la tarea según lo obtenido en la fase de entrenamiento y comprobar que el humano lo ha realizado de forma correcta mediante el uso del módulo de diagnóstico (ver figura 3.b). En caso de fallo, se decide si se replanifica la tarea o si se le indica al humano que solucione el error.
Resultados: Planificador de tareas colaborativas humano-robot que funciona en tiempo con el gemelo digital en tiempo de aprendizaje y con el sistema real en tiempo de ejecución.
Participantes: Víctor F. Muñoz Martínez, Isabel García Morales, Antonio Reina Terol, Paula Luque Contreras, Carmen Lledó Rando, Ricardo Vázquez Martín, Juan María Herrera López, Ilaria Lombardi, Mario Buono.
A) Proceso de aprendizaje de la tarea colaborativa mediante el uso del gemelo digital. |
B) Set-up donde al humano realiza la tarea colaborativa con el robot supervisado por el módulo de diagnóstico que utiliza el sistema de visión RGB-D |
Figura 3. Set-up virtual y físico donde se entrena la tarea colaborativa human-robot con el gemelo digital y se ejecuta posteriormente en el sistema físico.
Actividad 5: Integración y validación
Descripción:
Esta actividad corresponde al paquete de trabajo 5 de la memoria técnica y sus resultados implica exclusivamente al tercer objetivo. Se ha implantado la arquitectura funcional del sistema ciber-físico para constituir un framework de investigación en tareas colaborativas humano-robot. De esta manera, el gemelo digital, realizado en visual Components, se conecta con el planificador, programado en MATLAB, para realizar la planificación de acciones. Posteriormente, toma el control Visual Components para simular con el gemelo digital la interacción con el humano para realizar la tarea y completar la asignación mediante el uso del algoritmo de aprendizaje referenciado anteriormente y mediante el uso de realidad virtual. Los resultados de la planificación y la asignación de acciones se remiten al sistema físico real donde el robot tiene incorporado el programa secuenciador que ejecuta la tarea. Éste convierte la planificación en acciones del lenguaje del robot y realiza un ciclo donde comanda al actor, humano o robot, el movimiento a realizar y comprueba que el estado del mundo resultante resulta igual al planificado. Adicionalmente, se ha desarrollado un framework basado en UNINY para explorar sus capacidades de en la simulación de interacción humano-robot. conectividad (ver figura 6).
Resultados: Framework para la investigación en tareas colaborativas humano-robot.
Participantes: Víctor F. Muñoz Martínez, Paula Luque Contreras, Álvaro Galán Cuenca, Juan María Herrera López.
A) Diseño en UNITY de proceso industrial colaborativo |
B) Detalle de estación colaborativa |
Figura 6. Desarrollo de gemelo digital de proceso industrial colaborativo. A) Vista de proceso industrial colaborativo, B) muestra de puesto de trabajo con colaboración humano-robot.
IMPACTO DEL PROYECTO
El proyecto ha contado con la colaboración de empresas como TDK, DENSO TEN, TwIndustry y PREMO, que han aportado casos de uso industriales reales y han mostrado interés en la posible explotación del sistema desarrollado. Estas colaboraciones sientan las bases para futuras acciones de transferencia tecnológica y pruebas piloto en entornos industriales reales
AVANCE DEL CONOCIMIENTO
Este proyecto ha avanzado con respecto al estado del arte con la definición y construcción de un sistema ciber-físico útil para el desarrollo de tareas industriales colaborativas de ensamblaje. La novedad reside, con respecto a otras soluciones, en el uso del gemelo digital de la célula robotizada para planificar y asignar las tareas que realizaran los dos actores que colaboran: el humano y el robot. En esta asignación, se ha tenido en cuenta el factor humano mediante la estimación de la carga de trabajo éste, cuestión que se ha estudiado con un BCI.
Este enfoque quiere responder a los desafíos de la industria 4.0 como la planificación dinámica en escenarios con interacción humano-robot y la capacidad de recuperación ante fallos. Asimismo, se ha desarrollado un framework que puede utilizarse para futuras investigaciones.
IMPACTO SOCIOECONÓMICO
El sistema desarrollado permite mejorar la eficiencia operativa en procesos de ensamblaje colaborativo, reduciendo tiempos de inactividad, errores humanos y riesgos operativos. Esto se traduce en una mayor competitividad para las empresas que adopten este tipo de soluciones. Además, el estudio de la carga cognitiva y el estrés mediante BCI y realidad virtual promueve condiciones laborales más seguras y adaptadas a los operarios, favoreciendo su bienestar, lo que contribuye a una transición digital centrada en las personas. Este enfoque puede impactar positivamente en sectores como el industrial, logístico y manufacturero, especialmente en pymes que requieran soluciones flexibles y accesibles.
Por otro lado, las labores de formación realizadas con las empresas colaboradoras han llevado a la contratación de cinco personas por parte de DENSO TEN, TDK Electrónics y TwIndustry.
IMPACTO NO PREVISTO DERIVADO DEL PROYECTO
Uno de los impactos no previstos ha sido el interés generado en el ámbito de la ergonomía cognitiva y la neuroergonomía industrial. La integración del módulo BCI para medir la carga mental y la respuesta emocional ha abierto nuevas líneas de colaboración con grupos de psicología aplicada, con potencial para transferirse a sectores como la salud laboral, la formación técnica personalizada o el diseño inclusivo de interfaces hombre-máquina