FUSION OF CONVERSATIONAL AND SEMANTIC LOCALISATION SKILLS FOR LONG-TERM SOCIAL ROBOTS IN SMART HOMES (Q3174490)
Jump to navigation
Jump to search
Project Q3174490 in Spain
| Language | Label | Description | Also known as |
|---|---|---|---|
| English | FUSION OF CONVERSATIONAL AND SEMANTIC LOCALISATION SKILLS FOR LONG-TERM SOCIAL ROBOTS IN SMART HOMES |
Project Q3174490 in Spain |
Statements
21,005.6 Euro
0 references
26,257.0 Euro
0 references
80.0 percent
0 references
1 January 2016
0 references
31 December 2018
0 references
UNIVERSIDAD DE CASTILLA-LA MANCHA
0 references
38°59'42.32"N, 1°51'21.31"W
0 references
02003
0 references
DENTRO DE LA INICIATIVA DE I2010 (UE), EL USO DE ROBOTS ASISTENTES PUEDE DESEMPEÑAR UN PAPEL FUNDAMENTAL, ESPECIALMENTE EN LO QUE SE REFIERE AL CUIDADO DE PERSONAS MAYORES O DEPENDIENTES. EN ESTE CONTEXTO, Y EN UN ENTORNO DE ¿SMART HOME¿, UN ROBOT AUTONOMO DEBE SER CAPAZ DE IDENTIFICAR EL LUGAR DONDE SE ENCUENTRA EN UN MOMENTO DADO MIENTRAS QUE MANEJA UNA REPRESENTACION ADECUADA DEL ENTORNO, INCLUYENDO LOS OBJETOS O PERSONAS CON QUE INTERACTUAR. EN ENTORNOS INTERIORES, LA LOCALIZACION SEMANTICA ES EL PROCESO DE IDENTIFICAR EL LUGAR EN EL QUE SE ENCUENTRA EL ROBOT ACTUALMENTE. ESTA TAREA ES DIFICIL DE ABORDAR DADO QUE DISCRIMINAR ENTRE LAS DIFERENTES ESTANCIAS DEL ENTORNO PRESENTA UNA NOTABLE DIFICULTAD. EL OBJETIVO PRINCIPAL, POR TANTO, ES IDENTIFICAR EL LUGAR EN EL QUE ESTA SITUADO EL ROBOT EN FUNCION DE LOS OBJETOS QUE ESTE PUEDE VER. TODO ESTE PROCESO REQUIERE PERCIBIR OBJETOS INDIVIDUALES, AUN CUANDO ALGUNOS DE ELLOS PUEDEN NO SER COMPLETAMENTE VISIBLES DEBIDO A OCLUSIONES CON OTROS OBJETOS. ADEMAS, EL SISTEMA DE VISION DEBE ENFRENTARSE A CONDICIONES DE ILUMINACION VARIABLES, LO QUE DIFICULTA EL PROBLEMA. FINALMENTE, UNA VEZ QUE LOS PRINCIPALES OBJETOS EN LA ESTANCIA HAN SIDO IDENTIFICADOS, ESTA INFORMACION SIRVE DE ENTRADA A UN MODELO CAPAZ DE CLASIFICAR EL LUGAR DONDE SE ENCUENTRA EL ROBOT._x000D_ ADEMAS DEL USO DE INFORMACION VISUAL, PROPONEMOS UNA APROXIMACION NOVEDOSA BASADA EN LA INTERACCION CON HUMANOS PARA RESOLVER ESTA TAREA. ASI, EL ROBOT PUEDE BENEFICIARSE DE LA AYUDA PRESTADA POR EL HUMANO PARA OBTENER UNA INFORMACION MAS PRECISA DE UN LUGAR DETERMINADO. EL ROBOT, POR EJEMPLO, PUEDE PLANTEAR PREGUNTAS ACERCA DE LOS OBJETOS QUE ESTA VIENDO, CON EL FIN DE MEJORAR SU SISTEMA DE PERCEPCION Y FACILITAR ASI LA TAREA DE LOCALIZACION SEMANTICA. POR OTRA PARTE, LA INFORMACION OBTENIDA EN LA LOCALIZACION SEMANTICA TAMBIEN ES UTIL PARA MEJORAR EL PROCESO DE INTERACCION HUMANO-ROBOT. EN EL CASO DE INTERACCIONES MEDIANTE EL HABLA, SE PUEDEN MEJORAR LAS CAPACIDADES DE RECONOCIMIENTO Y COMPRENSION CONOCIENDO EL LUGAR EN EL QUE NOS ENCONTRAMOS, LO QUE PERMITE PREDECIR QUE CIERTOS OBJETOS SEAN REFERENCIADOS DURANTE UNA INTERACCION ORAL MIENTRAS QUE OTROS SERAN RARAMENTE NOMBRADOS. POR ELLO, PODEMOS RESTRINGIR EL VOCABULARIO UTILIZADO EN EL PROCESO DE RECONOCIMIENTO DEL HABLA PARA MEJORAR LAS HABILIDADES DE COMPRENSION. _x000D_ POR ULTIMO EL USO COMBINADO DE INTERACCIONES BASADAS EN EL HABLA Y EL EMPLEO DE UN SISTEMA DE LOCALIZACION SEMANTICA SE PUEDE UTILIZAR PARA MEJORAR LAS HABILIDADES DEL ROBOT A LO LARGO DEL TIEMPO, DENTRO DE UN PROCESO DE APRENDIZAJE ACTIVO. DE ESTA FORMA, EL ROBOT PUEDE, POR EJEMPLO, OBTENER INFORMACION ACERCA DE OBJETOS CUANDO LA INFORMACION DEL SISTEMA DE VISION NO ES COMPLETAMENTE FIABLE. POR OTRA PARTE, EL ROBOT PUEDE MEJORAR SU CONOCIMIENTO DEL ENTORNO MEDIANTE PREGUNTAS ACERCA DE OBJETOS, LUGARES O PERSONAS QUE SON HASTA EL MOMENTO DESCONOCIDAS PARA EL. ASI, EL ROBOT PUEDE SER CAPAZ DE ADAPTARSE A CAMBIOS EN EL ENTORNO O INCLUSO SER CAPAZ DE DESENVOLVERSE EN UN ENTORNO NUEVO._x000D_ TODAS ESTAS TAREAS REQUIEREN DE UN PROCESO DE INTEGRACION ROBUSTO DE ENTRADAS MULTIMODALES Y TOMA DE DECISIONES CON EL FIN DE QUE EL ROBOT PUEDA BENEFICIARSE DEL MEJOR MODO POSIBLE DE LA INFORMACION DISPONIBLE. PARA ELLO, DEBEN CONSTRUIRSE SISTEMAS DE VISION Y RECONOCIMIENTO DEL HABLA PRECISOS JUNTO CON UN MODULO DE FUSION DE INFORMACION CAPAZ DE TRATAR CON FUENTES DE INFORMACION MULTIMODAL. (Spanish)
0 references
WITHIN THE I2010 (EU) INITIATIVE, THE USE OF ASSISTANT ROBOTS CAN PLAY A KEY ROLE, ESPECIALLY AS REGARDS THE CARE OF ELDERLY OR DEPENDENT PERSONS. IN THIS CONTEXT, AND IN A SMART HOME ENVIRONMENT, AN AUTONOMOUS ROBOT SHOULD BE ABLE TO IDENTIFY THE PLACE WHERE IT IS AT A GIVEN TIME WHILE HANDLING AN APPROPRIATE REPRESENTATION OF THE ENVIRONMENT, INCLUDING OBJECTS OR PEOPLE TO INTERACT WITH. IN INDOOR ENVIRONMENTS, SEMANTIC LOCATION IS THE PROCESS OF IDENTIFYING WHERE THE ROBOT IS CURRENTLY LOCATED. THIS TASK IS DIFFICULT TO ADDRESS SINCE DISCRIMINATING BETWEEN THE DIFFERENT ROOMS OF THE ENVIRONMENT PRESENTS A CONSIDERABLE DIFFICULTY. THE MAIN OBJECTIVE, THEREFORE, IS TO IDENTIFY THE PLACE WHERE THE ROBOT IS LOCATED DEPENDING ON THE OBJECTS IT CAN SEE. THIS WHOLE PROCESS REQUIRES PERCEIVING INDIVIDUAL OBJECTS, EVEN THOUGH SOME OF THEM MAY NOT BE FULLY VISIBLE DUE TO OCCLUSIONS WITH OTHER OBJECTS. IN ADDITION, THE VISION SYSTEM MUST FACE VARIABLE LIGHTING CONDITIONS, WHICH MAKES THE PROBLEM DIFFICULT. Finally, once the principals in the state have been IDENTIFICED, THIS INFORMATIONS OF ENTERNMENT TO A MODEL CHANGE TO CLASSIFICATE THE ROBOT._x000D_ ADEMAS OF THE USE OF VISUAL INFORMATION, we propose a new approach based on the internationalisation with humans to resolve this time. THUS, THE ROBOT CAN BENEFIT FROM THE HELP GIVEN BY THE HUMAN TO OBTAIN MORE ACCURATE INFORMATION FROM A GIVEN PLACE. THE ROBOT, FOR EXAMPLE, CAN ASK QUESTIONS ABOUT THE OBJECTS YOU ARE SEEING, IN ORDER TO IMPROVE YOUR SYSTEM OF PERCEPTION AND THUS FACILITATE THE TASK OF SEMANTIC LOCALISATION. ON THE OTHER HAND, THE INFORMATION OBTAINED IN THE SEMANTIC LOCATION IS ALSO USEFUL TO IMPROVE THE PROCESS OF HUMAN-ROBOT INTERACTION. IN THE CASE OF SPEECH INTERACTIONS, RECOGNITION AND UNDERSTANDING CAPABILITIES CAN BE IMPROVED BY KNOWING WHERE WE ARE, WHICH ALLOWS PREDICTING THAT CERTAIN OBJECTS WILL BE REFERENCED DURING AN ORAL INTERACTION WHILE OTHERS WILL BE RARELY NAMED. THEREFORE, WE CAN RESTRICT THE VOCABULARY USED IN THE SPEECH RECOGNITION PROCESS TO IMPROVE UNDERSTANDING SKILLS. _x000D_ for ULTIMO THE COMBINATED USE OF INTERACTIONS BASED IN THE ROBLA AND EMPLOYMENT OF A Semanticated LOCALISATION SYSTEM may be used to improve ROBOT’s living conditions to the length of the time, within an active learning process. IN THIS WAY, THE ROBOT CAN, FOR EXAMPLE, OBTAIN INFORMATION ABOUT OBJECTS WHEN THE INFORMATION IN THE VISION SYSTEM IS NOT COMPLETELY RELIABLE. ON THE OTHER HAND, THE ROBOT CAN IMPROVE ITS KNOWLEDGE OF THE ENVIRONMENT THROUGH QUESTIONS ABOUT OBJECTS, PLACES OR PEOPLE THAT ARE UP TO NOW UNKNOWN TO HIM. Thus, the ROBOT can be able to adapt to changes in the environment or in the environment to be able to develop into a new environment._x000D_ ALL these tasks require a process of ROBUST INTEGRATION OF multimodal entrances and takes decisions with the end of the ROBOT being able to benefit from the best possible mode of the available information. TO DO THIS, PRECISE VISION AND SPEECH RECOGNITION SYSTEMS MUST BE BUILT TOGETHER WITH A FUSION INFORMATION MODULE CAPABLE OF DEALING WITH MULTIMODAL INFORMATION SOURCES. (English)
12 October 2021
0 references
Albacete
0 references
Identifiers
TIN2015-65686-C5-3-R
0 references