FUSION OF CONVERSATIONAL AND SEMANTIC LOCALISATION SKILLS FOR LONG-TERM SOCIAL ROBOTS IN SMART HOMES (Q3174490)
Jump to navigation
Jump to search
Project Q3174490 in Spain
| Language | Label | Description | Also known as |
|---|---|---|---|
| English | FUSION OF CONVERSATIONAL AND SEMANTIC LOCALISATION SKILLS FOR LONG-TERM SOCIAL ROBOTS IN SMART HOMES |
Project Q3174490 in Spain |
Statements
21,005.6 Euro
0 references
26,257.0 Euro
0 references
80.0 percent
0 references
1 January 2016
0 references
31 December 2018
0 references
UNIVERSIDAD DE CASTILLA-LA MANCHA
0 references
38°59'42.32"N, 1°51'21.31"W
0 references
02003
0 references
DENTRO DE LA INICIATIVA DE I2010 (UE), EL USO DE ROBOTS ASISTENTES PUEDE DESEMPEÑAR UN PAPEL FUNDAMENTAL, ESPECIALMENTE EN LO QUE SE REFIERE AL CUIDADO DE PERSONAS MAYORES O DEPENDIENTES. EN ESTE CONTEXTO, Y EN UN ENTORNO DE ¿SMART HOME¿, UN ROBOT AUTONOMO DEBE SER CAPAZ DE IDENTIFICAR EL LUGAR DONDE SE ENCUENTRA EN UN MOMENTO DADO MIENTRAS QUE MANEJA UNA REPRESENTACION ADECUADA DEL ENTORNO, INCLUYENDO LOS OBJETOS O PERSONAS CON QUE INTERACTUAR. EN ENTORNOS INTERIORES, LA LOCALIZACION SEMANTICA ES EL PROCESO DE IDENTIFICAR EL LUGAR EN EL QUE SE ENCUENTRA EL ROBOT ACTUALMENTE. ESTA TAREA ES DIFICIL DE ABORDAR DADO QUE DISCRIMINAR ENTRE LAS DIFERENTES ESTANCIAS DEL ENTORNO PRESENTA UNA NOTABLE DIFICULTAD. EL OBJETIVO PRINCIPAL, POR TANTO, ES IDENTIFICAR EL LUGAR EN EL QUE ESTA SITUADO EL ROBOT EN FUNCION DE LOS OBJETOS QUE ESTE PUEDE VER. TODO ESTE PROCESO REQUIERE PERCIBIR OBJETOS INDIVIDUALES, AUN CUANDO ALGUNOS DE ELLOS PUEDEN NO SER COMPLETAMENTE VISIBLES DEBIDO A OCLUSIONES CON OTROS OBJETOS. ADEMAS, EL SISTEMA DE VISION DEBE ENFRENTARSE A CONDICIONES DE ILUMINACION VARIABLES, LO QUE DIFICULTA EL PROBLEMA. FINALMENTE, UNA VEZ QUE LOS PRINCIPALES OBJETOS EN LA ESTANCIA HAN SIDO IDENTIFICADOS, ESTA INFORMACION SIRVE DE ENTRADA A UN MODELO CAPAZ DE CLASIFICAR EL LUGAR DONDE SE ENCUENTRA EL ROBOT._x000D_ ADEMAS DEL USO DE INFORMACION VISUAL, PROPONEMOS UNA APROXIMACION NOVEDOSA BASADA EN LA INTERACCION CON HUMANOS PARA RESOLVER ESTA TAREA. ASI, EL ROBOT PUEDE BENEFICIARSE DE LA AYUDA PRESTADA POR EL HUMANO PARA OBTENER UNA INFORMACION MAS PRECISA DE UN LUGAR DETERMINADO. EL ROBOT, POR EJEMPLO, PUEDE PLANTEAR PREGUNTAS ACERCA DE LOS OBJETOS QUE ESTA VIENDO, CON EL FIN DE MEJORAR SU SISTEMA DE PERCEPCION Y FACILITAR ASI LA TAREA DE LOCALIZACION SEMANTICA. POR OTRA PARTE, LA INFORMACION OBTENIDA EN LA LOCALIZACION SEMANTICA TAMBIEN ES UTIL PARA MEJORAR EL PROCESO DE INTERACCION HUMANO-ROBOT. EN EL CASO DE INTERACCIONES MEDIANTE EL HABLA, SE PUEDEN MEJORAR LAS CAPACIDADES DE RECONOCIMIENTO Y COMPRENSION CONOCIENDO EL LUGAR EN EL QUE NOS ENCONTRAMOS, LO QUE PERMITE PREDECIR QUE CIERTOS OBJETOS SEAN REFERENCIADOS DURANTE UNA INTERACCION ORAL MIENTRAS QUE OTROS SERAN RARAMENTE NOMBRADOS. POR ELLO, PODEMOS RESTRINGIR EL VOCABULARIO UTILIZADO EN EL PROCESO DE RECONOCIMIENTO DEL HABLA PARA MEJORAR LAS HABILIDADES DE COMPRENSION. _x000D_ POR ULTIMO EL USO COMBINADO DE INTERACCIONES BASADAS EN EL HABLA Y EL EMPLEO DE UN SISTEMA DE LOCALIZACION SEMANTICA SE PUEDE UTILIZAR PARA MEJORAR LAS HABILIDADES DEL ROBOT A LO LARGO DEL TIEMPO, DENTRO DE UN PROCESO DE APRENDIZAJE ACTIVO. DE ESTA FORMA, EL ROBOT PUEDE, POR EJEMPLO, OBTENER INFORMACION ACERCA DE OBJETOS CUANDO LA INFORMACION DEL SISTEMA DE VISION NO ES COMPLETAMENTE FIABLE. POR OTRA PARTE, EL ROBOT PUEDE MEJORAR SU CONOCIMIENTO DEL ENTORNO MEDIANTE PREGUNTAS ACERCA DE OBJETOS, LUGARES O PERSONAS QUE SON HASTA EL MOMENTO DESCONOCIDAS PARA EL. ASI, EL ROBOT PUEDE SER CAPAZ DE ADAPTARSE A CAMBIOS EN EL ENTORNO O INCLUSO SER CAPAZ DE DESENVOLVERSE EN UN ENTORNO NUEVO._x000D_ TODAS ESTAS TAREAS REQUIEREN DE UN PROCESO DE INTEGRACION ROBUSTO DE ENTRADAS MULTIMODALES Y TOMA DE DECISIONES CON EL FIN DE QUE EL ROBOT PUEDA BENEFICIARSE DEL MEJOR MODO POSIBLE DE LA INFORMACION DISPONIBLE. PARA ELLO, DEBEN CONSTRUIRSE SISTEMAS DE VISION Y RECONOCIMIENTO DEL HABLA PRECISOS JUNTO CON UN MODULO DE FUSION DE INFORMACION CAPAZ DE TRATAR CON FUENTES DE INFORMACION MULTIMODAL. (Spanish)
0 references
WITHIN THE I2010 (EU) INITIATIVE, THE USE OF ASSISTANT ROBOTS CAN PLAY A KEY ROLE, ESPECIALLY AS REGARDS THE CARE OF ELDERLY OR DEPENDENT PERSONS. IN THIS CONTEXT, AND IN A SMART HOME ENVIRONMENT, AN AUTONOMOUS ROBOT SHOULD BE ABLE TO IDENTIFY THE PLACE WHERE IT IS AT A GIVEN TIME WHILE HANDLING AN APPROPRIATE REPRESENTATION OF THE ENVIRONMENT, INCLUDING OBJECTS OR PEOPLE TO INTERACT WITH. IN INDOOR ENVIRONMENTS, SEMANTIC LOCATION IS THE PROCESS OF IDENTIFYING WHERE THE ROBOT IS CURRENTLY LOCATED. THIS TASK IS DIFFICULT TO ADDRESS SINCE DISCRIMINATING BETWEEN THE DIFFERENT ROOMS OF THE ENVIRONMENT PRESENTS A CONSIDERABLE DIFFICULTY. THE MAIN OBJECTIVE, THEREFORE, IS TO IDENTIFY THE PLACE WHERE THE ROBOT IS LOCATED DEPENDING ON THE OBJECTS IT CAN SEE. THIS WHOLE PROCESS REQUIRES PERCEIVING INDIVIDUAL OBJECTS, EVEN THOUGH SOME OF THEM MAY NOT BE FULLY VISIBLE DUE TO OCCLUSIONS WITH OTHER OBJECTS. IN ADDITION, THE VISION SYSTEM MUST FACE VARIABLE LIGHTING CONDITIONS, WHICH MAKES THE PROBLEM DIFFICULT. Finally, once the principals in the state have been IDENTIFICED, THIS INFORMATIONS OF ENTERNMENT TO A MODEL CHANGE TO CLASSIFICATE THE ROBOT._x000D_ ADEMAS OF THE USE OF VISUAL INFORMATION, we propose a new approach based on the internationalisation with humans to resolve this time. THUS, THE ROBOT CAN BENEFIT FROM THE HELP GIVEN BY THE HUMAN TO OBTAIN MORE ACCURATE INFORMATION FROM A GIVEN PLACE. THE ROBOT, FOR EXAMPLE, CAN ASK QUESTIONS ABOUT THE OBJECTS YOU ARE SEEING, IN ORDER TO IMPROVE YOUR SYSTEM OF PERCEPTION AND THUS FACILITATE THE TASK OF SEMANTIC LOCALISATION. ON THE OTHER HAND, THE INFORMATION OBTAINED IN THE SEMANTIC LOCATION IS ALSO USEFUL TO IMPROVE THE PROCESS OF HUMAN-ROBOT INTERACTION. IN THE CASE OF SPEECH INTERACTIONS, RECOGNITION AND UNDERSTANDING CAPABILITIES CAN BE IMPROVED BY KNOWING WHERE WE ARE, WHICH ALLOWS PREDICTING THAT CERTAIN OBJECTS WILL BE REFERENCED DURING AN ORAL INTERACTION WHILE OTHERS WILL BE RARELY NAMED. THEREFORE, WE CAN RESTRICT THE VOCABULARY USED IN THE SPEECH RECOGNITION PROCESS TO IMPROVE UNDERSTANDING SKILLS. _x000D_ for ULTIMO THE COMBINATED USE OF INTERACTIONS BASED IN THE ROBLA AND EMPLOYMENT OF A Semanticated LOCALISATION SYSTEM may be used to improve ROBOT’s living conditions to the length of the time, within an active learning process. IN THIS WAY, THE ROBOT CAN, FOR EXAMPLE, OBTAIN INFORMATION ABOUT OBJECTS WHEN THE INFORMATION IN THE VISION SYSTEM IS NOT COMPLETELY RELIABLE. ON THE OTHER HAND, THE ROBOT CAN IMPROVE ITS KNOWLEDGE OF THE ENVIRONMENT THROUGH QUESTIONS ABOUT OBJECTS, PLACES OR PEOPLE THAT ARE UP TO NOW UNKNOWN TO HIM. Thus, the ROBOT can be able to adapt to changes in the environment or in the environment to be able to develop into a new environment._x000D_ ALL these tasks require a process of ROBUST INTEGRATION OF multimodal entrances and takes decisions with the end of the ROBOT being able to benefit from the best possible mode of the available information. TO DO THIS, PRECISE VISION AND SPEECH RECOGNITION SYSTEMS MUST BE BUILT TOGETHER WITH A FUSION INFORMATION MODULE CAPABLE OF DEALING WITH MULTIMODAL INFORMATION SOURCES. (English)
12 October 2021
0 references
DANS LE CADRE DE L’INITIATIVE I2010 (UE), L’UTILISATION DE ROBOTS AUXILIAIRES PEUT JOUER UN RÔLE CLÉ, NOTAMMENT EN CE QUI CONCERNE LES SOINS AUX PERSONNES ÂGÉES OU DÉPENDANTES. DANS CE CONTEXTE, ET DANS UN ENVIRONNEMENT DOMESTIQUE INTELLIGENT, UN ROBOT AUTONOME DEVRAIT ÊTRE EN MESURE D’IDENTIFIER L’ENDROIT OÙ IL SE TROUVE À UN MOMENT DONNÉ TOUT EN MANIPULANT UNE REPRÉSENTATION APPROPRIÉE DE L’ENVIRONNEMENT, Y COMPRIS DES OBJETS OU DES PERSONNES AVEC LESQUELLES INTERAGIR. DANS LES ENVIRONNEMENTS INTÉRIEURS, L’EMPLACEMENT SÉMANTIQUE EST LE PROCESSUS D’IDENTIFICATION DE L’EMPLACEMENT ACTUEL DU ROBOT. CETTE TÂCHE EST DIFFICILE À RÉSOUDRE CAR LA DISCRIMINATION ENTRE LES DIFFÉRENTES PIÈCES DE L’ENVIRONNEMENT PRÉSENTE UNE DIFFICULTÉ CONSIDÉRABLE. L’OBJECTIF PRINCIPAL EST DONC D’IDENTIFIER L’ENDROIT OÙ SE TROUVE LE ROBOT EN FONCTION DES OBJETS QU’IL PEUT VOIR. TOUT CE PROCESSUS NÉCESSITE DE PERCEVOIR DES OBJETS INDIVIDUELS, MÊME SI CERTAINS D’ENTRE EUX PEUVENT NE PAS ÊTRE ENTIÈREMENT VISIBLES EN RAISON D’OCCLUSIONS AVEC D’AUTRES OBJETS. EN OUTRE, LE SYSTÈME DE VISION DOIT FAIRE FACE À DES CONDITIONS D’ÉCLAIRAGE VARIABLES, CE QUI REND LE PROBLÈME DIFFICILE. Enfin, une fois que les principaux dans l’état ont été IDENTIFICED, CE INFORMATIONS DE L’ENTERNEMENT À UN MODÈLE CHANGEMENT POUR CLASSIFICER LE ROBOT._x000D_ Ademas OF THE USE OF VISUAL INFORMATION, nous proposons une nouvelle approche basée sur l’internationalisation avec les humains pour résoudre cette fois. AINSI, LE ROBOT PEUT BÉNÉFICIER DE L’AIDE DONNÉE PAR L’HOMME POUR OBTENIR DES INFORMATIONS PLUS PRÉCISES D’UN ENDROIT DONNÉ. LE ROBOT, PAR EXEMPLE, PEUT POSER DES QUESTIONS SUR LES OBJETS QUE VOUS VOYEZ, AFIN D’AMÉLIORER VOTRE SYSTÈME DE PERCEPTION ET AINSI FACILITER LA TÂCHE DE LOCALISATION SÉMANTIQUE. D’AUTRE PART, L’INFORMATION OBTENUE DANS L’EMPLACEMENT SÉMANTIQUE EST ÉGALEMENT UTILE POUR AMÉLIORER LE PROCESSUS D’INTERACTION HOMME-ROBOT. DANS LE CAS DES INTERACTIONS VOCALES, LES CAPACITÉS DE RECONNAISSANCE ET DE COMPRÉHENSION PEUVENT ÊTRE AMÉLIORÉES EN SACHANT OÙ NOUS SOMMES, CE QUI PERMET DE PRÉDIRE QUE CERTAINS OBJETS SERONT RÉFÉRENCÉS LORS D’UNE INTERACTION ORALE TANDIS QUE D’AUTRES SERONT RAREMENT NOMMÉS. PAR CONSÉQUENT, NOUS POUVONS RESTREINDRE LE VOCABULAIRE UTILISÉ DANS LE PROCESSUS DE RECONNAISSANCE DE LA PAROLE POUR AMÉLIORER LES COMPÉTENCES DE COMPRÉHENSION. _x000D_ pour ULTIMO L’UTILISATION combinée DES INTERACTIONS DANS LE ROBLA ET L’EMPLOI D’UN SYSTÈME DE LOCALISATION sémantique peut être utilisée pour améliorer les conditions de vie de ROBOT jusqu’à la durée, dans le cadre d’un processus d’apprentissage actif. DE CETTE FAÇON, LE ROBOT PEUT, PAR EXEMPLE, OBTENIR DES INFORMATIONS SUR LES OBJETS LORSQUE L’INFORMATION DANS LE SYSTÈME DE VISION N’EST PAS ENTIÈREMENT FIABLE. D’AUTRE PART, LE ROBOT PEUT AMÉLIORER SA CONNAISSANCE DE L’ENVIRONNEMENT PAR DES QUESTIONS SUR DES OBJETS, DES LIEUX OU DES PERSONNES QUI LUI SONT JUSQU’À PRÉSENT INCONNUES. Ainsi, le ROBOT peut être en mesure de s’adapter aux changements dans l’environnement ou dans l’environnement pour pouvoir se développer dans un nouvel environnement._x000D_Toutes ces tâches nécessitent un processus d’INTÉGRATION ROBUSTE DES entrées multimodales et prennent des décisions avec la fin du ROBOT étant en mesure de bénéficier du meilleur mode possible de l’information disponible. POUR CE FAIRE, DES SYSTÈMES PRÉCIS DE VISION ET DE RECONNAISSANCE VOCALE DOIVENT ÊTRE CONSTRUITS EN MÊME TEMPS QU’UN MODULE D’INFORMATION SUR LA FUSION CAPABLE DE TRAITER LES SOURCES D’INFORMATION MULTIMODALES. (French)
4 December 2021
0 references
IM RAHMEN DER INITIATIVE I2010 (EU) KANN DER EINSATZ VON HILFSROBOTERN EINE SCHLÜSSELROLLE SPIELEN, INSBESONDERE IN BEZUG AUF DIE BETREUUNG ÄLTERER ODER ABHÄNGIGER PERSONEN. IN DIESEM ZUSAMMENHANG UND IN EINER SMART HOME-UMGEBUNG SOLLTE EIN AUTONOMER ROBOTER IN DER LAGE SEIN, DEN ORT ZU IDENTIFIZIEREN, AN DEM ER SICH ZU EINEM BESTIMMTEN ZEITPUNKT BEFINDET, WÄHREND ER EINE ANGEMESSENE DARSTELLUNG DER UMGEBUNG, EINSCHLIESSLICH OBJEKTE ODER PERSONEN, MIT DENEN INTERAGIEREN SOLL, VERARBEITET. IN INNENRÄUMEN IST DER SEMANTISCHE STANDORT DER PROZESS, WO SICH DER ROBOTER BEFINDET. DIESE AUFGABE IST SCHWER ZU BEWÄLTIGEN, DA DIE DISKRIMINIERUNG ZWISCHEN DEN VERSCHIEDENEN RÄUMEN DER UMWELT EINE ERHEBLICHE SCHWIERIGKEIT DARSTELLT. DAS HAUPTZIEL BESTEHT DAHER DARIN, DEN ORT ZU IDENTIFIZIEREN, AN DEM SICH DER ROBOTER JE NACH OBJEKT BEFINDET, DAS ER SEHEN KANN. DIESER GANZE PROZESS ERFORDERT DIE WAHRNEHMUNG EINZELNER OBJEKTE, AUCH WENN EINIGE VON IHNEN AUFGRUND VON OKKLUSIONEN MIT ANDEREN OBJEKTEN MÖGLICHERWEISE NICHT VOLLSTÄNDIG SICHTBAR SIND. DARÜBER HINAUS MUSS DAS SICHTSYSTEM MIT VARIABLEN LICHTVERHÄLTNISSEN KONFRONTIERT WERDEN, WAS DAS PROBLEM ERSCHWERT. Schließlich, sobald die Direktoren im Staat IDENTIFICED, DIESEN INFORMATIONEN DER VERORDNUNG ZUM MODEL CHANGE, um das ROBOT zu klassifizieren._x000D_ Ademas of THE USE OF VISUAL INFORMATIONEN, schlagen wir einen neuen Ansatz vor, der auf der Internationalisierung mit den Menschen basiert, um diese Zeit zu lösen. SO KANN DER ROBOTER VON DER HILFE DES MENSCHEN PROFITIEREN, UM GENAUERE INFORMATIONEN VON EINEM BESTIMMTEN ORT ZU ERHALTEN. DER ROBOTER KANN BEISPIELSWEISE FRAGEN ZU DEN OBJEKTEN STELLEN, DIE SIE SEHEN, UM IHR WAHRNEHMUNGSSYSTEM ZU VERBESSERN UND SO DIE AUFGABE DER SEMANTISCHEN LOKALISIERUNG ZU ERLEICHTERN. ANDERERSEITS SIND DIE AN DER SEMANTISCHEN LAGE GEWONNENEN INFORMATIONEN AUCH NÜTZLICH, UM DEN PROZESS DER MENSCH-ROBOTER-INTERAKTION ZU VERBESSERN. IM FALLE VON SPRACHINTERAKTIONEN KÖNNEN ERKENNUNGS- UND VERSTEHENSFÄHIGKEITEN VERBESSERT WERDEN, INDEM MAN WEISS, WO WIR SIND, WAS DIE VORHERSAGE ERMÖGLICHT, DASS BESTIMMTE OBJEKTE WÄHREND EINER MÜNDLICHEN INTERAKTION REFERENZIERT WERDEN, WÄHREND ANDERE SELTEN GENANNT WERDEN. DAHER KÖNNEN WIR DAS VOKABULAR, DAS IM PROZESS DER SPRACHERKENNUNG VERWENDET WIRD, EINSCHRÄNKEN, UM DAS VERSTÄNDNIS VON FÄHIGKEITEN ZU VERBESSERN. _x000D_ für ULTIMO Die kombinierten Informationen über die in der ROBLA und BESCHÄFTIGUNG eines geschlossenen LOCALISATION SYSTEMs kalkuliert werden können, um die Lebensbedingungen von ROBOT im Laufe der Zeit innerhalb eines aktiven Lernprozesses zu verbessern. AUF DIESE WEISE KANN DER ROBOTER BEISPIELSWEISE INFORMATIONEN ÜBER OBJEKTE ERHALTEN, WENN DIE INFORMATIONEN IM SICHTSYSTEM NICHT VOLLSTÄNDIG ZUVERLÄSSIG SIND. ANDERERSEITS KANN DER ROBOTER SEIN WISSEN ÜBER DIE UMWELT DURCH FRAGEN ZU OBJEKTEN, ORTEN ODER MENSCHEN VERBESSERN, DIE IHM BISHER UNBEKANNT SIND. So kann sich der ROBOT an Veränderungen in der Umgebung oder in der Umgebung anpassen, um sich zu einer neuen Umgebung entwickeln zu können._x000D_ Alle diese Aufgaben erfordern einen Prozess der ROBUST INTEGRATION OF multimodalen Eingängen und Entscheidungen, mit denen das Ende des ROBOT von der bestmöglichen Art der verfügbaren Informationen profitieren kann. DAZU MÜSSEN PRÄZISE BILD- UND SPRACHERKENNUNGSSYSTEME ZUSAMMEN MIT EINEM FUSIONSINFORMATIONSMODUL AUFGEBAUT WERDEN, DAS MIT MULTIMODALEN INFORMATIONSQUELLEN UMGEHEN KANN. (German)
9 December 2021
0 references
Albacete
0 references
Identifiers
TIN2015-65686-C5-3-R
0 references