Social robots get smarter and more capable

(Français)
Getting dressed, eating healthy meals, taking medication, tracking vital signs: these are some of the daily tasks that social robots soon will be able to help with—supporting aging-in-place, especially for older adults with cognitive impairment.

Roboticist Dr. Goldie Nejat, University of Toronto

Roboticist Dr. Goldie Nejat, University of Toronto

“The response to this project and the robots we’ve been developing has been exceptional,” says Dr. Goldie Nejat, director of the Autonomous Systems and Biomechatronics Laboratory at the University of Toronto. “It’s fantastic how many people want to be involved—from industry collaborators to long-term care facilities, seniors’ residences and users.”

Dr. Nejat, who holds the Canada Research Chair in Robots for Society, and Dr. François Michaud, founding director of the Interdisciplinary Institute for Technological Innovation (3IT) at Université de Sherbrooke, are leading the AGE-WELL project to create social robots, which will be on the market within two to five years.

Social robots are designed to prompt older adults with cognitive challenges to do activities of daily living, thereby promoting independence and quality of life. Many of the earlier capabilities, such as facial expression, emotion and meal preparation, were developed on Casper, a prototype robot created by Dr. Nejat’s team in collaboration with industry partner CrossWing Inc.

Next came Mia, like Casper, a 3-D printed mobile robot platform from CrossWing with customized torso and chest-level video screen, arms, head, sensors and intelligence developed by Dr. Nejat’s team. Mia is the next step toward commercialization due to its reduced size and increased computing capabilities. “Mia can do more activities; it can sense a lot more in its environment all onboard the robot.”

Two Nao robots

Two Nao robots

Using commercially available robots, Dr. Nejat’s team has further developed social robot intelligence and capabilities, and put them to the test. Leia, a Nao table-top robot often used in health care, education and research, has been customized as a “personal wardrobe assistant” to help older adults select an outfit that is appropriate for the day’s activities and the weather.

While formal analysis is underway, initial feedback from testing at a long-term care facility appears positive. “It is easy to use,” says Dr. Nejat. “The robot is engaging, and people will do the activity with the robot.”

Leia has also been developed as an exercise coach. Using upper-body exercises with healthy adults, the system proved to be easy to use without much training and could reliably identify if participants achieved their exercise goals. Further testing is planned in a retirement or long-term care setting.

What if someone doesn’t want to do their exercises, eat or take their medication? Two Nao robots were pitted against one another to determine which persuasive techniques are most effective. Tested with members of the public, two persuasion strategies (“affect” and “logical”) out-performed others and will be further explored by Dr. Nejat’s team as part of the behaviour package for social robots.

Pepper the robot

Pepper the robot
Courtesy: U of T News

Another commercially available mobile robot called Pepper has also been added to the team. The idea is to see how well an existing robot platform can function with all the enhanced intelligence/computing, activities and assistance components of the AGE-WELL robot project.

“We hope to take Pepper into long-term care so we can deploy it and conduct more of our human-robot interaction studies,” says Dr. Nejat.

Dr. François Michaud, project co-lead, Université de Sherbrooke

Dr. François Michaud, project co-lead, Université de Sherbrooke

In Quebec, Dr. Michaud has been fine-tuning and testing the telepresence robot with industrial partner Vigilent Telesystems Inc. “Our telepresence robot makes it possible for a clinician or a caregiver to move in the home and interact with the person from a remote location,” says Dr. Michaud. “Functionalities such as autonomous navigation, face tracking and voice tracking make it possible for the remote operator to focus on the interaction with the person and minimize interventions for navigating the robot.”

Not only can medical appointments be conducted this way, but the older adult’s vital signs—including their weight, temperature, blood pressure, ECG, blood sugar level and more—can be tracked by wireless Bluetooth monitoring devices, validated and transmitted into their electronic medical record.

Dr. Michaud’s team has conducted trials in 10 typical home settings. The team is preparing for field trials at Chartwell retirement residences in Sherbrooke this fall.

AGE-WELL’s social robot project owes much of its success to the participation of its diverse investigators, their industrial partners and end-users who have been involved since the beginning. “CrossWing is very fortunate to be working with AGE-WELL researchers including teams at the Université de Sherbrooke and the University of Toronto,” says Steve Sutherland, president and CEO of CrossWing Inc.

“AGE-WELL is unparalleled in Canada as a conduit for transdisciplinary collaboration as we seek to deliver social robots which will enable seniors to live independently in their own homes—to feel confident and truly enjoy their independence with the friendly help of our social robots.”

 

Les robots d’assistance sociale deviennent de plus en plus intelligents et de plus en plus polyvalents

Aider les personnes à s’habiller, à manger des repas sains, à prendre leurs médicaments, en plus de faire le suivi de leurs signes vitaux, voilà quelques-unes des tâches quotidiennes que les robots d’assistance sociale seront bientôt en mesure d’accomplir – permettant ainsi de soutenir le vieillissement chez soi, en particulier chez les personnes âgées ayant une déficience cognitive.

Goldie Nejat, roboticienne, Université de Toronto

Goldie Nejat, roboticienne, Université de Toronto

« La réaction quant à ce projet et aux robots que nous avons mis au point a été exceptionnelle, déclare Goldie Nejat, directrice du Laboratoire des systèmes autonomes et biomécatroniques de l’Université de Toronto. C’est fantastique de voir le nombre de personnes qui veulent prendre part à ce projet, qu’il s’agisse de collaborateurs de l’industrie, d’établissements de soins de longue durée, de résidences pour personnes âgées ou d’utilisateurs. »

Mme Nejat, titulaire de la Chaire de recherche du Canada sur les robots pour la société, et François Michaud, directeur fondateur de l’Institut interdisciplinaire d’innovation technologique (3IT) de l’Université de Sherbrooke, dirigent le projet d’AGE-WELL visant à créer des robots d’assistance sociale. Ces derniers seront sur le marché d’ici deux à cinq ans.

Les robots sociaux sont conçus pour inciter les personnes âgées ayant des difficultés cognitives à faire des activités quotidiennes, favorisant ainsi l’autonomie et une meilleure qualité de vie. Bon nombre des capacités antérieures de ces appareils, comme l’expression faciale, l’émotion et la préparation des repas, ont été mises au point à partir de Casper, un prototype de robot créé par l’équipe de Mme Nejat en collaboration avec le partenaire de l’industrie CrossWing Inc.

Puis est arrivée Mia qui, comme Casper, est une plateforme robotisée mobile imprimée en 3D de CrossWing, avec écran vidéo personnalisé, et dont le torse, la poitrine, les bras, la tête, les capteurs et l’intelligence ont été mis au point par l’équipe de Mme Nejat. Mia constitue la prochaine étape vers la commercialisation grâce à sa taille réduite et à ses capacités informatiques accrues.« Mia peut faire plus d’activités; elle peut détecter beaucoup plus de choses dans son environnement, et tout cela de l’intérieur du robot », explique-t-elle.

Deux robots Nao

Deux robots Nao

En utilisant des robots accessibles sur le marché, l’équipe a développé l’intelligence et les capacités du robot d’assistance sociale, et les a mises à l’essai. Leia, le robot de table Nao souvent utilisé dans les secteurs de la santé, de l’éducation et de la recherche, a été personnalisé en tant « qu’assistant de garde-robe personnel » pour aider les personnes âgées à choisir une tenue adaptée aux activités de la journée et à la météo. Bien que l’analyse officielle soit en cours, la rétroaction initiale des essais effectués dans un établissement de soins de longue durée semble positive.

« C’est un appareil facile à utiliser, affirme Mme Nejat. Le robot est attachant; les gens seront donc enclins à faire l’activité avec ce dernier. »

Leia a également été conçue comme entraîneur pour des séances d’exercice. Les exercices pour le haut du corps d’adultes en santé se sont avérés faciles à exécuter, avec peu d’entraînement. En outre, le système a permis de déterminer de façon fiable si les participants avaient atteint leurs objectifs.

D’autres essais sont prévus dans un contexte de résidence pour personnes âgées ou d’établissement de soins de longue durée.

Que se passe-t-il si quelqu’un ne veut pas faire les exercices, manger ou prendre ses médicaments? Deux robots Nao se sont mesurés l’un à l’autre pour déterminer les techniques de persuasion les plus efficaces. Testées auprès de membres du public, deux stratégies de persuasion (« émotionnelle » et « logique ») ont été mises à l’épreuve, et seront explorées plus en profondeur par l’équipe de Mme Nejat dans le cadre du volet comportemental pour les robots d’assistance sociale.

Pepper le robot Photo : U of T News

Pepper le robot
Photo : U of T News

Un autre robot mobile accessible sur le marché, appelé Pepper, a également été ajouté à l’équipe. L’idée est de voir dans quelle mesure une plateforme robotisée existante peut fonctionner si on y ajoute tous les composants informatiques, d’intelligence, d’activités et d’assistance améliorés du projet de robot d’AGE-WELL.

« Nous espérons apporter Pepper dans un établissement de soins de longue durée afin de le mettre à l’essai et de mener d’autres études d’interaction homme-robot », ajoute Mme Nejat.

Au Québec, M. Michaud a peaufiné et mis à l’essai le robot de téléprésence avec Telesystems Inc., un partenaire industriel. « Notre robot de téléprésence permet à un clinicien ou à un soignant de se déplacer dans la maison et d’interagir avec la personne à partir d’un endroit éloigné, déclare M. Michaud. Les fonctionnalités comme la navigation autonome, le suivi du visage et de la voix permettent à l’opérateur à distance de se concentrer sur l’interaction avec la personne et de minimiser les interventions en ce qui a trait à la navigation du robot. »

François Michaud, coresponsable du projet, Université de Sherbrooke

François Michaud, coresponsable du projet, Université de Sherbrooke

Non seulement les rendez-vous médicaux peuvent-ils être effectués de cette façon, mais les signes vitaux des personnes âgées, y compris leur poids, leur température, leur tension artérielle, leur électrocardiographie, leur glycémie, etc., peuvent être suivis au moyen de dispositifs de surveillance Bluetooth sans fil, validés, puis transmis dans leur dossier médical électronique.

L’équipe de M. Michaud a mené des essais dans 10 maisons typiques. L’équipe se prépare aux essais sur le terrain dans les résidences pour personnes âgées Chartwell, à Sherbrooke, cet automne.

Le projet de robot d’assistance sociale d’AGE-WELL doit en grande partie son succès à la participation de ses divers chercheurs, de ses partenaires industriels et des utilisateurs finaux qui y participent depuis le début. « CrossWing a beaucoup de chance de travailler avec les chercheurs d’AGE-WELL, notamment les équipes de l’Université de Sherbrooke et de l’Université de Toronto, indique Steve Sutherland, président et chef de la direction de CrossWing Inc.

La mission d’AGE-WELL est sans pareille au Canada en tant qu’intermédiaire de la collaboration transdisciplinaire, alors que nous cherchons à offrir aux personnes âgées des robots d’assistance sociale qui leur permettront de vivre de façon autonome dans leur propre maison, de se sentir confiants et de profiter pleinement de leur autonomie grâce à l’aide amicale de nos robots sociaux. »