KARlab
Au sein de l’ADVANS Lab de Sophia-Antipolis, ADVANS Group mène un projet de R&D appliqué au secteur de l’automobile : KARlab. Il consiste à concevoir un système innovant pour initier les conducteurs aux interactions futures avec leur véhicule, de manière ludique. Muni d’un casque de réalité mixte, le pilote participe à une course de karting et interagit avec des éléments virtuels placés dans le monde réel. À chaque fois qu’il les touche, cela entraîne des actions sur son propre kart, ou celui de ses adversaires (accélération, ralentissement…).
Le projet est réalisé conjointement par AViSTO, chargé de la solution logicielle, et ELSYS Design, qui conçoit la partie matérielle du système. MECAGINE, enfin, intervient sur l’automatisation de la direction du kart et du système de freinage.
Architecture globale du projet
Le projet consiste en l’élaboration d’un serveur de jeu (supervisant les parties), de plusieurs cartes électroniques présentes sur chaque kart, d’un ensemble d’éléments virtuels (tableau de bord, objets, boîtes etc.) visibles grâce aux casques de réalité mixte et enfin de fonctionnalités de localisation et de communication avec les différentes entités.
Le kart utilise plusieurs capteurs afin de se repérer dans l’espace et également de réagir en cas de situations dangereuses, notamment déclencher un arrêt d’urgence en cas d’obstacle devant lui.
Ce projet couvre donc de nombreux aspects : affichage sur les casques, gestion des capteurs, suivi de la partie et des joueurs, reconnaissance de l’environnement, détection de danger…
Organisation
Le cœur de l’équipe KARlab est constitué d’ingénieurs AViSTO et ELSYS Design spécialisés dans les différentes technologies mises en œuvre. Coordonnés par un chef de projet et un responsable technique, ils sont chargés de définir les solutions techniques pertinentes et de les mettre en œuvre, tout en assurant la cohérence globale du système.
L’équipe est ensuite renforcée périodiquement par des stagiaires, qui sont encadrés par un ingénieur spécialisé dans le domaine concerné et par un ingénieur d’affaires.
Phase 1 : gestion du jeu
En 2018-2019, neuf stagiaires et un apprenti ont renforcé l’équipe projet. Ils sont intervenus sur le développement des solutions logicielles abordant des aspects réseau, UX, IHM, cloud, 3D, mais aussi des solutions matérielles et logicielles embarquées : cartes électroniques, capteurs environnementaux, utilisation spécifique de l’espace utilisateur et l’espace noyau d’un OS Linux.
Au niveau de l’organisation, les ingénieurs stagiaires ont travaillé en équipe, regroupés par thématique :
- 1 alternant a réalisé l’Interface d’administration du jeu (web UI) et le HUD (Head Up Display) proposé au joueur pendant la course, en s’intéressant fortement aux aspects d’expérience utilisateur (UX).
- 3 stagiaires ont développé un prototype d’application de persistance des données virtuelles hébergées sur le cloud, ainsi que les briques DevOps associées.
- 2 stagiaires ont développé le code embarqué sur Nvidia Jetson TX2, cœur numérique de la solution KARlab embarqué sur le véhicule.
- 2 stagiaires ont développé une carte électronique permettant la perception la fusion des données provenant des capteurs environnementaux du véhicule.
- 1 stagiaire a développé un prototype de solution V2X qui gère la communication entre le véhicule et son environnement (autres véhicules, piétons, mobilier urbain, réseau internet, etc…).
- 1 stagiaire (4A) a abordé le projet de façon plus globale en réalisant notamment des tests de validation fonctionnelle. Il a également développé un prototype de visualisation (tête haute) de trajectoires d’évitement d’obstacles.
Phase 2 : aide à la conduite
En 2019-2020, l’équipe s’est concentrée plus spécifiquement sur l’implémentation des fonctions d’aide à la conduite. On peut citer la partie contrôle, c’est-à-dire s’assurer que les différents ordres sont envoyés au kart et que ce dernier les exécute correctement (une vitesse maximale, un débridage, un ralentissement en douceur, un freinage d’urgence, etc.). Ou encore l’aide au pilote pour la prise de décisions (évitement d’obstacles etc.).
Chez ELSYS Design, deux premiers stagiaires se sont focalisés sur ces problématiques de contrôle et de supervision. Un troisième s’est concentré sur les aspects temps-réel et l’intégration des précédents algorithmes en embarqué.
L’équipe AViSTO a également été renforcée avec deux stagiaires chargés de travailler sur le serveur de jeu et le casque de réalité virtuelle : l’unité de contrôle électronique ayant évolué, de nombreux éléments existants avaient besoin d’être mis à jour et complétés.
Un troisième et un quatrième stagiaires se sont focalisés respectivement sur la fusion de données (un filtre de Kalman) et les aspects DevOps.
Un cinquième stagiaire s’est intéressé à la cybersécurité.
Enfin, un étudiant a débuté sa thèse sur la prise de décision en temps-réel grâce au machine learning.
Phase 3 : intégration du système dans le kart
En 2020-2021, l’équipe a travaillé à la mise en place d’un système complet (fusion, supervision, contrôle) intégré en environnement simulé ainsi que sur l’envoi des commandes basiques au kart.
Côté AViSTO, trois stagiaires ont rejoint l’équipe. Un s’est occupé d’améliorer le serveur de jeu, notamment les aspects UX/UI, et a ajouté des fonctionnalités à l’interface de configuration.
Le deuxième a travaillé sur le casque de réalité virtuelle pour lui permettre de se repérer dans l’espace et d’afficher les objets et trajectoires au bon endroit par rapport au circuit réel.
Enfin, le dernier stagiaire a utilisé l’intelligence artificielle et notamment l’apprentissage par renforcement pour enseigner au kart à se garer en autonomie.
Côté ELSYS Design, un stagiaire s’est occupé d’implémenter sur une carte FPGA l’algorithme de détection de personnes et de véhicules développé par AViSTO. Cet algorithme permet au kart, équipé d’une caméra, d’analyser son environnement extérieur et de détecter les dangers potentiels.
Un second stagiaire s’est concentré sur les aspects temps-réel et sur le développement de nouvelles fonctionnalités en embarqué, notamment la commande à distance du kart en accélération et décélération.
Objectifs pour 2022
L’objectif pour 2022 est de réaliser un démonstrateur en conditions réelles d’un des cas d’usage du kart, et d’intégrer une partie mécanique permettant la décélération.
Du point de vue du développement logiciel, l’architecture a été simplifiée afin d’intégrer plus aisément les différentes briques d’intelligence embarquée.
Des compétences en Linux embarqué, en Python, en traitement de données et d’images et en développement bas-niveau embarqué seront mises à profit cette année pour réaliser ces objectifs !
Témoignages
Avec ce projet, les étudiants ingénieurs ont ainsi l’opportunité de pratiquer leur métier dans un cadre de recherche et développement, ce dans un secteur en pleine innovation technologique au niveau mondial : l’automobile. Nombreux sont ceux qui ont depuis rejoint AViSTO ou ELSYS Design en CDI.
Guillaume, qui a travaillé sur la question de la persistance des données virtuelles, nous confie que « Pédagogiquement, ce stage de fin d’études fut précieux d’un point de vue apport de compétences. D’une part, il m’a permis de progresser sur des technologies avec lesquelles j’avais déjà eu l’occasion de travailler, notamment le Java et le C#. Mais il m’a également fait découvrir un domaine qui m’intéressait mais qui m’était pour le moins inconnu : la réalité augmentée.
De plus, intégré à une équipe de taille conséquente, et de profils de compétences variés, ce stage fut une réelle expérience de travail en équipe et une mise en situation réaliste du poste d’ingénieur logiciel.
A titre personnel, j’ai beaucoup apprécié le sujet de stage, le projet dans lequel il s’inscrit, le travail au sein de KARlab et d’AViSTO ainsi que les thématiques et problématiques abordées. »
Chrysogone, qui a contribué à la partie logiciel embarqué du projet, est lui aussi très satisfait.
« Ce stage de fin d’études au sein d’ELSYS Design a été très enrichissant pour moi. J’ai pu découvrir grâce à lui deux facettes des systèmes embarqués. L’aspect software, proche du système d’exploitation et l’aspect hardware, par la conception électronique, tout ceci au sein d’une équipe jeune et très agréable, travaillant sur un projet de recherche et développement stimulant et motivant. […]
J’ai senti une réelle progression, entre le début du stage et l’écriture de ce rapport, tant au niveau technique qu’au niveau humain. »
Léa, qui a elle aussi travaillé sur les aspects logiciel embarqué, dresse un constat similaire :
« Ce stage de fin d’études au sein d’ELSYS Design a été extrêmement enrichissant pour moi. […] J’ai pu découvrir tout l’aspect de développement de logiciel embarqué, ce qui correspond tout à fait à ce que je souhaitais faire et à mon choix de majeure à l’école. »
Antoine semble également enchanté de ses douze mois chez AViSTO :
« Cette année d’alternance aura été pour moi d’un enrichissement intense. Techniquement bien sûr, mais aussi humainement car j’ai travaillé dans des configurations très différentes que ce soit au niveau du lieu de travail, des équipes ou des projets. Quelle que soit la situation, j’ai dû apprendre à m’adapter, à mieux communiquer et à travailler en équipe, à m’organiser et à prendre des nouvelles responsabilités pour que chaque projet se passe dans les meilleures conditions. […] Cette année m’aura donc donné une vraie ouverture d’esprit. Cela me motive plus que jamais à continuer dans ma voie et à participer à des projets innovants répondant aux problématiques de demain. »
Difficile de donner la parole à tout le monde. Laissons la conclusion à Arnaud, stagiaire en logiciel embarqué :
« Pour terminer, je souhaiterais remercier toute l’équipe du projet KARlab, ainsi que tous les employés d’ELSYS Design et d’AViSTO, pour leur accueil chaleureux, leur aide bienveillante et la bonne ambiance de travail qui m’a permis de travailler dans d’excellentes conditions. »
Bravo à nos stagiaires !
Envie de réaliser un stage chez AVISTO ou ELSYS Design ? Retrouvez les offres sur nos sites emploi.