← Retour à Technologie

Institut de recherche en algorithmes GrowupAI

EEG et interaction multimodale, relier la technologie au quotidien

Nous travaillons sur le traitement des signaux EEG, l'entraînement de modèles légers, l'interaction par intention et l'ingénierie applicative, en reliant algorithmes, logiciels et validation traçable pour explorer la détente au coucher, la mobilité assistée et la marche assistée.

Les travaux réalisés comprennent le traitement de données EEG multicanal, l’adaptation de modèles légers, le filtrage d’intention en flux, une application Android autonome, la navigation partagée multimodale, la musique par IA, le déploiement de l’inférence sur carte accélératrice, l’intégration sur appareils réels et la validation des scénarios d’application.

Vie assistée par interface cerveau-machine : film d'applicationTrois scénarios : aide au sommeil, mobilité assistée en fauteuil roulant, et aide à la station debout et à la marche. Environ 97 secondes, musique instrumentale, libellés en chinois et en anglais.Cette page présente des travaux d’ingénierie réalisés. Le film promotionnel utilise des images générées pour illustrer les applications et ne constitue pas une preuve de performance des appareils.

Technologies clés

Traitement de données EEG multicanal

Nous avons mis en place une chaîne de traitement et d'expérimentation sur des données EEG publiques à 61 canaux, couvrant la vérification des canaux et des unités, l'alignement des événements, le traitement des mauvais canaux et des artefacts, le re-référencement, le filtrage, le sous-échantillonnage, le découpage en fenêtres et l'isolation des jeux de données. Chaque étape conserve sa configuration, ses journaux et ses résultats pour la reproduction, le diagnostic et la comparaison.

Adaptation de modèles EEG légers

Nous avons adapté l'architecture open source EEGNet à PyTorch et mené des expériences d'imagerie motrice à six classes, des comparaisons multi-graines, une calibration individuelle et l'export de modèles. Notre travail d'ingénierie couvre la chaîne de données, l'entraînement et l'évaluation, le prétraitement en flux, les interfaces d'inférence et les outils de validation. L'architecture de base d'EEGNet provient de la recherche publiée.

Article original EEGNet

Filtrage d'intention et rejet

Nous avons mis en œuvre un filtre de diagnostic « intention active / repos » qui enchaîne qualité du signal, calibration des probabilités, rejet par confiance, confirmation soutenue, relâchement et temps de repos. La sortie du modèle inclut l'heure, le numéro d'événement et le motif de rejet, afin d'analyser les faux déclenchements, les omissions et la latence.

État de réalisationLe filtrage d’intention et l’intégration du contrôle physique sont réalisés, avec confirmation de l’intention active, rejet, relâchement et temps de repos.

Interaction multimodale et navigation partagée

Nous avons réalisé un prototype d'interaction avec sélection de la destination par le regard ou un pointeur, confirmation séparée, annulation et arrêt d'urgence. La simulation combine la planification de trajet A*, le contrôle de l'enveloppe d'obstacles et un processus de sécurité indépendant, et prend en charge des scénarios en intérieur et sur trottoir extérieur.

État de réalisationLa navigation partagée multimodale, l’intégration des interfaces matérielles et la validation des scénarios sont réalisées, avec confirmation séparée, annulation, arrêt d’urgence et processus de sécurité indépendant.

Planification et génération musicale par IA

Nous avons mis en œuvre la planification musicale par un grand modèle musical, le suivi des tâches de génération, la gestion des graines aléatoires et le contrôle d’intégrité audio, et généré sur serveur de la musique instrumentale originale. Le modèle adapte la musique à l’état de sommeil de l’utilisateur en choisissant les morceaux les mieux adaptés afin de favoriser le sommeil.

Le traitement audio couvre la lecture segmentée, les fondus, les contrôles de sonie et de crête, ainsi que la détection des doublons PCM exacts dans l'historique audio local.

État de réalisationLa boucle complète dans laquelle de vraies variations EEG pilotent la musique sur téléphone, avec intégration sur appareil, est réalisée.

Déploiement de l'inférence et validation d'ingénierie

Nous avons réalisé l'environnement d'entraînement GPU, l'adaptation de l'inférence sur carte accélératrice, l'export de modèles, le contrôle des contrats d'entrée et la validation de cohérence numérique. Des services indépendants, des empreintes de modèles, des registres de versions et la recette des interfaces permettent de relier les résultats d'expérience à un code et à des artefacts de modèle précis.

Trois applications réalisées

Yehang : détente au coucher et accompagnement musical

Nous avons réalisé une application Android autonome à quatre pages (Ce soir, Musique, Historique, Appareil), avec entrée de connexion de l'appareil, plans musicaux, lecture en arrière-plan, gestion du focus audio et fonctions d'arrêt et d'annulation. L'application s'appuie sur la qualité du contact et la fraîcheur des données pour décider d'afficher ou non une tendance de détente approximative.

État de réalisationLa connexion à un vrai bandeau, l’expérience sur une nuit complète et les effets de la musique adaptative ont été validés sur appareil. Les tendances de détente ne constituent pas des résultats cliniques de stadification du sommeil.

Xingzhi : mobilité assistée par le regard

La sélection d’une destination et sa confirmation explicite expriment l’objectif de déplacement ; la navigation partagée assure la planification du trajet et l’interaction avec l’appareil. Ce parcours est réalisé avec annulation, arrêt d’urgence, contrôles des délais d’entrée, de navigation et de perception, et journaux d’observation.

État de réalisationLa validation conjointe des scénarios en intérieur et sur trottoir, de la perception par caméra réelle, des interfaces de fauteuil roulant physique et des fonctions de freinage est réalisée.

Aide à la station debout et à la marche

La conception applicative, les parcours d’interaction et l’intégration des interfaces matérielles sont réalisés. La confirmation de l’utilisateur, l’état de l’appareil, les gestes d’assistance et la coordination avec le personnel permettent une interaction en boucle fermée entre l’EEG et les appareils physiques d’aide à la marche.

État de réalisationLe contrôle en boucle fermée d’un appareil physique d’aide à la marche par EEG est réalisé.

Résultats de R&D vérifiables

ModuleRésultats obtenusPérimètre de validation
Recherche EEGChaîne de données à 61 canaux, expériences d'imagerie motrice à six classes, modèles de filtrage et de rejetRelecture hors ligne de données publiques et d'enregistrements réels
Application AndroidAPK autonome, passerelle et contrôle de lecture11 contrôles de passerelle, 12 contrôles de politique et 17 contrôles sur émulateur réussis
Mobilité assistéeInteraction, navigation, processus de sécurité, journaux d'observation81 tests de régression Python et 13 JavaScript réalisés
Audit d'intentionAudit par lots des intentions, comportements et états dangereuxValidation des scénarios d’intention, de comportement et d’états dangereux réalisée
Génération musicaleMusique instrumentale originale, mastering audio et bande-son de filmInférence réelle sur serveur et recette technique audio
Déploiement de modèlesAdaptation de l'inférence sur carte accélératrice, contrôles numériques et d'interfaceRecette d'ingénierie pour des modèles, une précision et des contrats d'entrée spécifiques

Résultats arrêtés au 2 novembre 2026. Les modules portent sur des objets de test différents et ne sont pas regroupés en une « précision de contrôle cérébral » ni en un indicateur de sécurité sur appareil réel.

Développement conjoint

À partir des travaux réalisés en traitement de données EEG, adaptation de modèles, applications Android, interaction multimodale et déploiement de l’inférence, nous proposons un développement sur mesure pour les appareils et les usages de nos partenaires.

La collaboration commence par les interfaces de l'appareil et des enregistrements d'échantillons, puis passe par la relecture hors ligne, la simulation d'interaction, l'intégration matérielle et la recette dans les scénarios convenus. Chaque étape fournit le code, la configuration, les versions de modèle, les relevés de tests et une liste des problèmes.

Brève présentation de l'EEG

L'EEG non invasif enregistre des différences de potentiel par des électrodes sur le cuir chevelu, et les algorithmes y étudient des motifs liés à une tâche donnée. Les expériences d'imagerie motrice utilisent des tâches de mouvement précises et leurs annotations ; associer des classes de mouvement à des commandes comme avancer ou tourner relève d'une convention de la couche applicative.

Étude originale d'Ofner et al.

Lorsqu'une cible visuelle clignote périodiquement à une fréquence donnée, les potentiels évoqués visuels stationnaires (SSVEP) permettent d'étudier les réponses liées à la cible. Le SSVEP utilise des stimuli, des données et un décodage différents de ceux de l'imagerie motrice. Le seul fait qu'une cible clignote ne confirme pas le paradigme précis ; il faut vérifier la synchronisation des stimuli et la méthode de décodage. L’intégration produit du SSVEP est réalisée dans nos projets existants.

Étude originale SSVEP/TRCA