Le sujet de cette invention est un procédé et un dispositif de reconnaissance de position ou de mouvement d'un dispositif ou d'un être vivant, afin de reconnaître des événements apparaissant pendant le mouvement, et qui peuvent être soit des phases du mouvement soit des états statiques atteints pendant le mouvement, comme des postures physiques d'une personne.
Les applications sont nombreuses. On pourra citer parmi elles la reconnaissance de caractères manuscrits d'après le mouvement d'un stylo ou la surveillance médicale pour repérer des états anormaux d'une personne, susceptibles de signifier un accident ou une crise, telle qu'une crise d'épilepsie.
On s'intéresse particulièrement aux procédés où des capteurs sont fixés au dispositif ou à l'être vivant à observer et en mesurent les mouvements ou la position. Ils comprennent deux genres principaux. Dans le premier d'entre eux, les capteurs sont répartis en grand nombre sur le dispositif ou l'être vivant, et la combinaison de leurs mesures permet de déduire l'information recherchée de façon directe, éventuellement par une représentation graphique. Ces procédés sont simples à exploiter et efficaces entre autres pour déterminer une posture physique, mais l'utilisation de capteurs multiples a un caractère intrusif, désagréable pour une personne porteuse.
Dans un autre genre de procédés, on emploie un seul capteur, ou plus généralement un seul groupe de capteurs, placés ensemble en un même assemblage, ou éventuellement un petit nombre de capteurs répartis sur le dispositif ou l'être vivant. Les mesures prises sont alors trop peu nombreuses pour donner immédiatement l'information souhaitée sur le mouvement (direction, intensité etc.) ou la position (orientation, distance à une référence fixe, etc.) et doivent être interprétées par des règles données arbitrairement ou dégagées à l'issue d'une phase d'apprentissage pendant laquelle le dispositif ou l'être vivant est observé et les mesures prises par les capteurs sont corrélées aux états atteints repérés par l'observateur. L'application des règles permet ensuite de diagnostiquer la réapparition des états repérés pendant la phase d'apprentissage quand des mesures identiques aux états correspondants sont constatées. De telles règles conviennent d'autant mieux que les conditions sont favorables, notamment quand les mouvements sont répétitifs ou que les états atteints sont peu nombreux ou bien caractérisés, ce qui permet des classifications plus faciles. Elles peuvent être mises en échec toutefois, soit en donnant des résultats erronés si elles ont été établies avec imprécision ou s'appliquent à un mouvement inédit, soit en tolérant des indéterminations si elles sont trop peu détaillées. Certaines indéterminations peuvent être intrinsèques au système utilisé : c'est ainsi qu'il est impossible de distinguer une position debout immobile d'une position assise par des capteurs d'orientation ou des accéléromètres fixés sur le torse en considérant seulement l'état statique correspondant. Si ces seconds procédés aux capteurs en nombre réduit conviennent assez bien pour la mesure de l'intensité d'un mouvement (actimétrie), il faudrait les perfectionner pour les rendre plus efficaces pour des études plus fines des mouvements et des positions atteintes afin de reconnaître la posture du porteur puis la nature de son activité ou de son occupation (posturométrie).
Un objet de l'invention est donc de perfectionner ce second genre de procédés, utilisant un petit nombre de capteurs portés à un petit nombre de points de mesure par le dispositif ou l'être vivant, souvent sur un point unique, pour mener à bien une classification d'événements, tels que des postures prises par le porteur quand l'apprentissage a été fait.
La présente invention concerne un procédé de reconnaissance de position ou de mouvement d'un dispositif ou d'un être vivant, comprenant les étapes suivantes: prévoir des premier et second jeux de capteurs sur ou à proximité du dispositif ou de l'être vivant ; relever, pendant une phase d'apprentissage, les mesures prises par les capteurs et appliquer des premières règles de décision prédéfinies au moins aux mesures prises par le premier jeu de capteur pour classer chaque événement identifié à partir des mesures de tout ou partie des capteurs dans une catégorie de position ou de mouvement ; créer une base d'apprentissage, pendant la phase d'apprentissage, répertoriant pour tout ou partie desdits événements leur classification préalablement établie et des caractéristiques issues des mesures du second jeu de capteurs; définir des secondes règles de décision à partir de la base d'apprentissage permettant de classer un événement à partir des mesures issues du second jeu de capteurs ; enlever le premier jeu de et garder seulement le second jeu de capteurs sur le dispositif ou l'être vivant ; et classer la positon ou le mouvement du dispositif ou de l'être, pendant une phase de reconnaissance, en appliquant les secondes règles de décision aux mesures issues du second jeu de capteurs.
Le procédé de la présente invention peut être appliqué à la reconnaissance de postures et de mouvements, les premier et second jeux de capteurs comprenant des capteurs de mouvement tels que des accéléromètres, des magnétomètres et des gyromètres.
Selon un mode de mise en oeuvre du procédé susmentionné, le premier jeu de capteurs comprend des accéléromètres montés sur les cuisses et les jambes de la personne porteuse.
Selon un mode de mise en oeuvre du procédé susmentionné, le second jeu de capteurs comprend un magnétomètre triaxial et un accéléromètre triaxial montés sur une personne porteuse, par exemple sur le torse.
Selon un mode de mise en oeuvre des procédés susmentionnés, les événements classés comprennent des postures debout, assise et couchée ainsi que des transitions entre lesdites postures debout, assise et couchée.
Le procédé de la présente invention peut également être appliqué à la reconnaissance de crises épileptiques, le premier jeu de capteurs comprenant un capteur d'activité électrique du cerveau d'une personne porteuse des capteurs, et le second jeu de capteurs fixés à la personne porteuse comprenant des capteurs de mouvement tels que des accéléromètres,des magnétomètres et des gyromètres.
Le procédé de la présente invention peut également être appliqué à la reconnaissance de crises épileptiques, le premier jeu de capteurs comprenant un enregistreur d'images, et le second jeu de capteurs fixés à une personne porteuse comprenant des capteurs de mouvement tels que des accéléromètres, des magnétomètres et des gyromètres.
En outre, le procédé de la présente invention peut être appliqué à la reconnaissance de caractères manuscrits, le premier jeu de capteurs étant une tablette graphique relié à des moyens d'identification de sigles et le second jeu de capteurs comprenant des capteurs de mouvement montés sur un stylo.
Selon un mode de mise en oeuvre d'un des procédés susmentionnés, le procédé comprend l'entraînement d'un réseau de neurones par la base d'apprentissage pour élaborer les secondes règles de décision.
La présente invention prévoit en outre un dispositif appliquant un des procédés susmentionnés, qui comprend le premier jeu de capteurs et le second jeu de capteurs, et des moyens de traitement des mesures fournies par les capteurs contenant une base d'apprentissage et un classificateur ajustable.
L'invention sera maintenant décrite en liaison aux figures, dont :
- la
figure 1 illustre une première application, - la
figure 2 illustre une deuxième application, - la
figure 3 illustre un réseau de neurones, - la
figure 4 est un diagramme de division d'un signal, et - la
figure 5 illustre une troisième application.
L'exposé porte d'abord sur la
Dans cette réalisation comme dans les autres, le système comprend un ordinateur 7 recueillant les mesures de tous les capteurs 1 et 2 et comprenant une base d'apprentissage 8 ainsi qu'un classificateur 9 et un élément d'exploitation 10 des résultats donnés par le classificateur 9 de nature adaptée aux fins du procédé (mémoire enregistreuse de déplacements et d'états, interface graphique, système d'alarme, etc).
Le procédé de reconnaissance selon la présente invention se décompose en deux grandes phases : une phase d'apprentissage et une phase de reconnaissance. Lors de la phase d'apprentissage, on procède à un suivi et à une analyse des mouvements effectués par la personne étudiée sur laquelle sont placés les premier et second jeux de capteurs 1 et 2. Lors de la phase de reconnaissance, on définit la position ou le type de mouvement effectué par la personne en utilisant uniquement le second jeu de capteurs, le premier jeu de capteurs ayant été retiré.
Lors de la phase d'apprentissage, les mesures fournies par les différents capteurs 1 et 2 sont transmises à l'ordinateur 7. Le classificateur 9 utilise alors tout ou partie des mesures fournies par les capteurs 1 et 2 pour déterminer avec une confiance élevée les postures ou les mouvements du porteur des capteurs 1 et 2. Pour ce faire, le classificateur 9 utilise des premières règles de décision préalablement définies. On pourra par exemple utiliser des premières règles de décision classiques utilisant uniquement les mesures fournies par les différents accéléromètres des premiers et seconds jeux de capteurs 1 et 2. On notera que l'utilisation des mesures fournies par les seconds capteurs est facultative pour réaliser la classification.
Pour des exemples de premières règles de décision, on pourra se référer aux articles suivants :
- Article de
P.H. Veltink, H.B.J Bussmann, W. de Vries, W.L.J. Martens et R.C. van Lummel, intitulé "Detection of static and dynamic activities using uniaxial accelerometers", IEEE Trans. Rehab. Eng., vol 4, n° 4, pages 375-385 - Article de
G. M. Lyons, K.M. Culhane, D. Hilton, P.A. Grace and D. Lyons, intitulé "A description of an accelerometer-based mobility monitoring technique", Medical Engineering and Physics, vol. 27, pages 497-504, de 2005 - brevet
US numéro 6,834,436
Dans l'exemple de la
On utilisera de préférence uniquement les mesures des seconds capteurs pour identifier les événements successifs, c'est-à-dire pour "découper" temporellement les signaux reçus en une suite séquentielle d'événements. Une fois cette suite séquentielle d'événements définie, on utilise les mesures des premiers capteurs et éventuellement de tout ou partie des seconds capteurs pour attribuer une classification à chaque événement préalablement identifié. Un exemple de mode de mise en oeuvre d'un tel procédé d'identification et de classification d'événements est donné dans la suite de la description.
Au fur et à mesure des classifications d'événements réalisées par le classificateur, on enrichit, automatiquement, la base d'apprentissage 8 avec de nouvelles données. Ainsi, pour chaque classification d'un événement réalisée par le classificateur 9 on ajoute une donnée dans la base d'apprentissage. Chaque nouvelle donnée comprend des "caractéristiques" obtenues à partir des mesures fournies par le second jeu de capteurs 2 et la classification correspondante indiquée par le classificateur 9. Le terme "caractéristiques" signifie une ou plusieurs valeurs correspondant soit à une mesure d'un des capteurs du jeu de capteurs 2 soit à une valeur calculée, définie, à partir de tout ou partie des mesures fournies par le second jeu de capteur 2. Des exemples de caractéristiques pouvant être utilisées dans le cadre d'une reconnaissance de posture ou de mouvement d'une personne sont la durée de l'événement considéré, une inclinaison de la personne dans un plan donné, des valeurs "de lacet" du torse correspondant à une orientation moyenne par rapport au nord magnétique et à un écart type par rapport à cette orientation moyenne d'un signal d'un magnétomètre sur la durée de l'événement considéré, et l'énergie d'un signal d'accélération.
Cette base d'apprentissage permet ensuite d'entraîner un classificateur tel qu'un réseau de neurones par un procédé d'apprentissage supervisé et de déterminer des secondes règles optimales de classification de postures à appliquer aux signaux des seconds capteurs 2.
La phase d'apprentissage peut être arrêtée avec un nombre de données suffisant, lorsqu'on peut estimer que les secondes règles ont été établies avec une précision suffisante. Il est possible de le faire en les mettant à l'épreuve sur une portion de la base d'apprentissage, appelée base de validation et qui n'est pas utilisée pour construire les secondes règles.
On remarquera que les secondes règles de classification, étant implicites et ajustées de façon souple, sont adaptées à exprimer les particularités des mouvements du porteur et de son environnement.
Dans les périodes de reconnaissance qui suivent la période d'apprentissage, les premiers capteurs 1 sont retirés et le porteur garde seulement les seconds capteurs 2. Leurs signaux sont extraits et transmis au classificateur 9, qui applique les secondes règles de décision.
Un exemple de détermination d'une séquence d'événements pouvant être utilisée dans le cadre d'une reconnaissance de posture ou de mouvement d'une personne ainsi qu'un exemple de classification détaillée sont donnés ci-après. A partir des signaux issus des capteurs 2, on évalue une caractéristique appelée énergie d'activité dont un exemple est représenté en
Ainsi, l'enregistrement de la caractéristique "activité d'énergie" est découpé en portions ou segments temporels selon un ensemble de plusieurs critères. On accède ainsi à une alternance de zones hom*ogènes au sens des postures (appelées "O-segments") et de zones actives ("1-segments") qui représentent potentiellement des transferts posturaux. Chaque segment temporel désigne un événement.
On effectue ensuite une classification de chaque événement en utilisant les mesures des capteurs 1 et éventuellement de tout ou partie des capteurs 2. A titre indicatif, les classes de posture statique ou dynamique peuvent être au nombre de neuf : trois états stables (assis, debout et couché), et six états de transfert d'un à un autre des états stables précédents (debout vers assis, assis vers debout, debout vers couché, couché vers debout, assis vers couché et couché vers assis).
On décrira ci-après, comme exemple de classificateur apte à appliquer les secondes règles de décision, l'utilisation d'un réseau de neurones à la
La décision de classification dans une classe déterminée est donnée, aussi sous forme numérique, par le contenu d'un neurone de sortie D. Le réseau de neurones comprend au moins une couche cachée de neurones yj qui effectuent des combinaisons numériques des paramètres et les transmettent à la couche suivante du réseau, ici immédiatement au neurone de sortie D. Des poids numériques w sont appliqués aux valeurs transmises avant qu'elles n'atteignent les neurones de la couche cachée ou le neurone de sortie. Ici, les neurones de la couche cachée effectuent une activation en tangente hyperbolique et le neurone de sortie effectue une activation linéaire. La fonction de décision peut alors être écrite d'après la formule (1) 
Les réseaux de neurones permettent, sous réserve de bien choisir le nombre de neurones dans la couche cachée ou les couches cachées, d'approcher n'importe quelle fonction une fois que les bons poids ont été trouvés. L'élaboration des secondes règles de décision revient donc à ajuster les poids w de manière à faire coïncider, pour chaque exemple ou presque de la base d'apprentissage, le résultat de la décision par le réseau de neurones et le résultat, connu par les premières règles, de la classification. Dans la phase d'apprentissage, un ordinateur associé au système ajuste les poids de manière que le plus grand nombre d'événements de la base d'apprentissage soit bien évalué par les secondes règles de décision. On remarquera que cet ajustement des poids permet de modeler automatiquement les secondes règles de décision pour les perfectionner.
D'autres genres de classificateurs numériques sont connus dans l'art : séparateurs linéaires, à vaste marge, arbres de décision, SVM (machine à support de vecteurs) ; l'invention s'applique aussi à eux.
Les caractéristiques servant à régler le classificateur sont calculés directement sur les signaux acquis par les seconds capteurs 2 ou sur les signaux dérivés (angle d'inclinaison, angle de lacet, index d'activité, ...). Les caractéristiques calculées sont par exemple, pour chaque segment
- statistiques sur les signaux,
- durée,
- contenu fréquentiel (répartition des pics d'énergie au domaine fréquentiel),
- voire le segment lui-même (signature). D'autres types de capteurs peuvent être employés, comme des gyromètres ou des capteurs d'activité physiologique du porteur. Le premier jeu de capteurs peut être placé sur un point de mesure différent, comme le dos ou la ceinture, voire réparti en un petit nombre de points de mesure sur le porteur. Les états reconnus par le système peuvent être non seulement des postures statiques mais les transferts d'une posture à une autre.
Une autre application concrète de la présente invention consiste en la surveillance de patients épileptiques (
Lors d'une période d'apprentissage, on place sur ou à proximité du patient un premier jeu de capteurs. Le premier jeu de capteurs peut consister en un capteur d'activité électrique du cerveau 12 du patient et/ou en une caméra vidéo 13 qui enregistre son activité. Un capteur d'activité électrique du cerveau 12 consiste en un jeu d'électrodes implantées ou posées en surface du cerveau et reliées à un système d'enregistrement de l'activité électrique d'une partie du cerveau. Lors de cette phase d'apprentissage, on place également sur le patient un second jeu de capteurs 2 destinés à relever les mouvements d'une partie du corps du patient. Ce second jeu de capteurs peut être constitué d'accéléromètres, de magnétomètres et/ou de gyromètres 14 ou 15 portés sur la tête ou les poignets du patient. Ce second jeu est destiné à détecter des mouvements caractéristiques d'une crise tels que des tremblements, des rotations lentes de la tête ou du bras, etc ...
Les capteurs 1 et 2 sont reliés à un ordinateur tel que celui représenté en
Lors de cette phase d'apprentissage, on utilise la caméra vidéo 13 ou le capteur d'activité électrique 12 pour déterminer la présence ou non d'une crise. On cherche au final à identifier deux classes d'événements, à savoir les classes "crise" et "non-crise".
On construit la base d'apprentissage de la façon suivante. On identifie une suite d'événements à partir des mesures issues des capteurs de mouvement 14, 15 (second jeu de capteurs). Par événement, on entend une rotation de la tête, un tremblement du poignet, etc... A tout ou partie de ces événements identifiés, on associe une classification "crise" ou "non-crise" donnée, cette classification étant réalisée par le classificateur 9 à partir des signaux issus du premier jeu de capteurs 12 et/ou 13. Chaque association événement/classification constitue une nouvelle donnée qui est enregistrée dans la base d'apprentissage 8.
A l'issue de cette phase d'apprentissage, ou au fur et à mesure de cette dernière, on définit, à partir de la base d'apprentissage, des secondes règles de classification qui seront utilisées par le classificateur 9 lors de la phase d'évaluation (phase de surveillance). Le classificateur susceptible de mettre en oeuvre ces secondes règles de classification peut là aussi être un réseau de neurones.
Les premiers capteurs sont ensuite retirés et les crises suivantes seront diagnostiquées au moyen des seconds capteurs seuls, les secondes règles de décision permettant de distinguer l'activité normale de l'activité épileptique.
Contrairement aux dispositifs de surveillance de l'art antérieur qui utilisent une caméra vidéo en permanence ou un capteur d'activité électrique du cerveau, la présente invention permet de détecter des crises épileptiques au moyen de dispositifs peu intrusifs et qui peuvent être utilisés partout et non uniquement dans une pièce équipée d'une caméra vidéo. On pourra se référer aux articles suivants. Pour l'utilisation de capteurs d'activité électrique on pourra se référer à l'article de
Un autre mode de mise en oeuvre de l'invention est maintenant décrit au moyen de la
Ainsi qu'on l'a vu, si les capteurs les plus fréquents sont des capteurs de contact, fixés au dispositif ou à l'être vivant qui est l'objet du procédé, l'invention n'est pas exclusive de capteurs à distance placés devant lui, qui enregistrent son mouvement ou d'autres paramètres par l'intermédiaire d'une image, d'une distance ou d'autres paramètres.
Par ailleurs, l'ordinateur utilisé dans les exemples de mise en oeuvre de l'invention susmentionnés peut être remplacé par tout type de moyens de traitement des mesures fournis par tout ou partie des capteurs. On pourra par exemple utiliser un ordinateur lors de la phase d'apprentissage, puis uniquement un dispositif de traitement portatif placé sur le dispositif ou l'être vivant dont on souhaite suivre les positions ou les mouvements. De même, la liaison entre les capteurs et les moyens de traitement peut être filaire ou hertzienne.
