Player is loading...
Eyeware | solutions de suivi du regard
Jean-Marc Odobez, Idiap
Wednesday, Sept. 8, 2021 · 9:27 a.m. · 16m 47s
Embed
Transcriptions
Note: this content has been automatically generated.
00:00:00
je désire pour moi de pouvoir vous présenter la société highway donc effectivement je suis un des cofondateurs
00:00:05
société qui me tient à coeur parce que ça correspond à des travaux de recherche que j'
00:00:09
ai commencé à déjà moment comme je le pouvoir de le présenter dans 7 ou aujourd'hui
00:00:16
présentation et comme l'a dit je vais je suis un chercheur de longue date donc aujourd'hui emphatique
00:00:20
trentième anniversaire de lydia ce qui concerne ce exactement vingtième anniversaire
00:00:24
j'ai commencé le premier septembre 2001 média et depuis
00:00:28
via les technologies ont grandement évolué
00:00:33
allard a u r se positionne comme étant une société qui
00:00:38
propose des solutions robuste et abordable de suivi du regard et en bref
00:00:43
7 unes spin off de lydia qui a été fondée en 2016
00:00:48
par un étudiant kenneth moimême ainsi que le cervin mont rose bastian près la sécurité
00:00:54
la dans les débuts de l'entreprise et qui en ont bien aidé à son développement
00:00:58
un k. bénéficié en 2019 d'un investissement de près de deux
00:01:03
millions de francs suisses localisé à martigny avec une petite équipe aussi de développement roumanie akjoujt
00:01:09
et puis là encore actuellement dixhuit personnes au printemps
00:01:15
alors guider l'adhésion de verser que dans nos interactions avec le monde et avec les autres
00:01:21
le regard joue un rôle important et prêtant particulièrement attention aux regards des autres
00:01:26
car celuici nous permet de nous indiquer quelle est la disponibilité deux personne s que
00:01:32
s à s'intéresser à nouveau ce qu'il cherche à s'adresser à
00:01:36
nous a permis aussi comprend les activités de cette personne que ce qu'elle fait
00:01:40
et que cette information est absolument importante lorsqu'il s'agit
00:01:45
de processus de communication de conversation ou bien de collaboration entre différentes personnes
00:01:51
actuellement surtout de plus en plus dans des situations où ils sont observés par des capteurs désintermédiation
00:01:57
avec des dispositifs à l'intérieur d'une voiture ou bien au travers de la coque iphone vous
00:02:02
ou un bourreau éventuellement et puis nous intéressons aussi avec les
00:02:07
autres et la plupart de ces dispositifs ne possède pas cette
00:02:11
analyse du regard et de l'attention de monsieur qui est un handicap et limite leur
00:02:16
perception du monde des personnes qu'elles ont en face d'elle et puis
00:02:23
le budget versé justement de pouvoir proposer des solutions qui permettent de lever
00:02:28
handicap et de pouvoir améliorer nos connexions avec ces
00:02:31
dispositifs et avec les autres au travers de ces dispositifs
00:02:36
canton par eux de regarder quoi parle ton à cause
00:02:41
que vous pouvez voir ici qu'elle n'est donc le regard
00:02:44
c'est principalement un point de vue géométrique c'est à dire c'
00:02:47
est la direction du regard cesser la ligne virtuel qui réduirait l'oeil
00:02:51
à eux la cible que l'on regarde un moment donné donc c'est un élément géométrique et cette
00:02:56
information a priori on peut extraire uniquement à partir de la tête de la personne et de ses yeux
00:03:02
mais on fait souvent si la lune simulation entre le regard et l'attention visuelle ou la danse
00:03:07
suède dans ce cas c'est ce qu'on regarde et dans ce cas là c'est l'interprétation de
00:03:12
point tridimensionnelle en terme de ce qu'on regarde les transports regardent personne ce qu'on regarde le tableau un objet
00:03:18
et donc ceci sous nécessite souvent la connaissance de la scène et donc et
00:03:22
souvent lié éventuellement l'application qui est visé par l'utilisation du regard
00:03:29
donc tout vient à verdun comme je l'ai indiqué cesser des choses qui date du un moment et
00:03:34
vivant dans les années 2000 nous intéressons gros à l'analyse des interactions multimodale dans des réunions comme l'
00:03:40
un comme l'a souligné b l dans sa présentation et en particulier de des thèmes d'intérêt
00:03:46
ces recherches concernant les processus de communication quelles sont les prises de vues les mécanismes de prise de parole
00:03:52
comment s'adresse par des personnes qu'elle la dynamique de groupe et également les interactions sociales 7
00:03:59
leader yatil un médiateur voire même les personnes
00:04:03
dominance et dans ce contexte en s'intéressant notamment
00:04:07
beaucoup au rôle du regard d'autres éléments verbaux mais le regard d'un rôle crucial
00:04:14
néanmoins à l'époque les technologies qui permettent de capter le regard était
00:04:18
principalement dirigée vers le l'analyse du regard sur un écran d'ordinateur nécessite
00:04:23
aussi un matériel spécialisé délais d'infrarouges
00:04:26
des capteurs infrarouges qui permettent d'extraire
00:04:30
des images haute résolution des yeux dans le but de détecter les réflexions de ces led
00:04:35
sur l'oeil et en nous examinant l'apposition de scellés par
00:04:39
rapport à au centre la pupille eh bien c'est ça qui permet
00:04:43
mais que la position du regard sur un écran évidemment cette
00:04:46
technologie ne permettait pas de s'appliquer en cas de
00:04:50
l'analyse des réunions et en général de toutes les situations dans lesquelles on a des personnes qui sont analysées avec capteur déportés
00:04:57
donc nous sommes intéressés à ce sujet
00:05:01
et compte tenu des images de l'époque la techno
00:05:05
analyser le regard c'est pas suffisant donc l'idée c'est
00:05:07
de commencer à regarder à s'intéresser à l'orientation de la tête
00:05:11
et à partir de cette information essayez de mesurer quand même
00:05:15
l'attention pour pouvoir s'intéresser aux applications qu
00:05:20
ce que j'ai présenté dans le transparent précédent tout en sachant que l'
00:05:23
augmentation de la tête il manque des informations bien sûr le regard et que
00:05:28
lors des modèles qui permet de relier l'augmentation de la tête de corps et puis la direction du réel
00:05:33
nous avons mis un certains nombre de technologies au départ qui permettaient de suivre donc
00:05:37
les visages d'estimer l'orientation de la tête uniquement à partir de cette caméra
00:05:41
tenir une précision de 8 à des degrés et ensuite de mettre
00:05:45
en correspondance cette direction cette orientation de la tête et puis
00:05:50
cible le regard des différentes personnes la table ou bien éventuellement
00:05:54
des transparents qui serait projeté pas sur la gauche dans cet écran
00:05:58
alors évidemment il ya beaucoup d'ambiguité compte tenu
00:06:03
de la précision d'estimation de l'orientation de la tête
00:06:05
information le yoga et pour améliorer les technologies et
00:06:09
de manière générale pour s'intéresser à la modélisation justement
00:06:12
l'interaction entre les personnes on a développé des modèles de conversations qui modélise
00:06:16
les prises de parole le regard les activités sont en train de présenter des choses
00:06:21
qui permette effectivement d'améliorer les performances en essayant de déterminer actes
00:06:27
un instant donné quelles sont les cibles les plus probables en fonction du contexte
00:06:31
donc par exemple si c'est ce qui illustre ici dans un passé qui carrément pas par exemple ici le carré à gauche indique
00:06:37
pour la personne qui tout en haut à gauche dans l'image eux en fonction de la fondation de
00:06:41
la tête quelles sont les cibles quel regard de manière pour probable avec cette orientation de la tête
00:06:47
et comme on peut le voir c'est ca évolue en fonction de
00:06:51
ce qui se passe dans la saisine personne parlant à plus de chance regardez
00:06:54
cette personne donc on a plutôt l'associer les orientations de cette personne ou
00:06:58
bien si quelque chose qui est présenté on aura tendance à regarder ces transparent
00:07:04
alors évidemment ça permet d'améliorer les résultats néanmoins la formation brute ça reste un fort le
00:07:09
là l'information orientation de la paix et dont on avait vu que toutes ces éléments de
00:07:15
l'attention visuelle revenait de manière récurrent dans les projets c'est à des demandes dedans
00:07:21
l'objectif de s'intéresser à l'attention et on était vraiment limité en
00:07:25
précision en tant qu'elle était arrivée l'objectif c'est vraiment d'aller
00:07:30
regardez l'oeil et de s'intéresser à la direction du regard en 3 dimensions
00:07:34
et donc au cours de l'adresse de kenneth on avait un certain nombre d'ivan d'innovation
00:07:39
hier c'était d'exploiter la venue de nouveaux capteurs qui permettent non
00:07:44
seulement les images couleurs de la scène et éventuellement les cartes de profondeur
00:07:50
et ce qui nous permettait notamment grâce à cette information d'avoir une meilleure estimation de l'augmentation de la tête
00:07:56
et de pouvoir ensuite grâce en commun des informations d'extraire des informations des yeux
00:08:01
et donc ça c'était une deuxième innovation c'est de proposer un système qui permet de mieux appréhender
00:08:06
l'orientation de la tête pour estimer le regardant espace 3 d. quelque
00:08:10
chose qui avait porté aux nues n'était pas faisable dans la littérature
00:08:14
en résumé les le but était estimé à
00:08:17
modèles personnalisés de la forme de la tête ensuite
00:08:21
lors de l'application de pouvoir faire un suivi en mettant en correspondance modèle et nous donner
00:08:25
une précision de l'ordre de deux degrés à 3 degrés sur la personne et grâce à
00:08:31
ces informations combinée de profondeur de faire en sorte qu'on est capable dans la scène comme
00:08:37
après être passé exactement en face du visage ce qui vous pouvez voir à droite ici et donc un
00:08:43
par la suite de pouvoir faire un acre au
00:08:47
camping des yeux et à partir de ce croquis messieurs
00:08:51
et bien estimer la direction du regard pour cette situation frontale
00:08:55
en développement des modèles d'apparence et en combinant ces deux informations
00:08:59
peut être en mesure justement d'estimer le regard et la troisième innovation
00:09:03
c'était par rapport aux techniques habituelle qui consiste à extraire des éléments
00:09:07
géométriques comme la pupille de l'essai d'estimer le centre de l'homme
00:09:10
et à partir de la estimer l'information du regard c'est admettre
00:09:15
en oeuvre des approches de machine learning qui permettait directement de faire
00:09:19
de prédire à partir de l'image de la direction du regard équité peu robuste
00:09:24
notamment fait que la résolution des unes permettait pas d'extraire ces éléments précis
00:09:29
donc la mise en oeuvre de ces innovations tout de suite permettait d'améliorer
00:09:34
notablement les performances d'envisager un plus grand nombre d'applications de ces approches
00:09:41
et donc que fort de ses innovations kenneth a souhaité poursuivre
00:09:44
et créer des entreprises vu l'intérêt que suscite chez eux
00:09:48
c'est cette information au sein des clients potentiels donc l'idée
00:09:52
première question s'est positionné séquelles sur quels marchés aborder de manière préférentiels
00:09:58
pense que ça peut le regard peut être utilisé pour regarder qui la démographie des personnes regardant de publicité
00:10:04
à eux d'analyser le comportement des consommateurs dans des
00:10:07
magasins et donc de pouvoir éventuellement s'intéresser au placement de
00:10:11
produit éventuellement suivant l'attention des personnes et bien ça
00:10:15
autorise un certain nombre d'applications dans beaucoup de domaines
00:10:18
et le domaine tester choisies de manière un peu opportune et
00:10:21
par intérêt à l'époque c'était celui le domaine médical
00:10:26
et plus précisément de développer une interface
00:10:30
est assise qui permettait aux personnes en parapluie sic
00:10:33
le pouvoir communiquer et de contrôler un ordinateur par l'
00:10:36
intermédiaire simplement du mouvement tête ou de mouvements du visage
00:10:40
donc cette technologie et développer le principe certaines caméras 3 d. observe la personne
00:10:45
grâce à des moments la tête de modifier le curseur éventuellement fronçant les sourcils
00:10:49
faire un clic sur quelque chose et ça permet d'interagir avec toutes les applications contrôle
00:10:54
sur l'ordinateur sans avoir à développer des idées des applications spécifiques pour eux pour ces personnes
00:11:02
donc c'est quelque chose qu'assez loin dans lesquels on a bénéficié du soutien
00:11:06
d'entreprises de plus ou moins locale comme sous la législation monsieur suisse
00:11:11
par petits groupes et donc c'est au travers de cette application sa générée
00:11:18
le manque d'intérêt et qui a donné certains visibilité
00:11:21
au travers de la participation à de nombreux challenges market
00:11:24
c. c. mentionnait déjà turquie cassette suit donc le
00:11:29
on a participé et parfois avec succès et puis de
00:11:34
rencontre un écosystème qui a déjà été bien mis en avant
00:11:37
lle ici de manière locale qui permettait de bénéficier de conseils en pour développer
00:11:42
mais développer le modèle business d'avoir un plus grand
00:11:47
mais la perception du marché et puis c'est cette ces
00:11:51
collaborations aussi permis d'avoir un peu de financement et de
00:11:54
développer ce produit et d'aller à la rencontre dès les
00:11:57
premiers clients pour bien comprendre justement quels étaient leurs besoins comment avec
00:12:03
imitation de la technologie on pouvait quand même fournir des solutions avec une valeur ajoutée
00:12:09
néanmoins pour grandir c'était nécessaire pour aller vers
00:12:13
soeurs et se concentrer uniquement sur ce domaine de la 6 des technologies d'assistance
00:12:20
n'était pas suffisant et il avait un besoin en donner deux euros recentrer en fait d'
00:12:25
élargir la vision de l'u. r. pour se recentrer sur son corps business lesquels étaient un tracking
00:12:31
pour justement permettre de conserver des opportunités dans tout les domaines d'application
00:12:37
donc cette stratégie disant qu'il a payé jusqu'en 2019 lieu un ensemble d'
00:12:42
investissement à la fois dans l'allemagne et de suisse et ca permet notablement d'accélérer la technologie
00:12:48
le développement des composants des produits eux d'avoir une politique un peu plus agressive en
00:12:52
termes de brevetage et puis aussi de développer des ressources en termes de gestion des données
00:12:58
et de contrôle du benchmarking ce qui permet bien de ou de conserver
00:13:05
comment dire toujours avoir en tête les progrès que la technologie de produire
00:13:11
donc grâce à cet investissement eux effectivement ouvertes se
00:13:14
positionner comme proposant des solutions robuste et abordables
00:13:20
lancement d'un software development qui est des cas de passes consentent vraiment la technologie ouvert
00:13:26
et ensuite à aller le propre de l'algorithme de propriétaires de computer arts visuels
00:13:31
s'appuie sur les dernières technologies en termes d'intelligence artificielle les
00:13:34
réseaux de neurones et l'un des intéressés justement fabriqués sur le
00:13:38
pouvoir appliquer un peu sur les différents capteurs 3 dés qu'on
00:13:42
retrouve dans des produits de masse comme dans nos téléphones aux iphone
00:13:46
mais aussi les capteurs 3 d. qui sont développés pour des industries spécifiques comme par exemple dans le domaine de l'automobile
00:13:52
et donc ça permet justement d'exploiter cette technologie dans un grand nombre de cas d'application
00:13:59
donc laisse des cahiers verts en fait un peu d
00:14:04
de l'entreprise et la hausse constante la technologie la recherche et développement
00:14:10
et à partir de seuil vers eux les applications qui sont développés pour des domaines plus spécifiques
00:14:16
eux qui permettent à la fois de valoriser ce syndicat mais aussi de montrer ce qui est
00:14:21
il est possible de faire en utilisant cette technique d'analyse du regard
00:14:26
donc c'est le cas dans le domaine de l'automobile ou arrivait a
00:14:30
passé de nombreux contacts avec des producteurs des fabricants capteurs placés dans cette industrie
00:14:36
développer des pouvoirs concept et ou bien les applications ici plutôt qui permet à des fins de
00:14:41
prototypage rapide d'analyse du regard dans les différents
00:14:44
domaines que j'ai pu présenter par eux précédemment
00:14:48
actuellement néanmoins des focus les versets de dossiers de s'adresser aux
00:14:54
marché des produits de grande consommation que sont les acteurs les ordinateurs et dans ce contexte un des
00:15:00
produits qui a été développé donc ces 7 bin c'est une obligation qui permet de transformer votre iphone
00:15:06
en tant qu'acteur de l'attention de l'estimation de l'orientation de la tête
00:15:11
permet justement de transformer ½ milliard de produits
00:15:17
comme ça donc en capteur d'attention
00:15:19
contrairement à des compétiteurs qui ont besoin de matériel spécifique
00:15:24
eux qui n'est pas automatiquement disponibles sur ces conseils de ses produits de grande consommation
00:15:29
donc bin et donc permet de suivre
00:15:33
l'a été exploitée dans le domaine notamment
00:15:37
on peut avoir un meilleur rendement immersif lorsqu'on joue lent
00:15:40
lorsqu'on tourne la tête automatiquement la scène se déplace et
00:15:44
puis aussi sur certaines plateformes l'analyse du regard et
00:15:48
proposée permet d'exprimer et ça permet à des personnes qui regardent
00:15:52
jouer de mieux comprendre ce qui se passe et la stratégie et
00:15:55
donc c'est qu'on conçoit et quelque chose que vous pouvez télécharger
00:15:59
et qui donc a été présenté à cette année aussi estce avec un écho non négligeable
00:16:05
au niveau mondial justement et donc voilà c'est
00:16:09
des choses qui se passe simplement et donc actuellement i.
00:16:13
des discussions pour pouvoir éventuellement étant de savoir si les possibilités d'appli philippines donc dans d'autres domaines
00:16:20
donc voilà donc ce termine ici donc a ouvert sa sagesse son
00:16:25
intérêt c'est justement cette pensée justement qu'on a mon relativement proche
00:16:31
ces technologies de l'analyse du regard quand on l'important est que vers
Conference Program
Mot de bienvenue
François Foglia, Deputy Director de l’institut de recherche IDIAP
Sept. 8, 2021 · 7:03 a.m.
Présentation des outils de collaborations avec l'industrie et exemples par Joël Dumoulin, responsable tech transfert
Joël Dumoulin, Idiap - responsable tech transfert
Sept. 8, 2021 · 7:10 a.m.
Klewel | webcasting intelligent
Maël Guillemot, Klewel
Sept. 8, 2021 · 7:28 a.m.
Recapp | reconnaissance vocale sur mesure
David Imseng, Recapp IT
Sept. 8, 2021 · 7:44 a.m.
Eyeware | solutions de suivi du regard
Jean-Marc Odobez, Idiap
Sept. 8, 2021 · 9:27 a.m.
Vima | analyse de comportement
Nick Mathot, Vima
Sept. 8, 2021 · 9:45 a.m.
101 views
Voyage au cœur de l'innovation valaisanne - Mimotec
Hubert Lorenz, fondateur de Mimotec
Sept. 8, 2021 · 10:24 a.m.
Voyage au cœur de l'innovation valaisanne - Monica Ballus, aventurière et entrepreneuse
Monica Ballus, aventurière et entrepreneuse
Sept. 8, 2021 · 10:46 a.m.
479 views
Table-ronde, modérée par par Alexandre Luyet, responsable romand de l'Académie Suisse des sciences techniques
Hubert Lorenz, Monica Ballus et Jean-Marc Odobez
Sept. 8, 2021 · 11:14 a.m.
Conclusion
Joël Dumoulin, Idiap - responsable tech transfert
Sept. 8, 2021 · 11:41 a.m.
Recommended talks
Presentation of the «Natural Language Processing» research group
Sept. 1, 2016 · 2:25 p.m.
1989 views
Some Challenges in Biometrics: Facial Sketch, Altered Fingerprints & SMT
Anil K. Jain, Michigan State University
Sept. 3, 2013 · 2:02 p.m.
140 views