Person Recognition in debate and broadcast news

L'appel a projets REPERE est une campagne d'evaluation des systemes de reconnaissance des personnes presentes dans des emissions audiovisuelles en francais. Les systemes concourants devront s'appuyer sur les differentes sources d'information presentes dans les emissions pour determiner qui apparait a l'image, qui parle, quels sont les noms et prenoms affiches a l'ecran ou prononces et a qui ils correspondent. Ces objectifs necessitent des competences variees. La reconnaissance des locuteurs et des visages requiert une experience solide en traitement automatique de l'audio, de la video et en fusion de donnees. La maitrise de la reconnaissance de parole, de la reconnaissance de caracteres et du traitement de la langue naturelle permet d'extraire et d'associer

correctement les noms de ces personnes.

Les laboratoires impliques dans ce projet de recherche sont au nombre de deux : le Laboratoire Informatique de l'Universite du Maine (LIUM) qui dirigera le projet, et l'institut de recherche suisse IDIAP. Les competences des partenaires permettent de couvrir tous les themes du defi.

L'equipe Parole du LIUM a developpe depuis 2004 un systeme de segmentation et de regroupement en locuteurs (SRL) performant qui a ete classe 2e lors de la campagne d'evaluation ESTER1 en 2005 et 1er lors de la campagne d'evaluation ESTER 22 en 2008. Le LIUM travaille egalement depuis 2006 sur l'identification des locuteurs a partir de la transcription de la parole et des noms prononces dans ces enregistrements. Ce sujet de recherche original a ete soutenu financierement par le projet regional Miles et il a aussi fait l'objet de travaux dans le cadre du projet ANR EPAC. Il a donne lieu a 7 publications nationales et internationales. Le systeme d'identification s'appuie sur le systeme de reconnaissance de la parole a grand vocabulaire du LIUM developpe depuis 2004. Ce dernier a fini respectivement 2e et 3e lors des evaluations ESTER en 2005 et 2008.

De son cote, l'IDIAP a developpe depuis de nombreuses annees des competences en traitement automatique de l'audio et de la video. Dans le cadre du projet, l'IDIAP s'appuiera principalement sur ses travaux en detection, suivi et reconnaissance des personnes et en reconnaissance de caracteres. L'IDIAP a participe regulierement aux evaluations NIST en reconnaissance de locuteurs. Il a participe et conduit la tache de suivi et de reconnaissance de l'orientation de la tete dans l'evaluation internationale CLEAR (Classification of Events, Activities, and Relationships) en 2006 et 2007. Il conduit actuellement une campagne d'evaluation de reconnaissance de visages et de locuteurs a ICPR 2010 (International Conference on Pattern Recognition).

Application Area - Exploitation of rich multimedia archives
Idiap Research Institute
Agence Nationale de la Recherche
N/A
Nov 01, 2011
Sep 30, 2014