Un idiapeur remporte le prix de thèse EPFL EEDE

Intitulée « Stop Wasting My FLOPS: Improving the Efficiency of Deep Learning Models », la thèse a été réalisée sous la direction du professeur associé de François Fleuret, ancien responsable du groupe de recherche de machine learning de l'Idiap.

Dans sa thèse, Angelos Katharopoulos propose trois méthodes pour améliorer l'efficacité des réseaux de neurones d'apprentissage profond (deep learning), qui, bien qu'ils aient révolutionné le domaine de l'apprentissage automatique, sont très coûteux en termes de calcul et de mémoire. Ses recommandations en matière d'efficacité se concentrent en particulier sur un algorithme d'échantillonnage par importance pour aider à améliorer l'inefficacité de l'échantillonnage de l'entraînement des réseaux neuronaux ; un modèle pour le traitement de grandes images d'entrée avec des exigences de calcul et de mémoire considérablement réduites ; et des approximations efficaces pour le mécanisme d'attention utilisé dans les transformateurs qui fournissent un meilleur compromis entre la performance et le calcul par rapport aux architectures de transformateur originales.

Le prix annuel EPFL de thèse de l'EEDE récompense un travail de thèse de doctorat « exceptionnel et remarquable » dans le domaine du génie électrique, réalisé par un étudiant de l'EEDE.

Plus d'informations

- Thèse d'Angelos Katharopoulos

- Groupe de recherche Machine learning de l'Idiap

Ecrit en collaboration avec Celia Luterbacher (EPFL).