L’essor des grands modèles de langage (LLMs), dont l’échelle sans précédent nécessite un apprentissage et une inférence distribués, a accentué le besoin de systèmes distribués efficaces en communication et en calcul. En particulier, l’apprentissage et l’inférence dans les LLM reposent sur des transformations non linéaires, notamment les fonctions d’activation et les mécanismes d’attention. Par ailleurs, de nombreuses tâches de calcul telles que le classement des sources, le compressive sensing à travers les réseaux, la modélisation du délai des liaisons ou de la probabilité de panne, ainsi que le précodage pour une transmission efficace des données, ne sont que quelques exemples parmi les nombreuses fonctions non linéaires d’intérêt dans les réseaux de communication. Pour les exécuter, des techniques de calcul parallèle ou basées sur la réplication (par exemple MapReduce), ainsi que l’ordonnancement ou le pipelining, ont été exploitées. Cependant, des contraintes physiques telles que la bande passante, la puissance et la complexité du routage limitent leur passage à l’échelle. Concevoir des algorithmes de faible complexité constitue un défi majeur, car les principes de codage existants ne peuvent pas être directement étendus aux scénarios de calcul non linéaire. Nous envisageons un cadre distribué pour le calcul de fonctions de données sur les réseaux de communication. Notre objectif est de créer un cadre unifié pour le calcul distribué de fonctions non linéaires dans les réseaux. En allant au-delà de l’état actuel de la recherche, nous proposons une approche radicalement nouvelle reposant sur un équilibre fin entre les données, la fonction et le réseau. Nous ciblons le domaine émergent de la compression fonctionnelle distribuée sur les réseaux, qui vise à trouver la représentation la plus concise d’une fonction en termes de nombre de bits échangés sur le réseau.
Alors que le calcul non linéaire a été largement étudié dans des contextes tels que les réseaux de neurones, la théorie de l’approximation et l’optimisation non linéaire, une caractérisation systématique des limites fondamentales du calcul distribué pour les fonctions non linéaires reste encore largement inexplorée. Bien que des cadres existants, tels que la factorisation matricielle, permettent de calculer des fonctions non linéairement séparables, ils nécessitent généralement des ressources importantes. Dans ce projet, le chercheur postdoctoral étudiera en profondeur les problèmes de calcul distribué sur les réseaux de communication et explorera les limites théoriques des communications pour le calcul. Plus précisément, l’objectif est de concevoir des techniques de codage à faible complexité pour le calcul sur les réseaux de communication. Ce domaine de recherche combine des outils issus de la théorie de l’information et de la théorie des graphes, avec des applications dans le edge computing, l’intelligence artificielle, LLMs, la communication orientée tâche et l’apprentissage, les limites fondamentales du calcul, l’apprentissage décentralisé et fédéré, les systèmes de communication intelligents, ainsi que la perception.
Le poste s’inscrit dans le cadre d’un projet ERC Starting Grant financé par le Conseil européen de la recherche, avec un accent sur le calcul de fonctions non linéaires sur les réseaux de communication (SENSIBILITÉ). Ce poste s’adresse à des chercheurs talentueux, motivés pour repousser les frontières de la connaissance dans le domaine des réseaux sans fil avancés, ainsi que des LLMs et des modèles fondamentaux qui deviennent des éléments clés des systèmes intelligents de nouvelle génération.
Prérequis
- Niveau académique/diplôme : Doctorat en génie électrique, informatique ou mathématiques
- Domaine/spécialité : Mathématiques, génie électrique, informatique, théorie de l’information
- Autres connaissances/spécialités : Solide formation mathématique en analyse et en algèbre linéaire
- Autres éléments importants : Excellentes compétences académiques et algorithmiques, motivation et goût pour la résolution de problèmes, volonté de construire des bases théoriques solides, motivation à encadrer des doctorants.
Dossier de candidature
Les candidatures doivent être accompagnées de :
- Curriculum Vitae détaillé,
- Liste des publications en précisant les trois publications les plus importantes,
- Document de deux pages présentant les perspectives de recherches et d’enseignement du candidat,
- Noms et adresses de trois références.
Le tout est à adresser à secretariat@eurecom.fr sous la référence CS/DM/CompLearn/032026
Date d'embauche : Poste à pourvoir de suite
Type de contrat de travail : CDD postdoctoral de droit privé
