Le Centre national de la recherche scientifique est un organisme public de recherche pluridisciplinaire placé sous la tutelle du ministère de l’Enseignement supérieure et de la Recherche. Créé en 1939 et dirigé par des scientifiques, il a pour mission de faire progresser la connaissance et être utile à la société dans le respect des règles d’éthique, de déontologie et d’intégrité scientifique.

Missions :
Le cadre général du travail est celui de l’évaluation des grands modèles génératifs (giga modèles de langue ou LLM) multilingues, c'est-à-dire des modèles génératifs qui prennent en charge plus d'une langue. La question principale qui se pose est celle de la mesure du niveau de "multilinguisme" d'un modèle - pour le formuler de manière simple "combien (et quelles) de langues le modèle est-il capable de prendre en charge (et avec quel niveau de qualité)"? Ce travail de réflexion méthodologique s'inscrit dans le cadre du projet européen LLM4EU qui vise à développer des modèles et des cadres d'évaluation pour toutes les langues officielles de l'UE.

Contexte scientifique

Les outils de traitement des langues s'appuyant sur des grands modèles de langue dits génératifs ont en quelques années atteint des niveaux très élevés de performance pour des tâches complexes. Ils sont aujourd'hui largement présents dans nos environnements numériques de travail pour accéder à l'information, l'analyser, la reformuler, ou encore pour générer des contenus originaux. Avec la large diffusion de ces technologies, l'analyse des performances réelles, des risques et des limitations de ces modèles se pose de manière accrue. Lorsque ces modèles sont multilingues, une dimension de l'évaluation doit concerner le niveau de multilinguisme d'un modèle.

Cette évaluation est difficile, faute de pouvoir (en général) accéder directement à partir de l'analyse des données et protocoles d'apprentissage et doit donc être effectuée en "boîte noire" à partir de requêtes soumises à un modèle entraîné. Il existe de multiples tâches et parangons monolingues, surtout pour l'anglais, mais la qualité et variété de ces parangons est très inégalement répartie entre langues. Une seconde difficulté est liée à la nécessité de comparer les performances entre langues: or dans cette comparaison, des facteurs multiples peuvent entrer en ligne de compte, certains liés au modèle, mais d'autres qui sont intrinsèques aux langues considérées.

Dans un premier temps, le travail visera à construire des mesures robustes applicables à des modèles qui rendent accessibles les représentations et les distributions de probabilité qui sont manipulées: pour ces modèles nous étudierons la validité de plusieurs métriques inspirées de la théorie de l'information (compression, perplexité), et à les déployer sur une infrastructure ouverte. Dans un second temps, le travail visera à étudier des méthodes pour minimiser les différences entre langues et rendre les métriques plus directement comparables -- par exemple en utilisant des transcodages "universels" plus équitables entre langues (par translittération, phonétisation, etc.). En parallèle, on s'intéressera à généraliser les métriques proposées pour les modèles ouverts à des modèles fermés.

Activités :
La personne recrutée travaillera en collaboration avec les membres du laboratoire travaillant sur le trait
Voir plus sur le site emploi.cnrs.fr...

Le Centre national de la recherche scientifique est l’une des plus importantes institutions publiques au monde : 34 000 femmes et hommes (plus de 1 000 laboratoires et 200 métiers), en partenariat avec les universités et les grandes écoles, y font progresser les connaissances en explorant le vivant, la matière, l’Univers et le fonctionnement des sociétés humaines. Depuis plus de 80 ans, y sont développées des recherches pluri et interdisciplinaires sur tout le territoire national, en Europe et à l’international. Le lien étroit que le CNRS tisse entre ses missions de recherche et le transfert vers la société fait de lui un acteur clé de l’innovation en France et dans le monde. Le partenariat qui le lie avec les entreprises est le socle de sa politique de valorisation et les start-ups issues de ses laboratoires (près de 100 chaque année) témoignent du potentiel économique de ses travaux de recherche.

Competences :
Nous recherchons une personne hautement motivée:
- titulaire d'un diplôme de master ou école d'ingénieur récent en intelligence artificielle avec des compétences en apprentissage profond, traitement automatique des langues, recherche d'information ou traduction automatique.
- maitrisant Python et des plateformes d'apprentissage profond et des principaux frameworks pour manipuler des modèles de langue et les algorithmes de génération de textes;
- maîtrisant français et anglais scientifique (écrit et oral), un intérêt général pour les langues sera un plus.
Contraintes et risques :
Travail sur écran, sans autre risque particulier.