STAGE - Assistant Data Scientist - Mesures et réduction des biais des LLMs H/F

Crédit Agricole S.A.

Au sein de la Direction de la Transformation Technologique Data & IA, la Direction Data & IA Groupe a pour ambition de maximiser la contribution de la Data et de l’Intelligence Artificielle au fonctionnement du Crédit Agricole. Elle s’appuie notamment pour cela sur le DataLab Groupe pôle de référence en conception interne de solutions Data & IA innovantes et industrielles en partenariat avec les entités du Groupe.

Le DataLab Groupe dispose de toutes les compétences Data coopérant au sein de Squads pluridisciplinaires selon une méthode interne d’inspiration Agile :

• Data & AI Engineering visant à préparer les données, définir les architectures, infrastructures et « packager » les solutions qui y seront déployées pour intégration dans le SI,
• Data Science Analytique et Sémantique pour concevoir des algorithmes d’Intelligence Artificielle basés sur l’open source exploitant respectivement des données structurées (tabulaires) et des données non structurée (texte, image, voix, vidéos) afin de répondre aux besoins exprimés par les métiers des entités du Groupe,
• Gestion de projets qui avec l’ensemble des partenaires et équipes techniques du DataLab Groupe, permet d'identifier et étudier les opportunités, cadrer les projets et en coordonner la réalisation.

L'objectif de ce stage est de développer une méthodologie robuste d'évaluation et de réduction des biais discriminatoires dans les LLM utilisés en contexte bancaire, ainsi que les outils permettant de l’implémenter.

Vous aurez pour missions principales de :

• Diagnostiquer les biais présents dans les modèles : Concevoir un framework d'évaluation adapté aux cas d'usage bancaires, identifier et quantifier les biais dans une sélection de modèles propriétaires et open source, développer des jeux de tests pour détecter les discriminations liées aux critères protégés par la loi 
• Explorer et évaluer les stratégies de mitigation : Analyser les techniques de débiaisage existantes (fine-tuning, ingénierie de prompts, post-traitement), évaluer leur applicabilité dans notre contexte bancaire en tenant compte des contraintes opérationnel opérationnelles, développer des approches innovantes adaptées à nos besoins
• Traduire les travaux de recherche en recommandations opérationnelles : Proposer un protocole d'audit intégrable dans nos processus de validation, définir des seuils d'acceptabilité pour le déploiement en production, rédiger des guidelines opérationnelles pour l'usage responsable des LLM par nos collaborateurs.

Les étapes clés du stage sont les suivantes :

• Veille bibliographique sur la problématique 
• Sélection et implémentation des approches les plus adaptées à la problématique 
• Réalisation d’une étude comparative sur des données internes et externes 
• Intégration des développements dans les produits du DataLab Groupe 
• Publication scientifique si les travaux aboutissent à de nouvelles approches plus performantes que l’état de l’art.