IA de Confiance : Évaluer, Auditer et Valider vos Modèles

JOUR 1 - MODÈLES PRÉDICTIFS CLASSIQUES, BIAIS, DÉRIVE (DRIFT) ET CONFORMITÉ (EU AI ACT)

PARTIE 1 - Introduction au processus de construction d'un modèle d'IA

Cette première partie introduit les concepts fondamentaux du Machine Learning afin de donner aux participants une compréhension claire des différents paradigmes d'apprentissage et du processus permettant de construire un modèle

PARTIE 2 - Risques, Éthique & Pilotage des Modèles Prédictifs

PARTIE 3 - Cadre de Qualité, Réglementation & Biais

• Définition de la qualité en IA :
  • Alignement business,
  • Fiabilité, 
  • Transparence
  • Retour sur investissement (ROI).
• Cadre réglementaire (EU AI Act & RGPD) :
  • Niveaux de risque,
  • Obligations légales
  • Responsabilité des décisionnaires.
• Équité et biais (Fairness) :
  • Origine des biais (données, algorithmes)
  • Impacts juridiques/réputationnels.

PARTIE 4 - Arbitrages clés 

• Performance vs Explicabilité,
• Précision vs Coût d'erreur.

TRAVAUX PRATIQUES - Atelier d'audit d'équité et cartographie des risques

• Analyse d'un cas d'usage réel (ex. scoring d'octroi de crédit ou recrutement).

• Manipulation d'un tableau de bord d'audit d'équité (type InterpretML ou Google What-If Tool).

• Établissement d'une grille de tolérance aux biais pour la prise de décision

PARTIE 5 - Explicabilité, Gouvernance & Obsolescence

• Explicabilité (XAI) :
  • Comment auditer les décisions d'un modèle pour les métiers,
  • Les clients et les régulateurs.
• Dérive des modèles (Drift) :
  • Pourquoi un modèle performant se dégrade en production
  • Comment anticiper les pertes financières.
• Indicateurs clés de performance (KPI) :
  • Traduire les métriques ML en métriques décisionnelles.

TRAVAUX PRATIQUES - Pilotage de la dérive sur tableau de bord décisionnel

• Exploration d'un dashboard de monitoring en direct (type Evidently AI).

• Analyse de cas réels d'illusions de performance et de dérive de données.

• Simulation de crise : définir le seuil à partir duquel un modèle doit être coupé ou réentraîné.

JOUR 2 - IA GÉNÉRATIVE (LLM, RAG), AUDIT DES PRESTATAIRES ET ARBITRAGE FINAL

PARTIE 6 - Évaluation des LLM, Hallucinations & Sécurité

• Spécificités de l'IA générative :
  • Non-déterminisme,
  • Hallucinations,
  • Fuite de données 
  • Fuite de propriété intellectuelle.
• Évaluation des projets RAG et Agents :
  • Comment mesurer la qualité des réponses, la pertinence du contexte et la fidélité aux sources.
• Méthodes d'évaluation :
  • Pannel de testeurs humains (Human-in-the-loop) vs évaluation automatisée (LLM-as-a-judge).

TRAVAUX PRATIQUES - Banc d'essai et évaluation d'une solution GenAI

• Utilisation d'une interface d'évaluation no-code/low-code pour tester un assistant d'entreprise.

• Évaluation comparative de réponses (détection des hallucinations et réponses toxiques ou hors sujet).

• Définition d'un cahier des charges de qualité pour l'achat ou le développement d'un LLM.

PARTIE 7 - Audit Fournisseurs & Comité de Validation (Go/No-Go)

• Achat de solutions IA (Build vs Buy) :
  • Exiger et vérifier les rapports de qualité des prestataires
• Organiser la gouvernance IA :
  • Rôles,
  • Responsabilités (AI Officer, experts métier, DPO)
  • Comités de validation.
• Politique d'audit continu :
  • Mettre en place un cycle de vie sécurisé pour l'IA dans l'organisation.

TRAVAUX PRATIQUES - Jeu de rôle : Comité de validation Go / No-Go

• Étude d'un dossier complet de mise en production d'une IA

  • Rapport de performance,

  • Audit de biais,

  • Coûts d'infrastructure,

  • Conformité AI Act

• Travail en sous-groupes pour auditer le dossier,

  • Identifier les zones d'ombre et négocier les ajustements

• Restitution collective :

  • Arbitrage 

  • Décision finale motivée (Go, No-Go, ou Go sous réserve).