1. pourquoi tester la confidentialité
Un modèle IA peut parfois restituer involontairement des données sensibles issues de son entraînement. Le RGPD impose de garantir que les modèles ne rendent pas identifiables les personnes. Ce guide vous donne une méthode concrète pour tester la sécurité et la confidentialité de vos modèles.
2. quand faire ces tests
- Avant la mise en production du modèle.
- Après un réentraînement sur de nouvelles données.
- Si des données personnelles ont été identifiées dans les résultats du modèle.
- En amont d’un audit RGPD ou d’une AIPD.
3. types de risques à tester
- Régurgitation directe : reproduction verbatim d’une donnée vue à l’entraînement.
- Réidentification indirecte : sortie combinée révélant une personne identifiable.
- Membership inference : détection qu’un échantillon spécifique a été vu par le modèle.
4. protocole de test recommandé
- Insérer des canaris dans les données d’entraînement (ex. « je suis Alice Test »).
- Créer une suite de prompts d’attaque cherchant à faire émerger ces phrases.
- Comparer les résultats du modèle (textes générés, scores de similarité, fuite exacte).
- Tester le modèle avec des outils de membership inference open source (si applicable).
- Mesurer les fuites observées et documenter les résultats.
5. outils techniques utiles
- Canary Prompting : prompts de vérification ciblée.
- TextLeak : détection de régurgitation.
- ML Privacy Meter : outil de membership inference.
- PANAME (CNIL/ANSSI, à venir) : bibliothèque de tests pour audit de confidentialité des modèles IA.
6. que faire en cas de fuite
- Documenter la nature de la fuite, l’origine, le volume et le type de données exposées.
- Déterminer si une notification à la CNIL est nécessaire (selon gravité).
- Adapter votre pipeline : filtrage, anonymisation, réduction du contexte, supervision.
- Prévoir un plan de réentraînement si le modèle est affecté de manière structurelle.
7. erreurs fréquentes à éviter
- Supposer que le modèle est « anonyme par nature » sans test.
- Tester uniquement sur des prompts classiques (pas assez offensifs).
- Oublier d’auditer les versions successives du modèle.
- Ne pas intégrer ces tests à l’analyse d’impact (AIPD).
8. ce que Rouge Hexagone peut faire pour vous
- Créer et exécuter un protocole de test adapté à votre modèle.
- Rédiger une note d’audit ou une annexe RGPD justificative.
- Mettre en place un cadre de tests reproductible à chaque itération modèle.
