2020.11.10_workshop-6_notes.md

Atelier DSRC #6 du 10 novembre 2020

Présents : @ClementMayer, @bowni, @natct10, @nicolas-landel, @celinejacques, @cmeuree, @RomainGoussault, @Fabien-GELUS, @arthurPignet, Mickaël Fine, Nathan L., Daniel Bartolo, Théo L., Joséphine Lecoq-Vallon, Patricia L, Chloé, Ana Ulianovici, Eric Armbruster, Ali T, Victoire M, Paul-Marie C, Cécile G, Arnaud L ​

Liens utiles

• Dépot du projet
• Références
• Evaluation
• site internet
• Article de blog
• Substra Slack, salon DSRC

Compte-rendu de l'atelier

Actualités

• Préparation de matériaux pédagogiques dans le cadre de la saison 8 de Data For Good (notebooks sur les fairness metrics, robustesse de modèle, DP, distilation de modèle, généalogie modèle de bout-en-bout)
• Retour sur les dernières actualités et événements de Labelia Labs (ex- Substra Foundation)
• Livre blanc ImpactAI (en préparation pour le 10 Décembre) : Guide pratique pour l'IA digne de confiance
• Syntec Numérique : "Concevoir des IA éthiques by design" (6 ateliers jusqu'à Noël)

Evolutions du référentiel

• Stabilisation du référentiel par rapport aux premières versions
• Découpage en 6 sections désormais, affinage de l'évaluation globale et travail de reformulation/clarification
• En cours Prise en compte du secteur publique et de ses spécificités
• Ajouts de nouvelles ressources :
  • Privacy Enhancing Technologies Decision Tree (v2)
  • Faulty Facial Recognition Led to His Arrest—Now He’s Suing
  • Stratified cross-validation for unbiased and privacy-preserving federated learning
  • Model Cards :
    • Model Cards for Model Reporting
  • Méta-étude :
    • A Unified Framework of Five Principles for AI in Society
  • Fairness metrics :
    • Unfair biases in Machine Learning: what, why, where and how to obliterate them
    • A Tutorial on Fairness in Machine Learning
    • Fairness and machine learning - Limitations and opportunities

Lancement version beta de la plateforme d’évaluation

• Présentation des fonctionalités de l'auto-évaluation : création de comptes et des organisations, gestion des ressources, scoring, feedback...
• Lancement probable le 17 novembre 2020 !
• Accès à la plateforme : https://assessment.labelia.org/

Question :

- explication du scoring ? --> Une explication sera ajoutée sur la plateforme - travail en cours côté Substra
- Mise à jour du référentiel ? --> Objectif de stabilité du référentiel, avec évolution tous les 3 à 6 mois, en restant toujours réactif

Data For Good (S08) - Axes de travail

Généalogie de bout-en-bout

• Présentation du template en cours de constitution par Joséphine.
• Objectif : proposer un document de référence sur la production d'un modèle, ex. Google Cards Face detection et construction d'un template à usage des data scientists

Distillation de modèles

• Travaux en cours sur des librairies de distillation de modèle.
• Objectif : proposer un notebook utilisable par des data scientists

Robustness metrics

• Travaux en cours sur les robustness metrics, au delà de l'overfitting.
• Objectif : proposer un notebook utilisable par des data scientists