Les exigences de preuve dans les contrats d’IA de recrutement
Le cas Workday illustre le problème majeur auquel les entreprises sont confrontées : les données nécessaires pour expliquer une décision d’IA peuvent être fragmentées entre le fournisseur, le client et leurs avocats. Les contrats actuels offrent souvent des droits d’audit et des engagements de sécurité, mais ils ne garantissent pas la disponibilité des preuves essentielles.
Contexte juridique
Dans l’affaire Mobley v. Workday, les plaignants allèguent que les outils d’analyse de candidats de Workday ont discriminé sur la base de caractéristiques protégées. Le tribunal a autorisé certaines réclamations en vertu du California Fair Employment and Housing Act et de l’Americans with Disabilities Act, tout en refusant d’autres. Un ordre de découverte a révélé que certaines données de test de biais étaient protégées par le secret avocat-client, tandis que d’autres documents, comme les rapports EEO‑1, ont dû être produits.
Risques d’entreprise
Le principal risque réside dans la distribution des enregistrements nécessaires à la reconstitution d’une décision individuelle. Les parties peuvent avoir des obligations de rétention différentes, des droits d’accès incompatibles et des stratégies de litige divergentes, rendant difficile la production d’une preuve complète.
Éléments clés d’un programme de preuve efficace
Un contrat devrait inclure un agenda de preuve qui identifie qui crée, contrôle, conserve et produit chaque catégorie d’enregistrement. Au minimum, sept domaines doivent être couverts :
- Identité et version du système : modèle, moteur de règles, version déployée.
- Enregistrements d’événements de décision : lien entre le candidat, la requête d’emploi, la configuration du système, les entrées, la sortie et l’action finale.
- Preuves de validation et d’évaluation d’impact : matériaux de validation fournis à l’employeur.
- Contrôle des données et consignations légales : possession, accès, exportabilité et réponses aux subpoenas.
- Revue humaine : identité du réviseur, informations présentées, autorité d’intervention.
- Rétention et résiliation : période de conservation conforme aux obligations légales et transfert d’exports utilisables.
- Droits d’audit et de remédiation : accès aux configurations, tests de disparités et actions correctives.
Exigences légales et normatives
Des lois comme la réglementation de New York City imposent un audit de biais indépendant, une publication de résumé et la notification des candidats affectés. La Californie exige la conservation des enregistrements liés aux décisions automatisées pendant au moins quatre ans, tant pour les employeurs que pour les fournisseurs.
Des cadres normatifs tels que ISO/IEC 42001, ISO/IEC 42005 et le AI Risk Management Framework de NIST offrent des structures de gouvernance et de traçabilité, mais ne remplacent pas les exigences légales.
Conclusion
Pour atténuer le risque de ne pas pouvoir reconstituer une décision d’IA, les organisations doivent intégrer dès la phase contractuelle un programme de preuve détaillé. Cela garantit que, en cas de litige, toutes les parties disposent des enregistrements nécessaires pour démontrer la conformité et la transparence des processus de recrutement automatisés.