Évaluer un fournisseur d’IA et comparer jusqu’à trois offres

Ce que contient la grille pour évaluer un fournisseur d’IA

• Un onglet « Mode d’emploi » : objet, échelle de cotation, règle des critères éliminatoires, lecture du résultat, rythme de mise à jour.
• Un onglet « Grille » : vingt critères en six familles, données (4), localisation (3), contrat (4), sécurité (4), usage (3), coût (2).
• Des critères de localisation : lieu de traitement indiqué, traitement possible dans un État de la liste de la CNDP, sous-traitants ultérieurs publiés.
• Une cote de 0 à 3 par critère et un poids de 1 à 3, ajustable, choisis par listes déroulantes.
• Trois critères éliminatoires marqués « E » : non-utilisation des échanges pour l’entraînement, lieu de traitement indiqué, contrat de traitement des données.
• Enfin, trois résultats calculés par offre : score pondéré en pourcentage, nombre de critères renseignés, alerte éliminatoire.

Quand utiliser la grille

La grille sert avant le choix d’une offre d’IA destinée à traiter des données de l’organisation. Elle permet également d’évaluer un fournisseur d’IA face à deux autres offres, pour un même usage. Par ailleurs, les conditions des fournisseurs évoluent fréquemment ; l’évaluation se renouvelle donc à chaque modification des conditions publiées ou contractuelles. Elle s’adresse notamment aux organisations qui retiennent une offre d’IA pour des données personnelles ou confidentielles.

Mode d’emploi

D’abord, l’onglet « Grille » reçoit, pour chaque offre, son nom, la source consultée et sa date. Ensuite, chaque critère reçoit une cote de 0, défavorable ou non documenté, à 3, très satisfaisant. Puis les pondérations de la colonne C s’ajustent, si nécessaire, selon l’usage envisagé. Enfin, la lecture porte sur le score pondéré, le nombre de critères renseignés et l’alerte éliminatoire.

Résultat attendu

Évaluer un fournisseur d’IA avec la grille produit un score pondéré par offre, exprimé en pourcentage. Le score apparaît une fois les vingt critères cotés ; un critère éliminatoire coté 0 déclenche toutefois une alerte. Le nombre de critères renseignés s’affiche enfin pour chaque offre.

Fiche signalétique

Limites

La grille ne désigne pas un fournisseur préférable : le score dépend de l’usage envisagé et des pondérations retenues. En outre, chaque évaluation vaut à sa date, puisque les conditions des fournisseurs évoluent fréquemment. Outil d’aide à la décision, à adapter à l’organisation et à l’usage envisagé.

Pour aller plus loin : Systèmes d’Information & Transformation Numérique ; Liste des États assurant une protection suffisante des données à caractère personnel (CNDP).