Gartner prévient depuis des années qu'une grande partie des projets de machine learning n'atteint jamais la production, et les analystes qui suivent le sujet n'ont guère eu à réviser cet avertissement malgré l'évolution de la technologie. Le modèle est rarement en cause. Le problème vient de ce que l'acheteur et le prestataire qu'il a retenu ne donnaient pas le même sens aux mots du contrat. « Conseil en IA et en ML » est une étiquette apposée sur au moins quatre activités distinctes, dont les prix, les équipes et les risques n'ont rien en commun. Acheter la mauvaise n'est pas une mauvaise affaire. C'est une erreur d'achat.
J'ai vu la chose mal tourner des deux côtés de la table. Une entreprise décide qu'elle a besoin de machine learning, lance un appel d'offres, compare trois propositions qui annoncent toutes du « conseil en IA et en ML » et retient celle dont le tarif journalier est le plus avantageux. Six mois plus tard, un modèle bien documenté dort dans un notebook que personne ne sait déployer, parce que le prestataire retenu vend de la recherche et que l'entreprise avait besoin d'ingénierie. Personne n'a menti. La catégorie est simplement trop floue pour qu'on y achète en sécurité.
Les quatre métiers cachés derrière une seule étiquette
Le conseil stratégique. Un travail de stratégie. Un cabinet évalue les endroits où le machine learning pourrait raisonnablement rentabiliser son coût dans votre activité, classe les candidats et vous remet une feuille de route. Le livrable est un document et une série de décisions. C'est réellement utile quand une équipe dirigeante ne parvient pas à s'accorder sur le point de départ, et c'est du papier peint coûteux quand elle le connaît déjà et cherche une autorisation. Ces cabinets facturent à la mission, en général plusieurs centaines de milliers de dollars dès qu'une marque reconnue figure sur la couverture, et ils ne construisent rien.
L'ingénierie des données. La majeure partie du travail, et la moins prestigieuse. Avant qu'un modèle ne fasse quoi que ce soit, quelqu'un doit trouver les données, les déplacer, les nettoyer, les croiser et maintenir leur circulation. La plupart des entreprises qui pensent avoir besoin d'un modèle ont d'abord besoin de cela, et les prestataires honnêtes le disent dès la première réunion. La facturation se fait à l'heure ou au sprint, généralement de 100 à 250 dollars de l'heure aux États-Unis pour des équipes compétentes.
Le développement appliqué de modèles. Construire et entraîner l'objet lui-même, qu'il s'agisse d'affiner un modèle de fondation, de bâtir un système de prévision ou de monter un pipeline de recherche documentaire sur vos propres documents. C'est ce que les acheteurs ont en tête quand ils parlent de « conseil en IA », et c'est la plus petite part du travail réel. Les tarifs sont plus élevés, de 150 à 400 dollars de l'heure, et les meilleurs praticiens ont un agenda complet.
Le MLOps et la responsabilité de la production. Le déploiement, la supervision, le réentraînement, la détection de dérive, la maîtrise des coûts et l'astreinte pour le jour où un modèle se met à produire n'importe quoi à deux heures du matin. C'est là que se loge réellement le taux d'échec relevé par Gartner. Entre un modèle qui fonctionne dans un notebook et un modèle qui fonctionne en production, il y a un volume de travail d'ingénierie que presque personne ne budgète, et les prestataires qui s'en sont fait une spécialité sont ceux qu'il faut garder.
Un prestataire qui assure les quatre est soit très grand, soit en train de survendre. Quand une structure de dix personnes propose toute la chaîne, demandez-lui lequel de ces métiers elle a exercé plus de deux fois.
Lire une proposition pour ce qu'elle omet
Sur ce marché, les propositions sont rédigées pour résister à la comparaison, ce qui les rend vagues aux endroits qui comptent. Trois omissions vous apprennent l'essentiel de ce que vous devez savoir.
La première concerne l'accès aux données. Si la proposition n'indique pas précisément les systèmes pour lesquels l'équipe aura besoin d'identifiants et la personne qui les accordera dans votre entreprise, le calendrier relève de la fiction. La cause la plus fréquente d'une mission de machine learning à l'arrêt est une équipe qui n'accède pas aux données pendant onze semaines et facture pendant tout ce temps. Faites du plan d'accès une section à part entière, avec des responsables nommés et des dates.
La deuxième concerne la définition du « terminé ». « Livrer un modèle fonctionnel » n'est pas une définition. Une définition ressemble à ceci : le modèle s'exécute selon tel calendrier, sur telle source de données, sa sortie arrive dans telle table, telle personne nommée reçoit une alerte quand la précision passe sous tel seuil, et la procédure de réentraînement est versée dans tel dépôt. Les prestataires qui vendent de l'ingénierie l'écrivent sans qu'on le leur demande. Ceux qui vendent de la recherche le négocieront, et leur négociation répond à votre question sur ce qu'ils font.
La troisième concerne le sort du code. La propriété des poids du modèle, du pipeline d'entraînement, des définitions de variables et de la configuration de l'infrastructure doit tenir en une phrase. L'ambiguïté sur ce point n'est pas un oubli. Un pipeline que vous ne pouvez pas faire tourner sans le cabinet est une rente pour lui et un passif pour vous, et il vaut la peine de payer davantage au départ pour l'éviter. Les points à prévoir dans un contrat avec une agence d'IA méritent d'être lus avant de signer quoi que ce soit dans cette catégorie.
Ce que le prix reflète réellement
Sur ce marché, les tarifs journaliers varient d'un ordre de grandeur, et la qualité n'explique pas à elle seule cet écart. Il tient surtout à trois éléments : le lieu où se trouve l'équipe, le fait que vous achetiez des personnes nommément désignées ou un vivier de ressources, et la part de risque que le prestataire a accepté de porter.
Une mission au forfait avec un résultat défini coûte plus cher à l'heure qu'une prestation en régie, parce que le prestataire intègre dans son prix le risque que le travail dure plus longtemps que prévu. Cette prime vaut généralement la peine pour un premier projet avec un nouveau partenaire, et généralement plus une fois que vous vous connaissez. Un dispositif de renfort d'équipe où vous dirigez le travail est le moins cher à l'heure et le plus coûteux en attention managériale, un coût bien réel qui n'apparaît jamais dans le tableau comparatif.
Méfiez-vous de quiconque annonce un prix avant de vous interroger sur vos données. L'état de vos données est la principale variable du coût d'un projet de machine learning, et un prestataire qui chiffre sans les regarder devine ou prévoit de relever le montant plus tard. Notre analyse de ce que coûte une agence d'IA détaille les fourchettes par type de mission.
Quand la réponse honnête est que vous n'en avez pas encore besoin
L'enquête annuelle State of AI de McKinsey montre avec constance que les organisations qui déclarent un impact financier réel de l'IA sont minoritaires parmi celles qui la déploient, et les travaux de MIT Sloan Management Review et de Boston Consulting Group aboutissent à une conclusion comparable sur l'écart entre adoption et rendement. Le schéma qui se dessine derrière ces constats n'a rien de mystérieux. Les entreprises qui tirent de la valeur du machine learning ont en général déjà réglé un problème ennuyeux : elles savent ce que signifient leurs données, elles peuvent les réunir en un seul endroit, et quelqu'un en est responsable.
Si vous ne pouvez pas produire un chiffre propre, à jour et accepté par tous pour une question aussi simple que le nombre de vos clients actifs, un modèle n'est pas votre prochain achat. L'ingénierie des données l'est. Tout cabinet qui vous dit le contraire vous vend la partie du projet qui lui plaît et non celle dont vous avez besoin, et les six mois que vous passerez à le découvrir seront les six mois les plus chers de la mission.
La même logique vaut dans l'autre sens. Si vous disposez d'un entrepôt de données propre, d'une question bien définie et de quelqu'un en interne capable de maintenir ce qui sera construit, vous n'avez peut-être pas besoin d'un cabinet du tout. Il vous faut peut-être deux bons indépendants et une échéance. La comparaison entre une agence et une équipe interne se ramène à la fréquence à laquelle vous aurez de nouveau besoin de cette compétence.
Une courte liste de vérifications qui distingue les quatre
- Demandez une référence en production, pas une étude de cas. Une étude de cas décrit un projet. Une référence est une personne dans une autre entreprise qui acceptera un appel et vous dira si le système tourne toujours.
- Demandez ce qu'ils refuseraient de construire. Un prestataire qui a une réelle expérience opérationnelle tient une liste de projets qu'il décline. Un prestataire qui n'en a pas acceptera n'importe quoi.
- Demandez qui participe aux réunions au quatrième mois. Les profils seniors vendent. Vérifiez s'ils livrent aussi, et faites inscrire les noms dans le cahier des charges.
- Interrogez-les sur la dernière mission qui s'est mal passée. La réponse vous en apprend plus sur le prestataire que toutes les diapositives de la présentation. Celui qui affirme qu'il n'y en a pas eu n'a pas assez travaillé.
- Demandez-leur de vous expliquer vos propres données. Après une session de cadrage, une équipe compétente sait décrire où se trouvent vos données et ce qu'elles signifient plus clairement que vous. Si elle n'y parvient pas, elle n'écoutait pas.
Par où commencer la recherche
Le marché de ces services est fragmenté et la plus grande partie ne fait pas de publicité. Les grands intégrateurs de systèmes sont visibles parce qu'ils achètent de la visibilité. Les prestataires spécialisés qui réalisent le meilleur travail en production se trouvent souvent à trois recommandations de distance et n'ont aucune fonction marketing. C'est pourquoi les acheteurs qui commencent par Google et s'arrêtent à la première page se retrouvent le plus souvent avec un fournisseur choisi par son budget publicitaire.
Parcourir le marché par discipline est une meilleure entrée que le parcourir par marque. La catégorie stratégie et conseil en IA et la catégorie machine learning et science des données de notre annuaire classent les prestataires selon le travail qu'ils font réellement, ce qui est la distinction au cœur de cet article. Si vous préférez décrire le problème une seule fois et recevoir la liste restreinte, vous pouvez être mis en relation avec des agences d'IA vérifiées et vous passer du tableau comparatif.
Des lectures de fond qui méritent le temps passé : Gartner sur l'écart de mise en production dans le déploiement du machine learning, et les travaux de la MIT Sloan Management Review avec Boston Consulting Group sur les raisons pour lesquelles adoption et rendement financier sont restés si éloignés.
La version courte
Quatre services partagent un même nom. Le conseil stratégique vous dit quoi faire, l'ingénierie des données le rend possible, le développement appliqué le construit, et le MLOps le maintient en vie. La plupart des acheteurs croient acheter le troisième et ont en réalité besoin du deuxième, et presque personne ne budgète le quatrième. Déterminez lequel vous achetez avant de comparer les prix, car comparer le tarif journalier d'un prestataire de recherche à celui d'un prestataire d'ingénierie n'est pas une comparaison.