Gartner waarschuwt al jaren dat een groot deel van de machine learning-projecten nooit in productie komt, en de analisten die dit volgen hebben die waarschuwing nauwelijks hoeven bij te stellen terwijl de technologie veranderde. De oorzaak is zelden het model. Het punt is dat de opdrachtgever en het bureau dat hij inhuurde uitgingen van verschillende definities van de woorden in het contract. "AI- en ML-consultancy" is een etiket dat op minstens vier afzonderlijke bedrijfstakken wordt geplakt, met een andere prijs, een andere bezetting en een volstrekt ander risico. De verkeerde kopen is geen slechte deal. Het is de verkeerde aankoop.
Ik heb dit van beide kanten van de tafel zien misgaan. Een bedrijf besluit dat het machine learning nodig heeft, doorloopt een inkooptraject, vergelijkt drie voorstellen die allemaal "AI- en ML-consultancy" vermelden en kiest het voorstel met het beste dagtarief. Zes maanden later staat er een goed gedocumenteerd model in een notebook dat niemand kan uitrollen, omdat het bureau dat de opdracht won onderzoek verkoopt en het bedrijf engineering nodig had. Niemand heeft gelogen. De categorie is simpelweg te ruim om er veilig uit te kopen.
De vier bedrijfstakken achter één etiket
Advies. Strategiewerk. Een bureau beoordeelt waar machine learning zijn kosten binnen uw organisatie aannemelijk kan terugverdienen, rangschikt de kandidaten en overhandigt u een roadmap. Het resultaat is een document en een reeks beslissingen. Dat is oprecht nuttig wanneer een directieteam het niet eens wordt over waar te beginnen, en het is duur behang wanneer het team dat al weet en alleen toestemming zoekt. Adviesbureaus factureren per opdracht, doorgaans zes cijfers voor alles met een herkenbaar merk op de omslag, en ze bouwen niets.
Data engineering. Het weinig glamoureuze grootste deel van het werk. Voordat een model iets doet, moet iemand de data vinden, verplaatsen, opschonen, koppelen en laten doorstromen. De meeste bedrijven die denken een model nodig te hebben, hebben in werkelijkheid eerst dit nodig, en de eerlijke bureaus zeggen dat in het eerste gesprek. Gefactureerd per uur of per sprint, voor capabele teams in de Verenigde Staten meestal 100 tot 250 dollar per uur.
Toegepaste modelontwikkeling. Het bouwen en trainen van het model zelf, of dat nu het finetunen van een foundation model betekent, het bouwen van een prognosesysteem of het opzetten van een retrieval-pipeline over uw eigen documenten. Dit is wat opdrachtgevers voor zich zien wanneer zij "AI-consultancy" zeggen, en het is het kleinste deel van het werkelijke werk. De tarieven liggen hoger, 150 tot 400 dollar per uur, en de beste specialisten zitten vol.
MLOps en verantwoordelijkheid voor productie. Uitrol, monitoring, hertraining, driftdetectie, kostenbeheersing en de storingsdienst voor het moment waarop een model om twee uur 's nachts onzin begint te produceren. Hier zit het faalcijfer van Gartner in werkelijkheid. Tussen een model dat in een notebook werkt en een model dat in productie werkt ligt een hoeveelheid engineeringwerk waarvoor bijna niemand budget reserveert, en de bureaus die zich daarin specialiseren zijn de bureaus die u wilt houden.
Een bureau dat alle vier doet, is ofwel zeer groot ofwel belooft te veel. Ziet u een bureau van tien mensen dat de volledige stack aanbiedt, vraag dan welk van de vier het meer dan twee keer heeft gedaan.
Een voorstel lezen op wat er niet in staat
Voorstellen in deze markt worden geschreven om een vergelijking te doorstaan, en dat betekent dat ze vaag zijn op de plekken die ertoe doen. Drie weglatingen vertellen u het grootste deel van wat u moet weten.
De eerste is de toegang tot data. Als het voorstel niet specifiek vermeldt voor welke systemen het team inloggegevens nodig heeft en wie binnen uw bedrijf die verstrekt, is de planning fictie. De meest voorkomende oorzaak van een vastgelopen machine learning-opdracht is een team dat elf weken lang niet bij de data kan en al die tijd factureert. Maak van het toegangsplan een aparte paragraaf met bij naam genoemde verantwoordelijken en data.
De tweede is de definitie van klaar. "Een werkend model opleveren" is geen definitie. Een definitie ziet er zo uit: het model draait volgens dit schema, op deze databron, de uitvoer komt in deze tabel terecht, deze bij naam genoemde persoon krijgt een melding wanneer de nauwkeurigheid onder deze drempel zakt, en het runbook voor hertraining staat in deze repository. Bureaus die engineering verkopen, schrijven dat op zonder dat erom wordt gevraagd. Bureaus die onderzoek verkopen, gaan erover onderhandelen, en die onderhandeling is het antwoord op uw vraag wat zij doen.
De derde is wat er met de code gebeurt. Het eigendom van de modelgewichten, de trainingspipeline, de featuredefinities en de infrastructuurconfiguratie hoort in één zin te zijn vastgelegd. Onduidelijkheid op dit punt is geen vergissing. Een pipeline die u zonder het adviesbureau niet kunt draaien, is een lijfrente voor hen en een last voor u, en het loont om vooraf meer te betalen om dat te voorkomen. De punten die een contract met een AI-bureau moet bevatten zijn het lezen waard voordat u in deze categorie iets ondertekent.
Wat de prijs werkelijk weerspiegelt
Dagtarieven in deze markt lopen een orde van grootte uiteen, en dat verschil is niet alleen door kwaliteit te verklaren. Het wordt grotendeels verklaard door drie dingen: waar het team zit, of u bij naam genoemde personen koopt of beschikbare capaciteit uit een pool, en hoeveel van het risico het bureau op zich heeft genomen.
Een opdracht tegen een vaste prijs met een omschreven resultaat kost per uur meer dan een afspraak op basis van nacalculatie, omdat het bureau de kans inprijst dat het werk langer duurt dan gedacht. Die opslag is doorgaans het betalen waard bij een eerste project met een nieuwe partner, en doorgaans niet meer zodra u elkaar kent. Een detacheringsconstructie waarbij u het werk aanstuurt, is per uur het goedkoopst en het duurst in managementaandacht, een reële kostenpost die nooit in de vergelijkingsspreadsheet verschijnt.
Wees op uw hoede voor iedereen die een prijs noemt voordat hij naar uw data heeft gevraagd. De staat van uw data is de grootste afzonderlijke variabele in de kosten van een machine learning-project, en een bureau dat een prijs afgeeft zonder ernaar te kijken, gokt ofwel, ofwel is van plan het bedrag later te verhogen. Ons overzicht van wat een AI-bureau kost gaat in op de bandbreedtes per type opdracht.
Wanneer het eerlijke antwoord is dat u dit nog niet nodig hebt
Het jaarlijkse State of AI-onderzoek van McKinsey stelt consequent vast dat de organisaties die een reëel financieel effect van AI melden een minderheid vormen van de organisaties die AI inzetten, en onderzoek van MIT Sloan Management Review en Boston Consulting Group komt tot een vergelijkbare conclusie over de kloof tussen adoptie en rendement. Het patroon achter die bevindingen is niet raadselachtig. Bedrijven die waarde halen uit machine learning hebben meestal eerst een saai probleem opgelost: ze weten wat hun data betekenen, ze kunnen die op één plek bijeenbrengen, en iemand is er eigenaar van.
Als u geen schoon, actueel en door iedereen onderschreven cijfer kunt geven voor iets eenvoudigs als het aantal actieve klanten, is een model niet uw volgende aankoop. Data engineering is dat wel. Elk adviesbureau dat u iets anders vertelt, verkoopt u het deel van het project dat het zelf leuk vindt in plaats van het deel dat u nodig hebt, en de zes maanden die u nodig hebt om daarachter te komen zijn de duurste zes maanden van de opdracht.
Dezelfde redenering geldt in omgekeerde richting. Als u een schoon datawarehouse hebt, een afgebakende vraag en intern iemand die kan onderhouden wat er wordt gebouwd, hebt u misschien helemaal geen adviesbureau nodig. Misschien hebt u twee goede zelfstandigen en een deadline nodig. De vergelijking tussen een bureau en een intern team komt neer op de vraag hoe vaak u deze capaciteit opnieuw nodig zult hebben.
Een korte checklist die de vier van elkaar scheidt
- Vraag om een productiereferentie, niet om een casestudy. Een casestudy beschrijft een project. Een referentie is een persoon bij een ander bedrijf die met u wil bellen en u vertelt of het systeem nog draait.
- Vraag wat ze niet zouden bouwen. Een bureau met echte operationele ervaring heeft een lijst van projecten die het afwijst. Een bureau zonder zo'n lijst zegt overal ja op.
- Vraag wie er in maand vier aan tafel zit. Senior mensen verkopen. Zoek uit of zij ook het werk leveren, en laat de namen in de opdrachtomschrijving opnemen.
- Vraag naar de laatste opdracht die slecht verliep. Het antwoord vertelt u meer over het bureau dan elke dia in de presentatie. Wie beweert dat er nooit een is geweest, heeft niet genoeg werk gedaan.
- Vraag hun uw eigen data aan u uit te leggen. Na een discoverysessie kan een capabel team duidelijker dan u beschrijven waar uw data staan en wat ze betekenen. Kan het dat niet, dan heeft het niet geluisterd.
Waar u begint met zoeken
De markt voor deze diensten is versnipperd en het grootste deel ervan adverteert niet. Grote system integrators zijn zichtbaar omdat zij zichtbaarheid kopen; de gespecialiseerde bureaus die het beste productiewerk leveren, vindt u vaak pas na drie doorverwijzingen en hebben helemaal geen marketingafdeling. Daarom komen opdrachtgevers die eerst naar Google gaan en bij de eerste pagina stoppen meestal uit bij een leverancier die op advertentiebudget is geselecteerd.
Zoeken op discipline is een betere ingang dan zoeken op merk. De categorie AI-strategie en consultancy en de categorie machine learning en data science in onze directory onderscheiden bureaus naar het werk dat ze werkelijk doen, en dat is het onderscheid waar dit hele artikel over gaat. Beschrijft u het probleem liever één keer en krijgt u de shortlist vervolgens toegestuurd, laat u dan koppelen aan gescreende AI-bureaus en sla de vergelijkingsspreadsheet over.
Achtergrondlectuur die de tijd waard is: Gartner over de productiekloof bij de uitrol van machine learning, en het onderzoek van MIT Sloan Management Review met Boston Consulting Group over de reden dat adoptie en financieel rendement zo ver uit elkaar zijn gebleven.
De korte versie
Vier diensten delen één naam. Advies vertelt u wat u moet doen, data engineering maakt het mogelijk, toegepaste ontwikkeling bouwt het en MLOps houdt het in leven. De meeste opdrachtgevers denken de derde te kopen en hebben in werkelijkheid de tweede nodig, en bijna niemand reserveert budget voor de vierde. Stel vast welke u koopt voordat u prijzen vergelijkt, want het dagtarief van een onderzoeksbureau naast dat van een engineeringbureau leggen is helemaal geen vergelijking.