De duurste zin in een contract voor AI-consultancy is meestal de zin die ontbreekt. Opdrachtgevers onderhandelen scherp over het dagtarief, over de planning, over het aantal senior engineers dat in de opdrachtomschrijving wordt genoemd, en tekenen daarna een document dat nergens vermeldt wie eigenaar is van het getrainde model, wie de trainingsdata beheert of wat er gebeurt wanneer de nauwkeurigheid van het systeem voor het eerst afdrijft. Zes maanden later werkt de pilot, zijn de consultants vertrokken en kan niemand binnen het bedrijf het systeem opnieuw trainen.
Dat gat is niet het gevolg van kwade trouw aan een van beide kanten. Het is het gevolg van een markt die sneller is gegroeid dan haar eigen papierwerk. Het Human-Centered AI-instituut van Stanford heeft de sterke groei van de adoptie door bedrijven gevolgd in zijn jaarlijkse AI Index Report, en McKinsey heeft in dezelfde periode zijn State of AI-enquête uitgevoerd. Beide wijzen op hetzelfde beeld: veel organisaties hebben iets in gebruik genomen, veel minder kunnen aantonen wat het heeft opgeleverd. Eigendom is een van de redenen. Een systeem dat u niet kunt onderhouden, levert geen waarde meer op zodra de mensen die het hebben gebouwd het pand verlaten.
Dit is een gids over de overdrachtskant van AI-consultancy, geschreven voor degene die de inkooporder tekent en niet voor degene die de code schrijft. Hij behandelt de vier zaken die u beter regelt voordat het werk begint, de vragen die een offerte veranderen wanneer u ze vroeg stelt, en wat een bekwaam bureau uit zichzelf aanbiedt zonder dat u erom hoeft te vragen.
Eén factuur, drie zeer verschillende aflopen
Onder het ene etiket AI-consultancy kan een opdracht in drie toestanden eindigen, en het verschil is meer waard dan het honorarium.
In de eerste bezit u een werkend systeem en het vermogen om het te beheren. De code staat in uw repository, de modelgewichten of de fine-tuningconfiguratie staan in uw opslagaccount, de datapipeline draait op infrastructuur waarvoor u rechtstreeks betaalt, en twee van uw eigen engineers hebben onder begeleiding een wijziging uitgerold voordat de opdracht werd afgesloten. Het adviesbureau zou morgen kunnen verdwijnen en het systeem zou blijven draaien.
In de tweede bezit u een werkend systeem en verder niets. De code is opgeleverd, maar wordt uitgerold via een pipeline die het bureau op zijn eigen tooling heeft gebouwd, het model is getraind in een account waarover u geen zeggenschap hebt, en de enige documentatie is de presentatie van de slotbijeenkomst. Het systeem draait totdat het niet meer draait, en de enige mensen die het kunnen repareren, sturen een factuur.
In de derde bezit u een rapport. Dat komt vaker voor dan de sector toegeeft, en het is niet altijd een mislukking. Een serieuze verkennende opdracht die een bedrijf adviseert iets niet te bouwen, heeft haar honorarium verdiend. De mislukking is dat u de prijs van een verkenning betaalt voor wat u voor een bouwopdracht hield.
| Afloop | Wat u daarna in handen hebt | Wat het u later kost |
|---|---|---|
| Zelf te beheren systeem | Code, data, modelartefacten, het uitrolpad en een team dat er al een wijziging in heeft uitgerold | Uw eigen onderhoudsuren, en een bureau dat u uit vrije keuze opnieuw kunt inhuren |
| Afhankelijk systeem | Een draaiend systeem op tooling en accounts waarover u geen zeggenschap hebt | Een doorlopend onderhoudscontract dat u niet kunt aanbesteden, geprijsd door het enige bureau dat het werk kan doen |
| Alleen een rapport | Een aanbeveling, een roadmap en geen werkende software | Een tweede inkoopronde, tenzij het rapport was wat u hebt gekocht |
Welke van de drie u krijgt, wordt bepaald in de opdrachtomschrijving en niet in de laatste maand. Als u nog bureaus vergelijkt, zijn de vragen in onze gids over wat u moet vragen voordat u een AI-bureau inhuurt het beste beginpunt, en onze checklist voor wie voor het eerst inhuurt behandelt de inkooppraktijk daaromheen.
Het model is niet het op te leveren resultaat
Opdrachtgevers zien het getrainde model vaak als datgene wat ze kopen, zoals een gebouw datgene is wat u van een aannemer koopt. Die vergelijking gaat al snel mank. Een getraind model is een momentopname van een dataset, en de waarde ervan neemt af naarmate de wereld waarop het is getraind verandert. Wat u werkelijk moet bezitten, is het vermogen om het volgende model te maken, en dat is een ander bezit dat uit andere onderdelen bestaat.
Dat bezit heeft vier onderdelen, en een contract hoort ze alle vier te noemen:
- De trainingspipeline. De code die ruwe data omzet in een kandidaatmodel, inclusief de feature engineering, de voorbewerking en de evaluatiesuite. Zonder de evaluatiesuite kunt u niet vaststellen of het volgende model beter of slechter is dan het huidige.
- De trainingsdata, en het recht om ze te blijven gebruiken. Als een deel van de dataset in licentie is genomen, is gekocht, via scraping is verzameld of door een derde partij is aangeleverd, hoort de overeenkomst te vermelden wat er met dat recht gebeurt wanneer de opdracht eindigt.
- De modelartefacten zelf. Gewichten, adapters, fine-tuningconfiguraties, promptsjablonen, retrieval-indexen. Opgeslagen op een plek waar u erbij kunt, niet alleen waar het adviesbureau erbij kan.
- Het uitrolpad. Hoe een nieuw model van een laptop in productie komt, en wie op de knop mag drukken.
Een bureau dat beroepsmatig maatwerksystemen bouwt, heeft over elk van deze punten een mening voordat u ze aankaart. Een bureau dat bij het tweede punt aarzelt, vertelt u iets nuttigs over de manier waarop de dataset is samengesteld.
Wie de sleutels van de data heeft
Het eigendom van data is zelden het twistpunt. Vrijwel elk gerenommeerd bureau legt schriftelijk vast dat uw data van u blijven. Het twistpunt is toegang, en toegang bepaalt wie na twee jaar de sterkste positie heeft.
Drie opzetten komen veel voor. Het adviesbureau werkt binnen uw cloudaccount met inloggegevens die u verstrekt en kunt intrekken: dat is de zuiverste opzet en de opzet waar u om moet vragen. Het adviesbureau werkt in zijn eigen omgeving en uw data worden daar voor de duur van de opdracht naartoe gekopieerd: dat is werkbaar als het contract een verwijderdatum vastlegt en benoemt wie de verwijdering bevestigt. Of het adviesbureau werkt binnen een gedeeld platform dat het voor meerdere klanten beheert: dat kan uitstekend geregeld zijn en blijft toch de opzet die u de minste verhaalsmogelijkheden laat als de relatie verslechtert.
Vraag waar de data fysiek komen te staan, vraag wie bij het bureau ze kan inzien en vraag hoe de offboardingprocedure eruitziet. Het antwoord op de derde vraag onderscheidt de bureaus die eerder afscheid van klanten hebben genomen van de bureaus die dat nog nooit hebben gedaan.
Gereguleerde sectoren voegen daar een laag aan toe. Als u werkt onder sectorregels voor persoonsgegevens, financiële administratie of klinische informatie, moet het contract die verplichtingen doorleggen naar het adviesbureau en naar elke subverwerker die het inschakelt. Onze aantekeningen over wat in een contract met een AI-bureau thuishoort lopen de bepalingen uitvoeriger langs.
Opnieuw trainen is een kostenpost, geen gunst
Elk AI-systeem dat op gegevens uit de praktijk is gebouwd, gaat achteruit, en geen enkel contract voor AI-consultancy heft dat op. Klantgedrag verschuift, productcatalogi veranderen, de leverancier verderop in de keten werkt zijn API bij, een modelaanbieder faseert de versie uit waarop u hebt gefinetuned. Niets daarvan is een gebrek in het oorspronkelijke werk. Het is het gewone weer waarin een model in productie draait, en het kost elk jaar geld.
De meeste offertes voor AI-consultancy prijzen de bouw en behandelen het beheer als een gesprek voor later. Haal dat gesprek naar voren. Vraag vóór ondertekening om een bedrag voor wat het kost om het systeem twaalf maanden betrouwbaar te houden: monitoring, periodieke herevaluatie, opnieuw trainen wanneer de evaluatie daar aanleiding toe geeft, en de engineeringuren om het opnieuw getrainde model uit te rollen. Als het bureau dat bedrag niet kan geven, heeft het nog nooit een systeem in productie beheerd of hoopt het dat u er pas naar vraagt wanneer u vastzit.
Het bedrag zelf is minder belangrijk dan wat het met uw vergelijking doet. Een bouw die tegen een bepaalde prijs is geoffreerd met een zware jaarlijkse onderhoudsstaart kan over drie jaar gemakkelijk duurder uitvallen dan een bouw die hoger is geoffreerd met een echte overdracht. Ons overzicht van wat het werk van een AI-bureau werkelijk kost zet de bandbreedtes voor de gangbare typen opdrachten op een rij.
Het runbook waar niemand om vraagt
Het goedkoopste wat u aan een opdrachtomschrijving kunt toevoegen, is een met naam genoemd operationeel document, opgeleverd vóór de slotbetaling, dat een bekwame engineer die het project nooit heeft gezien, zou kunnen volgen.
Het hoort te beschrijven hoe de trainingspipeline van begin tot eind wordt uitgevoerd, hoe de evaluatie-uitvoer moet worden gelezen en wat elk getal in zakelijke termen betekent, welke storingen het team tijdens de bouw is tegengekomen en hoe die zijn opgelost, bij welke drempelwaarden iemand moet ingrijpen, en wat de escalatieroute is wanneer het model iets voortbrengt wat het niet hoort voort te brengen. Vraag erom als op te leveren resultaat met acceptatiecriteria, niet als een regel in de slotpresentatie.
Bureaus verzetten zich hier minder vaak tegen dan opdrachtgevers verwachten. Het schrijven kost een dag of twee, en een bureau dat het onderhoudscontract wil binnenhalen, heeft er belang bij dat het systeem te doorgronden is. De bureaus die zich wel verzetten, zijn meestal de bureaus waarvan de marge afhangt van het feit dat zij als enigen begrijpen wat ze hebben gebouwd.
Combineer het runbook met een overdrachtssessie die een werksessie is en geen presentatie. Uw engineers horen een echte wijziging aan te brengen, de evaluatie te draaien en de wijziging uit te rollen terwijl het adviesbureau nog onder contract staat en nog aansprakelijk is. Een overdracht die niemand heeft geoefend, is een document en geen overdracht. Hetzelfde principe ligt ten grondslag aan de vergelijking in ons artikel over AI-integratie met een bureau of met eigen mensen.
Zes vragen die de offerte veranderen
Stel ze vóór het tweede gesprek, en de offertes die u terugkrijgt zijn eerlijker en gemakkelijker te vergelijken.
- Welke van de drie aflopen hierboven kopen wij aan het einde van deze opdracht? Vraag het bureau in die termen te antwoorden.
- Waar komen de modelartefacten te staan, in wiens account, en wie kan ze verwijderen?
- Wat kost het om dit twaalf maanden na uw vertrek draaiend te houden?
- Welke delen van de trainingsdata zijn niet van ons, en wat gebeurt er met ons recht om ze te gebruiken?
- Noem een klant waarvan het team het beheer heeft overgenomen van wat u hebt gebouwd. Hoe zag de overdracht eruit?
- Als wij dit over achttien maanden bij een ander bureau willen onderbrengen, wat heeft dat bureau dan van u nodig?
De zesde vraag verdient de meeste aandacht. Een bureau dat vertrouwen heeft in zijn werk, beantwoordt haar rechtstreeks, omdat het verwacht te winnen op resultaat en niet op drempels. Een bureau dat haar als een vijandige vraag behandelt, heeft u verteld hoe de relatie eindigt.
Waar u begint met zoeken
Er bestaat niet één juist soort bureau dat AI-consultancy verkoopt, en geen ranglijst die de keuze voor u maakt. Een strategisch georiënteerd adviesbureau is de juiste keuze wanneer het besluit zelf nog niet is genomen en het risico is dat u het verkeerde bouwt. Een op uitvoering gericht engineeringbureau is de juiste keuze wanneer het besluit is genomen en het risico in de bouw zit. Een datasciencespecialist is de juiste keuze wanneer het model het moeilijke deel is en niet het systeem eromheen. Waar het om gaat, is dat het bureau dat u kiest eerlijk is over welke van de drie het is, en dat het contract dat weerspiegelt.
De gids rangschikt bureaus precies naar dat onderscheid. Bekijk bureaus voor AI-strategie en consultancy wanneer de vraag is wat u moet bouwen, specialisten in machine learning en data science wanneer het model het moeilijke deel is, en bureaus voor AI-integratie wanneer het werk bestaat uit het koppelen van een model aan systemen die u al gebruikt.
Als u het probleem liever één keer beschrijft en geschikte bureaus naar u toe laat komen, vertel ons dan wat u wilt bouwen en wij wijzen u op de bureaus in onze gids die bij het werk passen. Het kost niets en u bent niet verplicht iemand in te huren.
Koop AI-consultancy op de voorwaarden van de overdracht en niet op de voorwaarden van de factuur. Regel het eigendom voordat u de prijs regelt. De bureaus die het inhuren waard zijn, zullen u om die vraag respecteren, en de bureaus die terugdeinzen, hebben u een jaar bespaard.
Bronnen
- Stanford Institute for Human-Centered Artificial Intelligence, AI Index Report, jaarlijks.
- McKinsey & Company, The State of AI, jaarlijkse enquête.