In deze directory staan 132 bedrijven onder AI-oplossingen op maat, en ze verkopen niet hetzelfde. Het ene configureert een platform dat u zelf had kunnen kopen en factureert u de configuratie. Een ander bouwt een retrievallaag over documenten die uw eigen medewerkers niet kunnen vinden. Een derde finetunet een model op uw gelabelde data. Een vierde neemt een onderzoeksprobleem aan waarbij geen van de betrokkenen vooraf weet of het überhaupt kan. Dat zijn vier afzonderlijke vakgebieden met vier verschillende vaardigheden, vier verschillende kostencurves en vier verschillende manieren om te mislukken, en de formulering op de website is in alle vier de gevallen identiek.
Die onduidelijkheid is duur in één specifieke richting. Kopers betalen geregeld voor het vierde terwijl het eerste had volstaan, omdat het vierde serieuzer klinkt in een bestuursvergadering. Er is nog nooit iemand ontslagen omdat hij origineel werk liet maken. De omgekeerde fout, een configuratie kopen terwijl het probleem echt nieuwe modellering vraagt, komt sneller aan het licht en doet minder pijn, omdat de leverancier binnen een kwartaal vastloopt en het geld nog grotendeels op uw rekening staat.
Wat AI-oplossingen op maat in werkelijkheid beschrijft
Sorteer het werk op wat er aan het eind nieuw is, en de vier vakgebieden vallen netjes uiteen.
| Wat er aan het eind nieuw is | Wat u koopt | Wanneer het het juiste antwoord is | Wat de eerste fase u moet opleveren |
|---|---|---|---|
| Niets. Configuratie. | Het platform van een ander, ingericht op uw proces en gekoppeld aan uw systemen | Een gangbare taak waarbij uw werkwijze het onderscheid maakt, niet uw data | Een werkende configuratie in uw eigen tenant, met de documentatie om die zonder de leverancier aan te passen |
| Een retrievallaag | Uw eigen documenten en gegevens, bevraagbaar gemaakt voor een algemeen model | De kennis is in het bedrijf aanwezig en medewerkers kunnen die niet snel vinden | Een evaluatieset van echte vragen met beoordeelde antwoorden, voordat er een interface wordt gebouwd |
| Een gefinetuned model | Een algemeen model dat is aangepast aan uw labels, uw formaat of uw vaktaal | Uitvoerformaat of vakjargon weegt zwaarder dan pure capaciteit, bij grote volumes | Een gemeten vergelijking met het niet-gefinetunede model op dezelfde testset |
| Een nieuw soort systeem | Modellering of engineering die voor geen enkele prijs kant-en-klaar te koop is | De taak is specifiek voor uw fysica, uw sensoren of uw gereguleerde proces | Een schriftelijke haalbaarheidsuitkomst, inclusief de voorwaarden waaronder het antwoord nee is |
De rechterkolom is het bruikbare deel van die tabel. Een bedrijf dat de eerste oplevering niet in die termen kan beschrijven, heeft het werk niet eerder gedaan, welke rij het ook claimt.
Eén vraag sorteert de meeste briefings in één gesprek
Vraag wat er al bestaat dat zeventig procent hiervan doet, en vraag daarna waarom de resterende dertig procent geen procesaanpassing kan zijn.
Beide helften tellen. De eerste helft vangt de dure fout af, want een serieus bedrijf noemt de twee of drie producten die het grootste deel van uw probleem dekken en legt uit waar ze ophouden. Een bedrijf dat beweert dat er niets bestaat, kent zijn eigen markt niet of rekent erop dat u die niet kent. De tweede helft vangt de subtielere fout af: een systeem bouwen om een stap te automatiseren die helemaal niet zou moeten plaatsvinden. Veel projecten voor documentextractie bestaan omdat een formulier elf jaar geleden slecht is ontworpen, en het formulier herstellen is goedkoper dan een model leren die rommel te lezen.
Het antwoord vertelt u ook in welk van de vier vakgebieden u zit. Als zeventig procent is gedekt en het gat integratie is, hebt u het gesprek over AI-integratie nodig, geen modelleringsproject. Als niets het dekt omdat de data alleen van u is, zit u in rij drie of vier en krijgt het budgetgesprek een andere vorm.
Vier toetsen die beslissen tussen bouwen en configureren
- Mag de data naar buiten, en bestaat die al? Een model kan niet worden gefinetuned op data die verspreid staat over vier systemen onder verschillende klantnamen. Entity resolution komt eerst, en dat is weinig glamoureus werk waar geen enkel voorstel mee wil openen. Waar de data uw omgeving helemaal niet mag verlaten, bepaalt die beperking de architectuur voordat iemand een model kiest.
- Wordt de taak vaak genoeg herhaald om de investering terug te verdienen? Maatwerk heeft vaste kosten en lopende kosten. Een taak die tweehonderd keer per dag voorkomt, verdient beide terug. Een taak die wekelijks voorkomt bijna nooit, en een mens met een goede checklist is vaker het juiste antwoord dan leveranciers toegeven.
- Wordt de nauwkeurigheid begrensd door het model of door uw data? Dit is in twee weken vast te stellen, en bijna niemand besteedt die twee weken. Als een algemeen model met goede retrieval al het grootste deel van de weg aflegt, is uw data het plafond en levert een gefinetuned model u heel weinig op. Als het algemene model faalt op een manier die meer context niet oplost, dan heeft finetunen ruimte om iets te bereiken.
- Wie beoordeelt de uitvoer, en wat gebeurt er als die fout is? Een systeem waarvan een professional de uitvoer aftekent, kan foutpercentages verdragen die een geautomatiseerd systeem niet kan verdragen. De beoordelingscapaciteit waarover u werkelijk beschikt is een harde randvoorwaarde voor het ontwerp, en het AI Risk Management Framework van NIST is een redelijke gemeenschappelijke woordenschat om die discussie te voeren met een leverancier die haar liever niet voert.
De kosten die na de factuur komen
Een abonnement verstopt het onderhoud in de prijs. Maatwerk geeft het onderhoud aan u.
Drie posten in het bijzonder ontbreken in eerste voorstellen. De eerste is evaluatie: maatwerk zonder een apart gehouden testset en een geplande herhaling kan u niet vertellen dat het slechter is geworden, en het wordt slechter, omdat uw data verandert en de onderliggende modellen onder u veranderen. De tweede is het uitfaseren van modellen. Elke grote aanbieder trekt modelversies in volgens een gepubliceerd schema, dus een systeem dat aan één versie is vastgepind heeft een gedateerde vervaldatum en iemand moet eigenaar zijn van de migratie. De derde is de persoon. Een maatwerksysteem heeft binnen uw bedrijf een eigenaar nodig die begrijpt wat het doet, en als die persoon niet in het plan wordt genoemd, wordt het systeem na ongeveer acht maanden niet meer vertrouwd, zonder dat iemand daartoe heeft besloten.
Niets hiervan pleit tegen bouwen. Het pleit ervoor het tweede jaar tegelijk met het eerste te begroten, en dat is een vraag die u aan elk bedrijf op uw shortlist moet stellen.
Vijf dingen die in een voorstel moeten staan
- Een testset die u kunt lezen. Echte voorbeelden uit uw bedrijf, met het juiste antwoord op papier, afgesproken voordat er iets wordt gebouwd. Zonder die set is elke latere discussie over kwaliteit een kwestie van mening.
- De vergelijking met niets slims doen. Wat een zoekopdracht op trefwoorden, een regelengine of een bestaand product scoort op diezelfde testset. Een voorstel dat de baseline niet wil noemen, verbergt de omvang van de winst.
- Een benoemde stopvoorwaarde. De uitkomst waarbij het bedrijf zou aanraden de aanpak te verlaten. Onderzoekswerk zonder zo'n voorwaarde wordt een lijfrente.
- De overdrachtsartefacten, opgesomd. Code, gewichten, prompts, de evaluatieset en de scripts die haar uitvoeren, de gelabelde data en het runbook, elk benoemd als iets wat u ontvangt en niet als iets wat u mag inzien.
- De kosten van het tweede jaar, op schrift. Hosting, inferentie, herevaluatie en de migratie wanneer een modelversie wordt ingetrokken.
Van wie het model, de gewichten en de prompts zijn
Hier verschilt maatwerk het scherpst van het kopen van een product, en hier zijn contracten het vaakst vaag. Vier dingen kunnen afzonderlijk eigendom zijn: de code, de getrainde gewichten, de prompts en evaluatiesets, en de gelabelde data. Een bedrijf kan u werkende code overhandigen en de gewichten houden, of u gewichten overhandigen die u niet opnieuw kunt trainen omdat de gelabelde data bij hen is gebleven. Beide regelingen komen veel voor en geen van beide is oneerlijk als het wordt uitgesproken. Wat niet aanvaardbaar is, is er aan het eind achter komen.
Stel de vraag in haar botte vorm. Als we morgen zouden stoppen met u te werken, wat hebben we dan, en kunnen we het zonder u opnieuw trainen? Het antwoord sorteert leveranciers sneller dan welke casestudy ook. Bedrijven die dit werk routinematig doen hebben een antwoord klaar, omdat elke serieuze klant het heeft gevraagd.
Een shortlist maken zonder zes weken te verliezen
Schrijf de scope één keer op, op één pagina, inclusief de testset en de baseline. Stuur diezelfde pagina daarna naar drie bedrijven uit verschillende rijen van die tabel en vergelijk wat er terugkomt. Offertes voor AI-oplossingen op maat die een factor vijf uiteenlopen, betekenen meestal dat de bedrijven de briefing als verschillende vakgebieden hebben gelezen, en dat is het nuttigste wat een offerte u kan vertellen.
Voor het vinden van leveranciers is de categorie AI-oplossingen op maat het voor de hand liggende vertrekpunt, en het loont om ook ML en data science te lezen voor het werk met gefinetunede modellen en generatieve AI wanneer de uitvoer content is in plaats van een voorspelling. Bedrijven waarvan de kracht ligt in het verbinden van dingen en minder in het bouwen ervan, staan onder AI-integratie, en opdrachten die met strategie beginnen onder AI-strategieadvies. De volledige lijst staat in de directory, en per stad als u mensen wilt die op locatie komen, waarbij San Francisco, New York en Atlanta vandaag het ruimste aanbod hebben.
Twee aanvullende artikelen zijn de tien minuten waard voordat u iets verstuurt. Wat u koopt en hoe behandelt dezelfde beslissing voor elke categorie, en de checklist voor wie voor het eerst een bureau inhuurt behandelt de contractvragen die dit artikel alleen aanstipt. Als het maatwerk dat u overweegt een chatinterface over uw eigen documenten is, dan is de ontwikkeling van custom GPT's de smallere versie van rij twee. Als het een data- en modelleringsprobleem is, beschrijft AI- en ML-advies wat zo'n opdracht inhoudt, en AI-ontwikkeldiensten behandelt de oplevering. Grotere organisaties doen er goed aan hoe u een enterprise-AI-bedrijf kiest te lezen, en wie afweegt of een vaste partner wel nodig is, leest wanneer één persoon genoeg is.
Als het schrijven van de scope het deel is waarop u vastzit, beschrijf het probleem dan hier en de directory geeft de bedrijven terug waarvan de vermelding erbij past. Bureaus die dit soort werk bouwen en nog niet zijn opgenomen, kunnen een profiel toevoegen.
Bronnen en verder lezen
De aantallen vermeldingen in dit artikel zijn afgelezen van de categoriepagina's van deze directory en veranderen naarmate er bureaus bijkomen. Voor het bredere beeld van waar de adoptie werkelijk staat, publiceren de AI Index van Stanford HAI en de Business Trends and Outlook Survey van het US Census Bureau er allebei regelmatig over, en de enquête van het Census Bureau heeft het voordeel dat ze bedrijven rechtstreeks bevraagt in plaats van leveranciers. MIT Sloan Management Review publiceert de meest consistente berichtgeving over waarom deze projecten na een pilot stilvallen. Het AI Risk Management Framework van NIST is de referentie voor de vragen over beoordeling en toezicht hierboven.