Gartner warnt seit Jahren, dass ein großer Teil der Machine-Learning-Projekte nie in den Produktivbetrieb gelangt, und die Analysten, die das verfolgen, mussten ihre Warnung trotz des technologischen Wandels kaum anpassen. Am Modell liegt es selten. Der Grund ist, dass der Auftraggeber und das beauftragte Unternehmen die Begriffe im Vertrag unterschiedlich verstanden haben. „KI- und ML-Beratung“ ist ein Etikett für mindestens vier eigenständige Geschäftsmodelle, die unterschiedlich bepreist und unterschiedlich besetzt sind und ein völlig unterschiedliches Risiko tragen. Wer das falsche kauft, hat kein schlechtes Geschäft gemacht. Er hat das Falsche gekauft.
Ich habe von beiden Seiten des Tisches gesehen, wie das schiefgeht. Ein Unternehmen beschließt, dass es Machine Learning braucht, führt eine Ausschreibung durch, vergleicht drei Angebote, auf denen überall „KI- und ML-Beratung“ steht, und entscheidet sich für das mit dem besten Tagessatz. Sechs Monate später liegt ein gut dokumentiertes Modell in einem Notebook, das niemand in Betrieb nehmen kann, weil der Auftragnehmer Forschung verkauft und das Unternehmen Engineering gebraucht hätte. Gelogen hat niemand. Die Kategorie ist schlicht zu unscharf, um darin sicher einzukaufen.
Die vier Geschäftsmodelle hinter einem Etikett
Strategieberatung. Hier geht es um Strategiearbeit. Ein Beratungshaus prüft, wo sich Machine Learning in Ihrem Betrieb plausibel bezahlt machen könnte, bringt die Kandidaten in eine Rangfolge und übergibt Ihnen eine Roadmap. Das Ergebnis ist ein Dokument und eine Reihe von Entscheidungen. Das ist wirklich nützlich, wenn sich eine Geschäftsleitung nicht einigen kann, wo sie anfangen soll, und es ist teure Tapete, wenn sie es bereits weiß und nur eine Erlaubnis sucht. Strategieberater rechnen pro Mandat ab, in der Regel sechsstellig, sobald ein bekannter Name auf dem Deckblatt steht, und sie bauen nichts.
Data Engineering. Der unspektakuläre Hauptteil der Arbeit. Bevor ein Modell irgendetwas leistet, muss jemand die Daten finden, bewegen, bereinigen, verknüpfen und im Fluss halten. Die meisten Unternehmen, die glauben, ein Modell zu brauchen, brauchen zuerst genau das, und die ehrlichen Anbieter sagen es im ersten Gespräch. Abgerechnet wird pro Stunde oder pro Sprint, in den USA bei kompetenten Teams üblicherweise 100 bis 250 US-Dollar pro Stunde.
Angewandte Modellentwicklung. Das eigentliche Bauen und Trainieren, ob es nun um das Fine-Tuning eines Foundation-Modells geht, um ein Prognosesystem oder um eine Retrieval-Pipeline über Ihre eigenen Dokumente. Das haben Käufer vor Augen, wenn sie „KI-Beratung“ sagen, und es ist der kleinste Teil der tatsächlichen Arbeit. Die Sätze liegen höher, bei 150 bis 400 US-Dollar pro Stunde, und die besten Fachleute sind ausgebucht.
MLOps und Verantwortung für den Produktivbetrieb. Deployment, Monitoring, Retraining, Drift-Erkennung, Kostenkontrolle und die Rufbereitschaft für den Fall, dass ein Modell um zwei Uhr morgens Unsinn produziert. Hier ist die Ausfallquote von Gartner tatsächlich zu Hause. Zwischen einem Modell, das im Notebook funktioniert, und einem Modell, das im Produktivbetrieb funktioniert, liegt ein Berg an Engineering-Arbeit, für den fast niemand ein Budget einplant, und die darauf spezialisierten Anbieter sind diejenigen, die man halten sollte.
Ein Anbieter, der alle vier Leistungen erbringt, ist entweder sehr groß oder verspricht zu viel. Wenn ein Zehn-Personen-Büro das komplette Spektrum anbietet, fragen Sie, welche dieser Leistungen es mehr als zweimal erbracht hat.
Ein Angebot auf das lesen, was fehlt
Angebote in diesem Markt sind so geschrieben, dass sie den Vergleich überstehen, und deshalb bleiben sie an den entscheidenden Stellen vage. Drei Auslassungen verraten das meiste von dem, was Sie wissen müssen.
Die erste ist der Datenzugang. Wenn im Angebot nicht konkret steht, für welche Systeme das Team Zugangsdaten braucht und wer in Ihrem Unternehmen sie erteilt, ist der Zeitplan Fiktion. Die häufigste Ursache für ein festgefahrenes Machine-Learning-Projekt ist ein Team, das elf Wochen lang nicht an die Daten kommt und die ganze Zeit über abrechnet. Machen Sie den Zugangsplan zu einem eigenen Abschnitt mit namentlich genannten Verantwortlichen und Terminen.
Die zweite ist die Definition von „fertig“. „Lieferung eines funktionierenden Modells“ ist keine Definition. Eine Definition sieht so aus: Das Modell läuft nach diesem Zeitplan gegen diese Datenquelle, seine Ausgabe landet in dieser Tabelle, diese namentlich genannte Person erhält eine Warnung, wenn die Genauigkeit unter diesen Schwellenwert fällt, und das Runbook für das Retraining ist in diesem Repository eingecheckt. Anbieter, die Engineering verkaufen, schreiben das ungefragt hinein. Anbieter, die Forschung verkaufen, werden darüber verhandeln, und ihre Verhandlung beantwortet Ihre Frage danach, was sie eigentlich tun.
Die dritte ist, was mit dem Code geschieht. Das Eigentum an den Modellgewichten, der Trainingspipeline, den Feature-Definitionen und der Infrastrukturkonfiguration sollte in einem einzigen Satz geregelt sein. Unklarheit an dieser Stelle ist kein Versehen. Eine Pipeline, die Sie ohne das Beratungshaus nicht betreiben können, ist für dieses eine Rente und für Sie eine Belastung, und es lohnt sich, anfangs mehr zu zahlen, um das zu vermeiden. Die Punkte, die ein Vertrag mit einer KI-Agentur regeln sollte, lohnen die Lektüre, bevor Sie in dieser Kategorie irgendetwas unterschreiben.
Was der Preis tatsächlich abbildet
Die Tagessätze in diesem Markt unterscheiden sich um eine ganze Größenordnung, und die Spanne lässt sich nicht allein mit Qualität erklären. Sie erklärt sich vor allem aus drei Dingen: wo das Team sitzt, ob Sie namentlich benannte Personen einkaufen oder Kapazität aus einem Pool, und wie viel Risiko der Anbieter zu tragen bereit ist.
Ein Festpreisprojekt mit definiertem Ergebnis kostet pro Stunde mehr als eine Abrechnung nach Aufwand, weil der Anbieter die Möglichkeit einpreist, dass es länger dauert als gedacht. Dieser Aufschlag lohnt sich meist beim ersten Projekt mit einem neuen Partner und meist nicht mehr, sobald man einander kennt. Ein Modell der Personalüberlassung, bei dem Sie die Arbeit steuern, ist pro Stunde am günstigsten und beim Managementaufwand am teuersten, und das sind reale Kosten, die in der Vergleichstabelle nie auftauchen.
Seien Sie misstrauisch gegenüber jedem, der einen Preis nennt, bevor er nach Ihren Daten gefragt hat. Der Zustand Ihrer Daten ist die größte einzelne Variable bei den Kosten eines Machine-Learning-Projekts, und ein Anbieter, der kalkuliert, ohne sie anzusehen, rät entweder oder plant, die Zahl später anzuheben. Unsere Aufschlüsselung dazu, was eine KI-Agentur kostet, nennt die Spannen je Projektart.
Wenn die ehrliche Antwort lautet, dass Sie das noch nicht brauchen
Die jährliche State-of-AI-Umfrage von McKinsey zeigt beständig, dass die Organisationen, die von einer echten finanziellen Wirkung der KI berichten, unter denen, die sie einsetzen, in der Minderheit sind, und die Forschung von MIT Sloan Management Review und Boston Consulting Group kommt bei der Lücke zwischen Einführung und Ertrag zu einem ähnlichen Schluss. Das Muster hinter diesen Befunden ist kein Rätsel. Unternehmen, die aus Machine Learning Nutzen ziehen, haben in der Regel zuvor ein langweiliges Problem gelöst: Sie wissen, was ihre Daten bedeuten, sie können sie an einem Ort zusammenführen, und jemand ist dafür verantwortlich.
Wenn Sie für etwas so Einfaches wie die Zahl Ihrer aktiven Kunden keinen sauberen, aktuellen und intern abgestimmten Wert vorlegen können, ist ein Modell nicht Ihre nächste Anschaffung. Data Engineering ist es. Jedes Beratungshaus, das Ihnen etwas anderes erzählt, verkauft Ihnen den Teil des Projekts, der ihm Freude macht, und nicht den Teil, den Sie brauchen, und die sechs Monate, die Sie benötigen, um das herauszufinden, sind die teuersten sechs Monate des gesamten Auftrags.
Dieselbe Logik gilt in umgekehrter Richtung. Wenn Sie ein sauberes Data Warehouse, eine klar definierte Fragestellung und intern jemanden haben, der das Gebaute pflegen kann, brauchen Sie womöglich gar kein Beratungshaus. Vielleicht brauchen Sie zwei gute Freelancer und eine Frist. Der Vergleich zwischen einer Agentur und einem internen Team läuft auf die Frage hinaus, wie oft Sie diese Fähigkeit wieder brauchen werden.
Eine kurze Prüfliste, die die vier unterscheidet
- Verlangen Sie eine Referenz aus dem Produktivbetrieb, keine Fallstudie. Eine Fallstudie beschreibt ein Projekt. Eine Referenz ist eine Person in einem anderen Unternehmen, die sich ans Telefon holen lässt und Ihnen sagt, ob das System noch läuft.
- Fragen Sie, was der Anbieter nicht bauen würde. Ein Anbieter mit echter Betriebserfahrung hat eine Liste von Projekten, die er ablehnt. Ein Anbieter ohne solche Liste sagt zu allem Ja.
- Fragen Sie, wer im vierten Monat im Termin sitzt. Erfahrene Leute verkaufen. Finden Sie heraus, ob sie auch liefern, und lassen Sie die Namen in die Leistungsbeschreibung aufnehmen.
- Fragen Sie nach dem letzten Auftrag, der schlecht gelaufen ist. Die Antwort sagt Ihnen mehr über den Anbieter als jede Folie der Präsentation. Wer behauptet, es habe keinen gegeben, hat nicht genug Projekte gemacht.
- Lassen Sie sich Ihre eigenen Daten erklären. Nach einem Discovery-Workshop kann ein kompetentes Team klarer als Sie selbst beschreiben, wo Ihre Daten liegen und was sie bedeuten. Kann es das nicht, hat es nicht zugehört.
Wo die Suche beginnen sollte
Der Markt für diese Leistungen ist zersplittert, und der größte Teil davon wirbt nicht. Große Systemintegratoren sind sichtbar, weil sie Sichtbarkeit einkaufen. Die spezialisierten Anbieter, die im Produktivbetrieb die beste Arbeit leisten, erreicht man häufig erst über drei Empfehlungen, und sie haben überhaupt keine Marketingabteilung. Deshalb landen Käufer, die zuerst bei Google suchen und nach der ersten Seite aufhören, meist bei einem Anbieter, den das Werbebudget ausgewählt hat.
Die Suche nach Fachgebiet ist ein besserer Einstieg als die Suche nach Marke. Die Kategorie KI-Strategie und Beratung und die Kategorie Machine Learning und Data Science in unserem Verzeichnis trennen Anbieter nach der Arbeit, die sie tatsächlich leisten, und genau um diese Unterscheidung geht es in diesem Artikel. Wenn Sie das Problem lieber einmal beschreiben und die Auswahlliste zu sich kommen lassen, können Sie sich geprüfte KI-Agenturen vermitteln lassen und die Vergleichstabelle überspringen.
Lesenswerte Hintergrundlektüre: Gartner zur Lücke beim produktiven Einsatz von Machine Learning sowie die Forschung der MIT Sloan Management Review mit der Boston Consulting Group dazu, warum Einführung und finanzieller Ertrag so weit auseinanderliegen.
Die Kurzfassung
Vier Leistungen teilen sich einen Namen. Die Strategieberatung sagt Ihnen, was zu tun ist, Data Engineering macht es möglich, die angewandte Entwicklung baut es, und MLOps hält es am Leben. Die meisten Käufer glauben, die dritte zu kaufen, und brauchen tatsächlich die zweite, und für die vierte plant fast niemand ein Budget ein. Klären Sie, welche Sie einkaufen, bevor Sie Preise vergleichen, denn der Tagessatz eines Forschungsanbieters lässt sich mit dem eines Engineering-Anbieters überhaupt nicht vergleichen.