KI-Beratung: Was Ihnen nach Projektende tatsächlich gehört

Der teuerste Satz in einem Vertrag über KI-Beratung ist meist der, der fehlt. Käufer verhandeln hart über den Tagessatz, über den Zeitplan, über die Zahl der im Leistungsverzeichnis namentlich genannten Senior Engineers, und unterschreiben dann ein Dokument, das an keiner Stelle festhält, wem das trainierte Modell gehört, wer die Trainingsdaten hält oder was geschieht, wenn die Genauigkeit des Systems zum ersten Mal nachlässt. Sechs Monate später funktioniert der Pilot, die Berater sind abgezogen, und niemand im Unternehmen kann das System neu trainieren.

Diese Lücke entsteht nicht durch bösen Willen auf einer der beiden Seiten. Sie entsteht, weil der Markt schneller gewachsen ist als seine eigenen Vertragswerke. Das Human-Centered AI Institute der Stanford University dokumentiert den sprunghaften Anstieg der Nutzung in Unternehmen in seinem jährlichen AI Index Report, und McKinsey hat im selben Zeitraum seine Umfrage State of AI durchgeführt. Beide zeigen dasselbe Bild: Viele Organisationen haben etwas in Betrieb genommen, weit weniger können belegen, was es eingebracht hat. Die Eigentumsfrage ist einer der Gründe dafür. Ein System, das Sie nicht warten können, erzeugt keinen Wert mehr, sobald die Menschen, die es gebaut haben, das Haus verlassen.

Dieser Leitfaden behandelt die Übergabeseite der KI-Beratung und richtet sich an die Person, die die Bestellung unterschreibt, nicht an die Person, die den Code schreibt. Er beschreibt die vier Punkte, die vor Arbeitsbeginn geklärt sein sollten, die Fragen, die ein Angebot verändern, wenn man sie früh stellt, und das, was ein fähiges Beratungshaus von sich aus anspricht, ohne dass man nachhaken muss.

Eine Rechnung, drei sehr unterschiedliche Ausgänge

Unter dem einen Etikett KI-Beratung kann ein Auftrag in einem von drei Zuständen enden, und der Unterschied ist mehr wert als das Honorar.

Im ersten Fall gehört Ihnen ein funktionierendes System samt der Fähigkeit, es zu betreiben. Der Code liegt in Ihrem Repository, die Modellgewichte oder die Fine-Tuning-Konfiguration liegen in Ihrem Speicherkonto, die Datenpipeline läuft auf Infrastruktur, die Sie direkt bezahlen, und zwei Ihrer eigenen Ingenieure haben vor Abschluss des Auftrags unter Aufsicht eine Änderung ausgeliefert. Das Beratungshaus könnte morgen verschwinden, und das System würde weiterlaufen.

Im zweiten Fall gehört Ihnen ein funktionierendes System und sonst nichts. Der Code wurde geliefert, wird aber über eine Pipeline ausgerollt, die die Firma auf ihren eigenen Werkzeugen aufgebaut hat, das Modell wurde in einem Konto trainiert, das Sie nicht kontrollieren, und die einzige Dokumentation ist der Foliensatz der Abschlusspräsentation. Das System läuft, bis es nicht mehr läuft, und die einzigen Menschen, die es reparieren können, schicken dafür eine Rechnung.

Im dritten Fall gehört Ihnen ein Bericht. Das kommt häufiger vor, als die Branche zugibt, und es ist nicht immer ein Misserfolg. Ein echtes Assessment, das einem Unternehmen davon abrät, etwas zu bauen, hat sein Honorar verdient. Der Misserfolg besteht darin, Assessment-Preise für etwas zu zahlen, das man für eine Entwicklung gehalten hat.

Welcher der drei Ausgänge es wird, entscheidet sich im Leistungsverzeichnis, nicht im letzten Monat. Wenn Sie noch Firmen vergleichen, sind die Fragen in unserem Leitfaden dazu, was Sie vor der Beauftragung einer KI-Agentur fragen sollten, der richtige Ausgangspunkt, und unsere Checkliste für die erste Beauftragung behandelt die Beschaffungsabläufe drumherum.

Das Modell ist nicht das Lieferergebnis

Käufer stellen sich das trainierte Modell gern als das vor, was sie erwerben, so wie man von einem Bauunternehmer ein Gebäude erwirbt. Der Vergleich trägt nicht weit. Ein trainiertes Modell ist die Momentaufnahme eines Datensatzes zu einem bestimmten Zeitpunkt, und sein Wert schwindet, während sich die Welt verändert, auf der es trainiert wurde. Was Ihnen tatsächlich gehören muss, ist die Fähigkeit, das nächste Modell herzustellen, und das ist ein anderer Vermögenswert, der aus anderen Teilen besteht.

Dieser Vermögenswert hat vier Bestandteile, und ein Vertrag sollte alle vier benennen:

• Die Trainingspipeline. Der Code, der aus Rohdaten ein Kandidatenmodell erzeugt, einschließlich Feature Engineering, Vorverarbeitung und Evaluierungssuite. Ohne die Evaluierungssuite können Sie nicht erkennen, ob das nächste Modell besser oder schlechter ist als das aktuelle.
• Die Trainingsdaten und das Recht, sie weiter zu nutzen. Wurde irgendein Teil des Datensatzes lizenziert, gekauft, per Scraping gewonnen oder von einem Dritten geliefert, sollte die Vereinbarung festhalten, was mit diesem Recht geschieht, wenn der Auftrag endet.
• Die Modellartefakte selbst. Gewichte, Adapter, Fine-Tuning-Konfigurationen, Prompt-Vorlagen, Retrieval-Indizes. Gespeichert dort, wo Sie darauf zugreifen können, nicht nur dort, wo das Beratungshaus es kann.
• Der Deployment-Pfad. Wie ein neues Modell vom Laptop in die Produktion gelangt und wer den Knopf drücken darf.

Eine Firma, die vom Bau individueller Systeme lebt, hat zu jedem dieser Punkte eine Meinung, bevor Sie ihn ansprechen. Eine Firma, die beim zweiten Punkt zögert, verrät Ihnen etwas Nützliches darüber, wie der Datensatz zusammengestellt wurde.

Wer die Schlüssel zu den Daten hält

Das Eigentum an den Daten ist selten der strittige Punkt. Fast jede seriöse Firma bestätigt schriftlich, dass Ihre Daten Ihre bleiben. Strittig ist der Zugriff, und der Zugriff entscheidet darüber, wer nach zwei Jahren am längeren Hebel sitzt.

Drei Konstellationen sind üblich. Das Beratungshaus arbeitet in Ihrem Cloud-Konto mit Zugangsdaten, die Sie ausstellen und widerrufen können: Das ist die sauberste Lösung und die, die Sie verlangen sollten. Das Beratungshaus arbeitet in seiner eigenen Umgebung, und Ihre Daten werden für die Dauer des Auftrags dorthin kopiert: Das ist tragfähig, wenn der Vertrag ein Löschdatum festlegt und benennt, wer die Löschung bestätigt. Oder das Beratungshaus arbeitet auf einer gemeinsamen Plattform, die es für mehrere Kunden betreibt: Sie kann tadellos geführt sein und ist dennoch die Konstellation, die Ihnen die wenigsten Handlungsmöglichkeiten lässt, wenn die Beziehung in die Brüche geht.

Fragen Sie, wo die Daten physisch liegen werden, fragen Sie, wer in der Firma sie lesen kann, und fragen Sie nach dem Offboarding-Verfahren. Die Antwort auf die dritte Frage trennt Firmen, die schon einmal Kunden übergeben haben, von Firmen, die das noch nie getan haben.

Regulierte Branchen bringen eine weitere Ebene mit. Wenn Sie branchenspezifischen Regeln zu personenbezogenen Daten, Finanzunterlagen oder klinischen Informationen unterliegen, muss der Vertrag diese Pflichten an das Beratungshaus und an jeden von ihm eingesetzten Unterauftragsverarbeiter weitergeben. Unsere Hinweise dazu, was in einen Vertrag mit einer KI-Agentur gehört, gehen die Klauseln ausführlicher durch.

Retraining ist ein Kostenfaktor, keine Gefälligkeit

Jedes KI-System, das auf Daten aus der realen Welt aufbaut, lässt nach, und kein Vertrag über KI-Beratung setzt das außer Kraft. Das Kundenverhalten verschiebt sich, Produktkataloge ändern sich, der vorgelagerte Anbieter aktualisiert seine API, ein Modellanbieter stellt die Version ein, auf der Ihr Fine-Tuning beruht. Nichts davon ist ein Mangel der ursprünglichen Arbeit. Es ist das gewöhnliche Wetter beim Betrieb eines Modells in der Produktion, und es kostet jedes Jahr Geld.

Die meisten Angebote für KI-Beratung beziffern die Entwicklung und behandeln den Betrieb als Thema für später. Ziehen Sie dieses Gespräch vor. Lassen Sie sich vor der Unterschrift eine Zahl dafür nennen, was es kostet, das System zwölf Monate lang verlässlich zu halten: Monitoring, regelmäßige Neubewertung, Retraining, wenn die Evaluierung es verlangt, und die Ingenieursstunden für die Auslieferung des neu trainierten Modells. Kann die Firma diese Zahl nicht liefern, hat sie entweder noch nie ein System in der Produktion betrieben, oder sie hofft, dass Sie erst fragen, wenn Sie gebunden sind.

Die Zahl selbst ist weniger wichtig als das, was sie mit Ihrem Vergleich macht. Eine Entwicklung zu einem bestimmten Preis mit einem hohen jährlichen Wartungsanteil kann über drei Jahre leicht mehr kosten als eine höher angebotene Entwicklung mit einer echten Übergabe. Unsere Aufschlüsselung dazu, was die Arbeit einer KI-Agentur tatsächlich kostet, zeigt die Spannen für die gängigen Auftragsarten.

Das Runbook, nach dem niemand fragt

Das Günstigste, was Sie in ein Leistungsverzeichnis aufnehmen können, ist ein namentlich benanntes Betriebsdokument, das vor der Schlusszahlung geliefert wird und dem ein fähiger Ingenieur folgen könnte, der das Projekt nie gesehen hat.

Es sollte beschreiben, wie die Trainingspipeline von Anfang bis Ende ausgeführt wird, wie die Evaluierungsergebnisse zu lesen sind und was jede Zahl geschäftlich bedeutet, welche Fehlerbilder dem Team während der Entwicklung begegnet sind und wie es sie gelöst hat, ab welchen Schwellenwerten jemand eingreifen sollte und welcher Eskalationsweg gilt, wenn das Modell etwas ausgibt, das es nicht ausgeben sollte. Verlangen Sie es als Lieferergebnis mit Abnahmekriterien, nicht als Zeile im Abschlussfoliensatz.

Firmen sträuben sich dagegen seltener, als Käufer erwarten. Das Schreiben kostet ein bis zwei Arbeitstage, und eine Firma, die den Wartungsvertrag gewinnen will, hat ein Interesse daran, dass das System nachvollziehbar ist. Es sträuben sich meist die Firmen, deren Marge davon abhängt, dass nur sie verstehen, was sie gebaut haben.

Ergänzen Sie das Runbook um eine Übergabesitzung, die eine Arbeitssitzung ist und keine Präsentation. Ihre Ingenieure sollten eine echte Änderung vornehmen, die Evaluierung ausführen und die Änderung ausrollen, solange das Beratungshaus noch bezahlt wird und noch haftet. Eine Übergabe, die niemand geprobt hat, ist ein Dokument, keine Übergabe. Dasselbe Prinzip prägt den Vergleich in unserem Beitrag über KI-Integration mit einer Agentur oder im eigenen Haus.

Sechs Fragen, die das Angebot verändern

Stellen Sie diese Fragen vor dem zweiten Termin, und die Angebote, die zurückkommen, werden ehrlicher und leichter vergleichbar sein.

1. Welchen der drei oben beschriebenen Ausgänge kaufen wir am Ende dieses Auftrags? Bitten Sie um eine Antwort in genau diesen Begriffen.
2. Wo werden die Modellartefakte liegen, in wessen Konto, und wer kann sie löschen?
3. Was kostet es, das System nach Ihrem Abzug zwölf Monate lang weiter zu betreiben?
4. Welche Teile der Trainingsdaten gehören nicht uns, und was geschieht mit unserem Recht, sie zu nutzen?
5. Nennen Sie einen Kunden, dessen Team den Betrieb dessen übernommen hat, was Sie gebaut haben. Wie sah die Übergabe aus?
6. Wenn wir das System in achtzehn Monaten zu einer anderen Firma verlagern wollten, was würde diese Firma von Ihnen benötigen?

Auf die sechste Frage sollten Sie besonders achten. Eine Firma, die ihrer Arbeit vertraut, beantwortet sie direkt, weil sie damit rechnet, durch Ergebnisse zu überzeugen und nicht durch Reibungsverluste. Eine Firma, die sie als feindselige Frage auffasst, hat Ihnen gesagt, wie die Beziehung endet.

Wo die Suche beginnt

Es gibt nicht die eine richtige Art von Firma für KI-Beratung und keine Rangliste, die Ihnen die Entscheidung abnimmt. Ein strategisch ausgerichtetes Beratungshaus ist die richtige Wahl, wenn die Entscheidung selbst noch offen ist und das Risiko darin liegt, das Falsche zu bauen. Eine umsetzungsorientierte Engineering-Firma ist die richtige Wahl, wenn die Entscheidung gefallen ist und das Risiko in der Entwicklung liegt. Ein Data-Science-Spezialist ist die richtige Wahl, wenn das Modell der schwierige Teil ist und nicht das System darum herum. Entscheidend ist, dass die gewählte Firma ehrlich sagt, welcher der drei Typen sie ist, und dass der Vertrag das widerspiegelt.

Das Verzeichnis ordnet Firmen nach genau dieser Unterscheidung. Sehen Sie sich Firmen für KI-Strategie und Beratung an, wenn die Frage lautet, was gebaut werden soll, Spezialisten für maschinelles Lernen und Data Science, wenn das Modell der schwierige Teil ist, und Firmen für KI-Integration, wenn es darum geht, ein Modell mit Systemen zu verbinden, die Sie bereits betreiben.

Wenn Sie das Problem lieber einmal beschreiben und passende Firmen auf sich zukommen lassen möchten, sagen Sie uns, was Sie bauen wollen, und wir nennen Ihnen die Agenturen aus unserem Verzeichnis, die zu der Aufgabe passen. Das kostet nichts, und es besteht keine Verpflichtung, jemanden zu beauftragen.

Kaufen Sie KI-Beratung zu den Bedingungen der Übergabe und nicht zu den Bedingungen der Rechnung. Klären Sie das Eigentum, bevor Sie den Preis klären. Die Firmen, die eine Beauftragung wert sind, werden Sie für die Frage respektieren, und die, die zurückzucken, haben Ihnen ein Jahr erspart.

Quellen

• Stanford Institute for Human-Centered Artificial Intelligence, AI Index Report, jährlich.
• McKinsey & Company, The State of AI, jährliche Umfrage.