La frase più costosa in un contratto per servizi di consulenza AI è di solito quella che manca. I committenti negoziano con durezza la tariffa giornaliera, i tempi, il numero di ingegneri senior indicati nel capitolato, e poi firmano un documento che non dice mai chi possiede il modello addestrato, chi detiene i dati di addestramento o che cosa succede la prima volta che l'accuratezza del sistema deriva. Sei mesi dopo il progetto pilota funziona, i consulenti hanno lasciato il progetto e nessuno in azienda è in grado di riaddestrare il sistema.
Questa lacuna non nasce dalla malafede di una delle due parti. Nasce da un mercato cresciuto più in fretta della propria documentazione contrattuale. L'istituto Human-Centered AI di Stanford ha seguito l'impennata dell'adozione nelle imprese nel suo annuale AI Index Report, e McKinsey ha condotto nello stesso periodo la sua indagine State of AI. Entrambi indicano lo stesso quadro: molte organizzazioni hanno messo in produzione qualcosa, molte meno sanno dimostrare che cosa ha reso. La proprietà è una delle ragioni. Un sistema che non siete in grado di mantenere smette di produrre valore nel momento in cui chi lo ha costruito esce dall'edificio.
Questa è una guida al lato del passaggio di consegne nei servizi di consulenza AI, scritta per chi firma l'ordine d'acquisto e non per chi scrive il codice. Tratta le quattro cose che conviene definire prima dell'avvio dei lavori, le domande che cambiano una proposta se poste per tempo e ciò che una società competente dichiara spontaneamente, senza bisogno di insistere.
Una fattura, tre finali molto diversi
Venduto sotto l'unica etichetta di servizi di consulenza AI, un incarico può concludersi in uno di tre stati, e la differenza vale più del compenso.
Nel primo, possedete un sistema funzionante e la capacità di gestirlo. Il codice è nel vostro repository, i pesi del modello o la configurazione di fine-tuning sono nel vostro account di archiviazione, la pipeline dei dati gira su un'infrastruttura che pagate direttamente, e due dei vostri ingegneri hanno rilasciato una modifica sotto supervisione prima della chiusura dell'incarico. La società di consulenza potrebbe sparire domani e il sistema continuerebbe a funzionare.
Nel secondo, possedete un sistema funzionante e nient'altro. Il codice è stato consegnato, ma viene distribuito attraverso una pipeline che la società ha costruito sui propri strumenti, il modello è stato addestrato in un account che non controllate e l'unica documentazione è la presentazione dell'incontro conclusivo. Il sistema funziona finché non smette di funzionare, e le uniche persone in grado di ripararlo mandano una fattura.
Nel terzo, possedete un report. Accade più spesso di quanto il settore ammetta, e non è sempre un fallimento. Un vero incarico di valutazione che dice a un'azienda di non costruire qualcosa si è guadagnato il compenso. Il fallimento è pagare prezzi da valutazione per ciò che credevate fosse una realizzazione.
| Finale | Che cosa vi resta in mano | Quanto vi costa in seguito |
|---|---|---|
| Sistema gestibile in autonomia | Codice, dati, artefatti del modello, percorso di deployment e un team che ha già rilasciato una modifica | Le vostre ore di manutenzione, e una società che potete richiamare per scelta |
| Sistema dipendente | Un sistema in funzione su strumenti e account che non controllate | Un canone di assistenza che non potete mettere a gara, con il prezzo fissato dall'unica società in grado di fare il lavoro |
| Solo report | Una raccomandazione, una roadmap e nessun software funzionante | Un secondo giro di selezione dei fornitori, a meno che il report fosse ciò che avevate comprato |
Quale dei tre vi ritroverete si decide nel capitolato, non nell'ultimo mese. Se state ancora confrontando le società, le domande della nostra guida su che cosa chiedere prima di ingaggiare un'agenzia AI sono il punto da cui partire, e la nostra checklist per chi ingaggia per la prima volta copre gli aspetti operativi dell'acquisto che le accompagnano.
Il modello non è il deliverable
I committenti tendono a immaginare il modello addestrato come la cosa che stanno acquistando, così come un edificio è la cosa che si acquista da un'impresa edile. Il paragone regge poco. Un modello addestrato è l'istantanea di un dataset in un dato momento, e il suo valore decade man mano che il mondo su cui è stato addestrato cambia. Ciò che vi serve davvero possedere è la capacità di produrre il modello successivo, che è un bene diverso, fatto di parti diverse.
Questo bene ha quattro componenti, e un contratto dovrebbe nominarle tutte e quattro:
- La pipeline di addestramento. Il codice che prende i dati grezzi e produce un modello candidato, compresi il feature engineering, il preprocessing e la suite di valutazione. Senza la suite di valutazione non potete stabilire se il modello successivo sia migliore o peggiore di quello attuale.
- I dati di addestramento, e il diritto di continuare a usarli. Se una parte del dataset è stata concessa in licenza, acquistata, raccolta tramite scraping o fornita da terzi, l'accordo dovrebbe dire che cosa accade a quel diritto quando l'incarico termina.
- Gli artefatti del modello. Pesi, adapter, configurazioni di fine-tuning, template di prompt, indici di retrieval. Conservati dove potete raggiungerli voi, non soltanto dove può raggiungerli la società di consulenza.
- Il percorso di deployment. Come un nuovo modello passa da un portatile alla produzione, e chi è autorizzato a premere il pulsante.
Una società che costruisce sistemi su misura di mestiere avrà un'opinione su ciascuno di questi punti prima che li solleviate. Una società che esita sul secondo vi sta dicendo qualcosa di utile su come è stato assemblato il dataset.
Chi tiene le chiavi dei dati
La proprietà dei dati è raramente il punto controverso. Quasi ogni società seria accetterà di mettere per iscritto che i vostri dati restano vostri. Il punto controverso è l'accesso, ed è l'accesso a decidere chi avrà il coltello dalla parte del manico dopo due anni.
Tre assetti sono comuni. La società di consulenza lavora all'interno del vostro account cloud con credenziali che emettete e potete revocare voi: è la soluzione più pulita e quella da chiedere. La società di consulenza lavora nel proprio ambiente e i vostri dati vi vengono copiati per la durata dell'incarico: è praticabile se il contratto fissa una data di cancellazione e indica chi la conferma. Oppure la società di consulenza lavora su una piattaforma condivisa che gestisce per più clienti: può essere gestita benissimo e resta comunque l'assetto che vi lascia meno possibilità di rivalsa se il rapporto si guasta.
Chiedete dove risiederanno fisicamente i dati, chiedete chi nella società può leggerli e chiedete qual è la procedura di offboarding. La risposta alla terza domanda è quella che distingue le società che hanno già gestito l'uscita di un cliente da quelle che non l'hanno mai fatto.
I settori regolamentati aggiungono un ulteriore livello. Se operate sotto norme di settore che riguardano dati personali, registrazioni finanziarie o informazioni cliniche, il contratto deve trasferire quegli obblighi alla società di consulenza e a ogni subresponsabile del trattamento di cui si avvale. Le nostre note su che cosa deve contenere un contratto con un'agenzia AI esaminano le clausole più in dettaglio.
Il riaddestramento è un costo, non una cortesia
Ogni sistema di AI costruito su dati del mondo reale si degrada, e nessun contratto per servizi di consulenza AI abroga questo fatto. Il comportamento dei clienti cambia, i cataloghi dei prodotti si modificano, il fornitore a monte aggiorna la sua API, un fornitore di modelli ritira la versione su cui avete fatto il fine-tuning. Nulla di tutto ciò è un difetto del lavoro originale. È il tempo ordinario che si incontra gestendo un modello in produzione, e costa denaro ogni anno.
La maggior parte delle proposte di servizi di consulenza AI quota la realizzazione e tratta la gestione come un discorso da fare più avanti. Anticipate quel discorso. Prima di firmare, fatevi dare una cifra per quanto costa mantenere affidabile il sistema per dodici mesi: monitoraggio, rivalutazione periodica, riaddestramento quando la valutazione lo richiede e le ore di ingegneria per rilasciare il modello riaddestrato. Se la società non sa produrre quella cifra, o non ha mai gestito un sistema in produzione oppure spera che non lo chiediate finché non sarete vincolati.
La cifra in sé conta meno di ciò che comporta per il vostro confronto. Una realizzazione quotata a un certo prezzo con una pesante coda di manutenzione annuale può facilmente costare di più, in tre anni, di una realizzazione quotata più in alto con un vero passaggio di consegne. La nostra analisi di quanto costa davvero il lavoro di un'agenzia AI riporta le fasce di prezzo per i tipi di incarico più comuni.
Il runbook che nessuno chiede
La cosa meno costosa in assoluto che potete aggiungere a un capitolato è un documento operativo esplicitamente indicato, consegnato prima del pagamento finale, che un ingegnere competente che non ha mai visto il progetto sarebbe in grado di seguire.
Dovrebbe spiegare come eseguire la pipeline di addestramento dall'inizio alla fine, come leggere i risultati della valutazione e che cosa significa ogni numero in termini di business, le modalità di guasto incontrate dal team durante la realizzazione e come sono state risolte, le soglie oltre le quali qualcuno deve intervenire e il percorso di escalation quando il modello produce qualcosa che non dovrebbe. Chiedetelo come deliverable con criteri di accettazione, non come una riga nella presentazione di chiusura.
Le società oppongono resistenza meno spesso di quanto i committenti si aspettino. Scriverlo richiede un giorno o due di lavoro, e una società che intende aggiudicarsi il contratto di manutenzione ha interesse a che il sistema sia leggibile. Le società che resistono sono di solito quelle il cui margine dipende dall'essere le uniche a capire ciò che hanno costruito.
Affiancate al runbook una sessione di trasferimento che sia una sessione di lavoro e non una presentazione. I vostri ingegneri dovrebbero apportare una modifica reale, eseguire la valutazione e metterla in produzione mentre la società di consulenza è ancora sotto contratto e ancora responsabile. Un passaggio di consegne che nessuno ha provato è un documento, non un passaggio di consegne. Lo stesso principio guida il confronto nel nostro articolo sull'integrazione dell'AI con un'agenzia o con risorse interne.
Sei domande che cambiano la proposta
Ponetele prima del secondo incontro, e le proposte che riceverete saranno più oneste e più facili da confrontare.
- Al termine di questo incarico, quale dei tre finali descritti sopra stiamo comprando? Chiedete di rispondere in questi termini.
- Dove risiederanno gli artefatti del modello, nell'account di chi, e chi può cancellarli?
- Quanto costa mantenerlo in funzione per dodici mesi dopo la vostra uscita?
- Quali parti dei dati di addestramento non sono nostre, e che cosa accade al nostro diritto di usarle?
- Indicate un cliente il cui team ha preso in carico la gestione di ciò che avete costruito. Come si è svolto il trasferimento?
- Se tra diciotto mesi volessimo affidare tutto a un'altra società, che cosa le servirebbe da parte vostra?
La sesta domanda è quella da osservare con attenzione. Una società sicura del proprio lavoro risponde in modo diretto, perché conta di vincere sui risultati e non sugli ostacoli. Una società che la tratta come una domanda ostile vi ha detto come finirà il rapporto.
Da dove iniziare a cercare
Non esiste un unico tipo giusto di società che vende servizi di consulenza AI, né una classifica che risolva la questione per voi. Una società di consulenza a vocazione strategica è la scelta giusta quando la decisione stessa è ancora aperta e il rischio è costruire la cosa sbagliata. Una società di ingegneria orientata alla delivery è la scelta giusta quando la decisione è presa e il rischio sta nella realizzazione. Uno specialista di data science è la scelta giusta quando la parte difficile è il modello e non il sistema che lo circonda. Ciò che conta è che la società scelta sia onesta su quale delle tre è, e che il contratto lo rifletta.
La directory ordina le società proprio secondo questa distinzione. Consultate le società di strategia e consulenza AI quando la domanda è che cosa costruire, gli specialisti di machine learning e data science quando la parte difficile è il modello, e le società di integrazione AI quando il lavoro consiste nel collegare un modello a sistemi che già gestite.
Se preferite descrivere il problema una sola volta e lasciare che siano le società adatte a venire da voi, diteci che cosa state cercando di costruire e vi indicheremo le agenzie della nostra directory che corrispondono al lavoro. Non costa nulla e non c'è alcun obbligo di ingaggiare qualcuno.
Comprate i servizi di consulenza AI alle condizioni del passaggio di consegne e non a quelle della fattura. Definite la proprietà prima di definire il prezzo. Le società che vale la pena ingaggiare vi rispetteranno per averlo chiesto, e quelle che si irrigidiscono vi hanno fatto risparmiare un anno.
Fonti
- Stanford Institute for Human-Centered Artificial Intelligence, AI Index Report, annuale.
- McKinsey & Company, The State of AI, indagine annuale.