Gartner avverte da anni che una larga parte dei progetti di machine learning non arriva mai in produzione, e gli analisti che seguono il fenomeno non hanno dovuto correggere granché l'avvertimento mentre la tecnologia cambiava. La causa è raramente il modello. Il punto è che il committente e la società ingaggiata lavoravano con definizioni diverse delle parole scritte nel contratto. "Servizi di consulenza AI e ML" è un'etichetta applicata ad almeno quattro attività distinte, con prezzi diversi, personale diverso e un rischio completamente diverso. Comprare quella sbagliata non è un cattivo affare. È l'acquisto sbagliato.
Ho visto questa situazione andare storta da entrambi i lati del tavolo. Un'azienda decide di aver bisogno del machine learning, avvia una gara, confronta tre proposte che parlano tutte di "consulenza AI e ML" e sceglie quella con la tariffa giornaliera migliore. Sei mesi dopo c'è un modello ben documentato fermo in un notebook che nessuno è in grado di mettere in produzione, perché la società che ha vinto l'incarico vende ricerca e all'azienda serviva ingegneria. Nessuno ha mentito. La categoria è semplicemente troppo vaga per comprare in sicurezza.
Le quattro attività nascoste dietro un'unica etichetta
Advisory. Lavoro di strategia. Una società valuta dove il machine learning potrebbe plausibilmente ripagare il proprio costo all'interno della vostra organizzazione, mette in ordine di priorità i candidati e vi consegna una roadmap. Il risultato è un documento e una serie di decisioni. È davvero utile quando un gruppo dirigente non riesce a mettersi d'accordo su dove cominciare, ed è una costosa carta da parati quando lo sa già e cerca soltanto un'autorizzazione. Le società di advisory fatturano a progetto, in genere cifre a sei zeri per qualsiasi lavoro con un marchio riconoscibile in copertina, e non costruiscono nulla.
Data engineering. La parte maggioritaria e meno appariscente del lavoro. Prima che un modello faccia qualcosa, qualcuno deve trovare i dati, spostarli, pulirli, incrociarli e mantenerli in circolazione. La maggior parte delle aziende convinte di aver bisogno di un modello ha in realtà bisogno prima di questo, e le società oneste lo dicono al primo incontro. Si fattura a ore o a sprint, di solito da 100 a 250 dollari l'ora negli Stati Uniti per team competenti.
Sviluppo applicato di modelli. Costruire e addestrare il modello vero e proprio, che si tratti di fare il fine-tuning di un foundation model, di realizzare un sistema di previsione o di allestire una pipeline di retrieval sui vostri documenti. È ciò che i committenti immaginano quando dicono "consulenza AI", ed è la fetta più piccola del lavoro effettivo. Le tariffe sono più alte, da 150 a 400 dollari l'ora, e i professionisti migliori hanno l'agenda piena.
MLOps e responsabilità della produzione. Rilascio, monitoraggio, riaddestramento, rilevamento del drift, controllo dei costi e il turno di reperibilità per quando un modello comincia a produrre assurdità alle due del mattino. È qui che si annida davvero la statistica di Gartner sui fallimenti. Un modello che funziona in un notebook e un modello che funziona in produzione sono separati da una mole di lavoro ingegneristico che quasi nessuno mette a bilancio, e le società specializzate in questo sono quelle che vale la pena tenersi strette.
Una società che fa tutte e quattro le cose o è molto grande o promette più di quanto può mantenere. Quando vedete una struttura di dieci persone offrire l'intero stack, chiedete quale di queste attività ha svolto più di due volte.
Leggere una proposta per ciò che tralascia
In questo mercato le proposte sono scritte per reggere il confronto, e quindi sono vaghe proprio nei punti che contano. Tre omissioni vi dicono quasi tutto quello che vi serve sapere.
La prima è l'accesso ai dati. Se la proposta non specifica per quali sistemi il team avrà bisogno di credenziali e chi, nella vostra azienda, le concederà, la tempistica è pura finzione. La causa più comune di un incarico di machine learning che si arena è un team che non riesce ad arrivare ai dati per undici settimane, fatturando per tutto il tempo. Fate del piano di accesso una sezione a sé, con responsabili indicati per nome e date.
La seconda è la definizione di lavoro concluso. "Consegnare un modello funzionante" non è una definizione. Una definizione suona così: il modello gira con questa cadenza, su questa sorgente di dati, il suo output finisce in questa tabella, questa persona indicata per nome riceve un avviso quando l'accuratezza scende sotto questa soglia, e il runbook per il riaddestramento è caricato in questo repository. Le società che vendono ingegneria lo scrivono senza che glielo si chieda. Le società che vendono ricerca lo negoziano, e la loro trattativa è la risposta alla vostra domanda su che cosa fanno.
La terza è il destino del codice. La proprietà dei pesi del modello, della pipeline di addestramento, delle definizioni delle feature e della configurazione dell'infrastruttura dovrebbe essere dichiarata in una sola frase. Qui l'ambiguità non è una svista. Una pipeline che non potete far girare senza la società di consulenza è una rendita per loro e una passività per voi, e vale la pena pagare di più all'inizio per evitarla. I punti da includere in un contratto con un'agenzia AI meritano una lettura prima di firmare qualsiasi cosa in questa categoria.
Che cosa riflette davvero il prezzo
Le tariffe giornaliere in questo mercato variano di un ordine di grandezza, e la forbice non si spiega con la sola qualità. Si spiega soprattutto con tre fattori: dove si trova il team, se state comprando persone indicate per nome o risorse generiche a disposizione, e quanta parte del rischio la società ha accettato di assumersi.
Un incarico a prezzo fisso con un risultato definito costa di più all'ora rispetto a un accordo a tempo e materiali, perché la società include nel prezzo la possibilità che il lavoro duri più del previsto. Quel sovrapprezzo di solito vale la spesa per un primo progetto con un nuovo partner, e di solito non la vale più quando vi conoscete. Un accordo di staff augmentation in cui siete voi a dirigere il lavoro è il più economico all'ora e il più costoso in termini di attenzione manageriale, un costo reale che non compare mai nel foglio di calcolo comparativo.
Diffidate di chiunque indichi un prezzo prima di chiedere dei vostri dati. Lo stato dei vostri dati è la variabile singola più pesante nel costo di un progetto di machine learning, e una società che fa il prezzo senza guardarli o tira a indovinare o prevede di alzare la cifra più avanti. La nostra analisi su quanto costa un'agenzia AI entra nel dettaglio delle fasce di prezzo per tipo di incarico.
Quando la risposta onesta è che non ne avete ancora bisogno
L'indagine annuale State of AI di McKinsey ha rilevato con costanza che le organizzazioni che dichiarano un impatto finanziario reale dall'AI sono una minoranza di quelle che la adottano, e la ricerca di MIT Sloan Management Review e Boston Consulting Group è giunta a una conclusione simile sul divario tra adozione e ritorni. Lo schema dietro questi risultati non ha nulla di misterioso. Le aziende che ricavano valore dal machine learning tendono ad aver già risolto prima un problema noioso: sanno che cosa significano i loro dati, riescono a riunirli in un unico posto e qualcuno ne è responsabile.
Se non siete in grado di produrre un numero pulito, aggiornato e condiviso per qualcosa di semplice come quanti clienti attivi avete, un modello non è il vostro prossimo acquisto. Lo è il data engineering. Qualsiasi società di consulenza che vi dica il contrario vi sta vendendo la parte del progetto che le piace anziché quella che vi serve, e i sei mesi che impiegate a scoprirlo sono i sei mesi più costosi dell'incarico.
La stessa logica vale nella direzione opposta. Se avete un data warehouse pulito, una domanda definita e qualcuno all'interno in grado di mantenere ciò che viene costruito, potreste non aver affatto bisogno di una società di consulenza. Potrebbero bastarvi due buoni professionisti esterni e una scadenza. Il confronto tra un'agenzia e un team interno si riduce a quanto spesso avrete di nuovo bisogno di questa competenza.
Una breve lista di verifiche che distingue le quattro attività
- Chiedete una referenza di produzione, non un case study. Un case study descrive un progetto. Una referenza è una persona di un'altra azienda disposta a fare una telefonata e a dirvi se il sistema è ancora in funzione.
- Chiedete che cosa non costruirebbero. Una società con vera esperienza operativa ha un elenco di progetti che rifiuta. Una società che non ce l'ha accetterà qualsiasi cosa.
- Chiedete chi sarà presente alla riunione del quarto mese. Le figure senior vendono. Scoprite se si occupano anche della consegna, e fate inserire i nomi nel documento che definisce l'incarico.
- Chiedete dell'ultimo incarico andato male. La risposta vi dice sulla società più di ogni slide della presentazione. Chi sostiene che non ce ne sia mai stato uno non ha lavorato abbastanza.
- Chiedete loro di rispiegarvi i vostri stessi dati. Dopo una sessione di discovery, un team competente sa descrivere dove risiedono i vostri dati e che cosa significano con più chiarezza di voi. Se non ci riesce, non stava ascoltando.
Da dove cominciare a cercare
Il mercato di questi servizi è frammentato e in gran parte non fa pubblicità. I grandi system integrator sono visibili perché la visibilità la comprano; le società specializzate che fanno il miglior lavoro in produzione si trovano spesso a tre passaparola di distanza e non hanno alcuna funzione marketing. Per questo i committenti che partono da Google e si fermano alla prima pagina tendono a ritrovarsi con un fornitore scelto in base al budget pubblicitario.
Cercare per disciplina è un punto d'ingresso migliore che cercare per marchio. La categoria strategia e consulenza AI e la categoria machine learning e data science della nostra directory distinguono le società in base al lavoro che svolgono davvero, che è la distinzione attorno a cui ruota tutto questo articolo. Se preferite descrivere il problema una volta sola e ricevere direttamente la rosa dei candidati, potete farvi abbinare ad agenzie AI verificate e fare a meno del foglio di calcolo comparativo.
Letture di approfondimento che meritano il tempo: Gartner sul divario di produzione nell'adozione del machine learning, e la ricerca di MIT Sloan Management Review con Boston Consulting Group sul perché adozione e ritorno finanziario siano rimasti così distanti.
In sintesi
Quattro servizi condividono un solo nome. L'advisory vi dice che cosa fare, il data engineering lo rende possibile, lo sviluppo applicato lo costruisce e l'MLOps lo tiene in vita. La maggior parte dei committenti crede di acquistare il terzo e ha in realtà bisogno del secondo, e quasi nessuno mette a bilancio il quarto. Stabilite quale state comprando prima di confrontare i prezzi, perché mettere a confronto la tariffa giornaliera di una società di ricerca con quella di una società di ingegneria non è affatto un confronto.