Agenzia di ricerca AI: due mestieri diversi sotto lo stesso nome

Chiedete a dieci aziende che cosa fa un'agenzia di ricerca AI e otterrete due risposte che non hanno quasi nulla in comune. Metà descrive una società che integra un motore di ricerca in un prodotto, in modo che un cliente che digita una domanda formulata a metà in una casella di assistenza riceva il documento giusto invece di una corrispondenza per parole chiave. L'altra metà descrive una società che lavora all'esterno dell'azienda e cerca di far citare un brand quando qualcuno chiede un consiglio a ChatGPT o agli AI Overviews di Google. Entrambi i mestieri sono reali. Entrambi vengono venduti con la stessa espressione. I budget, le competenze e le persone che dovrebbero guidare il progetto sono diversi sotto ogni aspetto, e un acquirente che conferma la categoria senza confermare quale mestiere sta comprando perde un trimestre per scoprirlo.

Non è una questione di etichette. Questa distinzione decide a chi affidate l'incarico, che cosa deve contenere una proposta e che cosa conta come lavoro riuscito. È facile da fare una volta che qualcuno la indica, e quasi nessuno lo fa.

Un'espressione, due mestieri

Il primo mestiere è ingegneria. Una società di questo settore prende i contenuti che già possedete, che possono essere un catalogo prodotti, un insieme di documentazione, un archivio di sinistri o dieci anni di ticket di assistenza, e vi costruisce sopra un sistema di recupero delle informazioni. La versione moderna di questo lavoro utilizza embedding e un indice vettoriale affinché una query corrisponda al significato e non alle parole esatte, di solito in combinazione con il ranking tradizionale per parole chiave, perché la ricerca puramente semantica gestisce nomi, codici articolo e date peggio di quanto ci si aspetti. Il risultato consegnato è un sistema in funzione dentro il vostro prodotto, e a giudicarlo sono i vostri ingegneri e i vostri utenti.

Il secondo mestiere è più vicino alle pubbliche relazioni che al software. Una società di questo settore studia come gli assistenti compongono una risposta, che cosa citano quando lo fanno e che cosa porta una fonte a essere citata al posto di un'altra. Il lavoro che ne segue riguarda contenuti, struttura, markup tecnico e quel tipo di copertura da parte di terzi che offre a un modello qualcosa a cui rimandare. Nulla viene rilasciato nel vostro prodotto. Ciò che cambia è se il vostro nome compare quando qualcuno pone una domanda di cui vorreste essere la risposta.

Le società che fanno il primo vendono a un responsabile di prodotto o a un direttore tecnico. Quelle che fanno il secondo vendono a un responsabile marketing. Capita spesso che un'azienda ascolti una presentazione commerciale, affidi l'incarico all'altro reparto e lasci passare otto settimane prima che qualcuno noti l'incongruenza.

Stampate questa tabella e mettetela davanti a chi sta per firmare. Un'agenzia di ricerca AI adatta alla colonna di sinistra è la scelta sbagliata per la colonna di destra, e il contrario è altrettanto vero.

Di quale dei due ha davvero bisogno il vostro problema

Prima di affidare un incarico a un'agenzia di ricerca AI, la domanda che chiude la questione è breve. Dove avviene la ricerca, e chi la effettua?

• Se la persona che cerca è già vostra cliente, ha già effettuato l'accesso e cerca dentro qualcosa che vi appartiene, la risposta è il mestiere di ingegneria. Il difetto che state correggendo è che la vostra ricerca interna funziona male.
• Se la persona che cerca non ha mai sentito parlare di voi e chiede a un assistente chi ingaggiare, la risposta è il mestiere della visibilità. Il difetto che state correggendo è che siete invisibili nel momento della domanda.
• Se entrambe le cose sono vere, si tratta di due progetti con due budget, e quello di ingegneria ha quasi sempre il ritorno più chiaro, perché si misura su un sistema che controllate e non su un modello che qualcun altro riaddestra senza avvisarvi.

Le aziende con un ampio patrimonio di contenuti propri, vale a dire chiunque operi nelle assicurazioni, nei servizi legali, nella manifattura, nell'amministrazione sanitaria o nel software aziendale, di solito comprano il primo e descrivono il secondo, perché l'espressione che hanno sentito è quella circolata sulla stampa di settore. Le aziende che vendono un servizio a un numero ristretto di acquirenti di alto valore di solito comprano il secondo e sprecherebbero denaro con il primo.

Che cosa mette a preventivo il lato ingegneria, e che cosa lascia fuori

Una proposta seria per un lavoro di ricerca lato prodotto copre cinque punti, e una proposta che ne salta anche solo uno ha spostato la parte difficile in una fattura successiva.

• Acquisizione e suddivisione dei documenti. Il modo in cui i vostri documenti vengono suddivisi conta più del modello. Un contratto diviso nel punto sbagliato risponde a metà domanda con piena sicurezza.
• Il progetto del recupero in sé. Chiedete se adottano il recupero ibrido e come gestiscono i casi di corrispondenza esatta. Una società che sostiene che bastino gli embedding non ha gestito questo sistema in produzione con codici prodotto reali.
• Valutazione. Devono esistere un set di domande etichettate e un numero associato prima che il lavoro inizi, così che «migliore» sia una misura e non una demo. È l'aspetto più affidabile su cui fare domande, perché le società che lo praticano ne parlano senza che glielo si chieda.
• Latenza e costo per query al vostro volume reale. Entrambi vanno bene in un prototipo ed entrambi sono il motivo per cui questi progetti vengono cancellati al quinto mese.
• Chi lo gestisce dopo. Un sistema di recupero si degrada man mano che i contenuti crescono. Qualcuno deve reindicizzare, rivalutare e ricalibrare, e quel qualcuno è nel vostro organico oppure in un contratto di servizio continuativo.

La stessa disciplina vale per la proprietà, che è la parte che gli acquirenti dimenticano di definire mentre sono ancora entusiasti della demo. Il nostro articolo su che cosa possedete davvero quando un incarico si conclude esamina le domande nel dettaglio, e queste si applicano a un progetto di ricerca con più forza che alla maggior parte dei lavori, perché l'indice, il set di valutazione e le calibrazioni sono tutti elementi che una società può trattenere in modo del tutto ragionevole se nessuno stabilisce diversamente.

Che cosa può promettere il lato visibilità, e che cosa no

La versione onesta di questo mestiere merita di essere comprata, e un'agenzia di ricerca AI che lavora sul lato visibilità può guadagnarsi il proprio compenso. La versione disonesta è ovunque, e si riconosce da un unico segnale: un posizionamento garantito. Nessuno controlla ciò che dice un modello. Gli assistenti cambiano il proprio comportamento di recupero secondo un calendario che nessuno fuori dai laboratori conosce, e una società che vi promette una posizione o non ha capito il sistema o conta sul fatto che non verificherete.

Ciò che una buona società promette è il metodo. Vi dirà quali domande prende di mira, quali fonti vengono citate oggi per quelle domande, che cosa intende pubblicare o correggere e come misurerà se la quota di citazioni si muove. Questo è un incarico ragionevole. Le nostre guide sulla differenza tra ottimizzazione per i motori di risposta, ottimizzazione per i motori generativi e ottimizzazione per i motori di ricerca e su come farsi raccomandare dagli assistenti AI spiegano che cosa comporta il lavoro, e che cosa verificare prima di ingaggiare un'agenzia AEO ne copre il lato dell'acquisto.

Vale la pena leggere i gruppi di ricerca che seguono questo cambiamento prima di commissionare qualsiasi cosa. L'Institute for Human-Centered Artificial Intelligence di Stanford pubblica ogni anno l'AI Index, e l'indagine annuale State of AI di McKinsey registra dove le aziende stanno effettivamente mettendo questo denaro, e non dove i fornitori dicono che dovrebbero metterlo.

La conversazione che seleziona le società in dieci minuti

Non serve una formazione tecnica per porre queste domande a un'agenzia di ricerca AI. Tre domande fanno la maggior parte del lavoro, e le risposte separano subito i due mestieri.

• «Ciò che consegnate funziona dentro il nostro prodotto o al di fuori?» Una società che non sa rispondere in una frase vi sta vendendo una categoria e non un servizio.
• «Qual è il numero che ci dice che ha funzionato, e chi lo misura?» La risposta di ingegneria è una metrica di recupero su un set di domande. La risposta di visibilità è la quota di citazioni su un elenco definito di domande. Tutto il resto è un racconto.
• «Mostratemi l'ultima volta che non ha funzionato e che cosa avete cambiato.» Ogni società che ha consegnato l'uno o l'altro tipo di lavoro ha un caso da raccontare. Quelle che non ne hanno non hanno consegnato nulla.

Fate queste domande prima di chiedere il prezzo. Una società che risponde con chiarezza a tutte e tre merita una conversazione sulle tariffe, e la nostra guida alle domande da porre a un'agenzia AI prima di ingaggiarla contiene l'elenco più lungo per il secondo incontro.

Da dove iniziare a cercare

Non esiste un unico tipo di agenzia di ricerca AI, e la directory separa i due mestieri invece di archiviarli sotto un'unica voce. Le società che integrano recupero e ricerca nei prodotti si trovano in agenzie di ricerca AI e soluzioni AI su misura, e i team che gestiscono l'infrastruttura dati alla base di un progetto di ricerca si trovano in machine learning e data science. Consultare la directory per mestiere e non per espressione è il modo più rapido per evitare la confusione di cui parla tutto questo articolo.

Se preferite descrivere il problema una volta sola anziché passare in rassegna le categorie, diteci che cosa state cercando di costruire e vi indicheremo le agenzie della nostra directory che svolgono quel tipo specifico di lavoro. Non costa nulla e non c'è alcun obbligo di ingaggiare qualcuno.

Decidete quale dei due mestieri state comprando prima di accettare una sola chiamata. È una decisione da dieci minuti che fa risparmiare un trimestre, e le società che vale la pena ingaggiare saranno sollevate dal fatto che l'abbiate presa.

Fonti

• Stanford Institute for Human-Centered Artificial Intelligence, AI Index Report, annuale.
• McKinsey & Company, The State of AI, indagine annuale.