A frase mais cara de um contrato de consultoria em IA costuma ser a que está faltando. Os compradores negociam com firmeza a diária, o cronograma e o número de engenheiros seniores nomeados na declaração de trabalho, e depois assinam um documento que em nenhum momento diz quem é dono do modelo treinado, quem detém os dados de treinamento ou o que acontece na primeira vez em que a precisão do sistema se desviar. Seis meses depois o piloto funciona, os consultores já saíram e ninguém dentro da empresa consegue retreinar o sistema.
Essa lacuna não resulta de má-fé de nenhum dos lados. Resulta de um mercado que cresceu mais rápido do que a própria documentação contratual. O instituto Human-Centered AI de Stanford acompanha o salto da adoção corporativa em seu AI Index Report anual, e a McKinsey conduziu sua pesquisa State of AI ao longo do mesmo período. Ambos apontam para o mesmo quadro: muitas organizações implantaram alguma coisa, bem menos conseguem mostrar o que isso rendeu. A propriedade é uma das razões. Um sistema que você não consegue manter deixa de gerar valor no momento em que as pessoas que o construíram saem do prédio.
Este é um guia sobre o lado da consultoria em IA que trata da transferência, escrito para quem assina o pedido de compra e não para quem escreve o código. Ele cobre os quatro pontos que vale definir antes do início do trabalho, as perguntas que mudam uma proposta quando feitas cedo e aquilo que uma empresa competente apresenta por conta própria, sem precisar ser pressionada.
Uma fatura, três desfechos muito diferentes
Vendido sob o rótulo único de consultoria em IA, um projeto pode terminar em um de três estados, e a diferença vale mais do que os honorários.
No primeiro, você é dono de um sistema que funciona e da capacidade de operá-lo. O código está no seu repositório, os pesos do modelo ou a configuração de fine-tuning estão na sua conta de armazenamento, o pipeline de dados roda em infraestrutura que você paga diretamente, e dois dos seus próprios engenheiros entregaram uma alteração sob supervisão antes do encerramento do projeto. A consultoria poderia desaparecer amanhã e o sistema continuaria rodando.
No segundo, você é dono de um sistema que funciona e de mais nada. O código foi entregue, mas a implantação passa por um pipeline que a empresa construiu sobre as próprias ferramentas, o modelo foi treinado em uma conta que você não controla e a única documentação é a apresentação de slides da reunião final de resultados. O sistema roda até deixar de rodar, e as únicas pessoas capazes de consertá-lo enviam uma fatura.
No terceiro, você é dono de um relatório. Isso é mais comum do que o setor admite, e nem sempre é um fracasso. Um projeto de avaliação genuíno que recomenda a uma empresa não construir algo fez por merecer seus honorários. O fracasso está em pagar preço de avaliação por aquilo que você acreditava ser um desenvolvimento.
| Desfecho | O que fica com você depois | O que isso custa mais tarde |
|---|---|---|
| Sistema operável | Código, dados, artefatos do modelo, caminho de implantação e uma equipe que já entregou uma alteração nele | Suas próprias horas de manutenção e uma empresa que você pode recontratar por escolha |
| Sistema dependente | Um sistema em funcionamento sobre ferramentas e contas que você não controla | Um contrato de manutenção que você não consegue submeter à concorrência, precificado pela única empresa capaz de fazer o trabalho |
| Apenas relatório | Uma recomendação, um roteiro e nenhum software funcionando | Uma segunda rodada de contratação, a menos que o relatório fosse o que você comprou |
Qual dos três você terá no fim é decidido na declaração de trabalho, não no último mês. Se você ainda está comparando empresas, as perguntas do nosso guia sobre o que perguntar antes de contratar uma agência de IA são o ponto de partida, e nossa lista de verificação para a primeira contratação cobre a mecânica de compras em torno delas.
O modelo não é a entrega
Os compradores tendem a imaginar o modelo treinado como aquilo que estão adquirindo, do mesmo modo que um prédio é aquilo que se adquire de uma construtora. A comparação se desfaz depressa. Um modelo treinado é o retrato de um conjunto de dados em um dado momento, e seu valor decai à medida que muda o mundo em que ele foi treinado. O que você realmente precisa possuir é a capacidade de produzir o próximo modelo, que é um ativo diferente, feito de partes diferentes.
Esse ativo tem quatro componentes, e um contrato deve nomear os quatro:
- O pipeline de treinamento. O código que recebe dados brutos e produz um modelo candidato, incluindo a engenharia de atributos, o pré-processamento e o conjunto de avaliação. Sem o conjunto de avaliação, não há como saber se o próximo modelo é melhor ou pior do que o atual.
- Os dados de treinamento e o direito de continuar a usá-los. Se alguma parte do conjunto de dados foi licenciada, comprada, obtida por scraping ou fornecida por terceiros, o acordo deve dizer o que acontece com esse direito quando o projeto termina.
- Os próprios artefatos do modelo. Pesos, adaptadores, configurações de fine-tuning, modelos de prompt, índices de recuperação. Armazenados onde você consiga acessá-los, e não apenas onde a consultoria consegue.
- O caminho de implantação. Como um novo modelo sai de um notebook e chega à produção, e quem tem permissão para apertar o botão.
Uma empresa que vive de construir sistemas sob medida terá uma opinião sobre cada um desses pontos antes que você os levante. Uma empresa que hesita no segundo está dizendo algo útil sobre como o conjunto de dados foi montado.
Quem tem as chaves dos dados
A propriedade dos dados raramente é o ponto em disputa. Quase toda empresa séria concorda por escrito que os seus dados continuam sendo seus. O ponto em disputa é o acesso, e é o acesso que define quem está em vantagem dois anos depois.
Três arranjos são comuns. A consultoria trabalha dentro da sua conta de nuvem, com credenciais que você emite e pode revogar, o que é o arranjo mais limpo e o que se deve pedir. A consultoria trabalha dentro do próprio ambiente e os seus dados são copiados para lá durante o projeto, o que é viável se o contrato fixar uma data de exclusão e nomear quem a confirma. Ou a consultoria trabalha dentro de uma plataforma compartilhada que ela opera para vários clientes, que pode ser muito bem administrada e ainda assim é o arranjo que deixa você com menos recursos se a relação azedar.
Pergunte onde os dados ficarão fisicamente, pergunte quem na empresa pode lê-los e pergunte qual é o procedimento de desligamento. A resposta à terceira pergunta é a que separa as empresas que já conduziram a saída de clientes daquelas que nunca o fizeram.
Setores regulados acrescentam mais uma camada. Se você opera sob regras setoriais que tratam de dados pessoais, registros financeiros ou informações clínicas, o contrato precisa repassar essas obrigações à consultoria e a qualquer suboperador que ela utilize. Nossas notas sobre o que deve constar em um contrato com uma agência de IA percorrem as cláusulas com mais detalhe.
Retreinamento é custo, não cortesia
Todo sistema de IA construído sobre dados do mundo real se degrada, e nenhum contrato de consultoria em IA revoga essa regra. O comportamento dos clientes muda, os catálogos de produtos se alteram, o fornecedor do qual você depende atualiza a API, um provedor de modelos descontinua a versão sobre a qual você fez o fine-tuning. Nada disso é defeito do trabalho original. É o clima normal de operar um modelo em produção, e custa dinheiro todos os anos.
A maioria das propostas de consultoria em IA precifica o desenvolvimento e trata a operação como uma conversa para depois. Antecipe essa conversa. Antes de assinar, obtenha um número para o custo de manter o sistema confiável por doze meses: monitoramento, reavaliação periódica, retreinamento quando a avaliação indicar e as horas de engenharia para entregar o modelo retreinado. Se a empresa não conseguir apresentar esse número, ou ela nunca operou um sistema em produção, ou espera que você só pergunte quando já estiver preso.
O número em si importa menos do que o efeito dele sobre a sua comparação. Um desenvolvimento orçado a um preço, com uma pesada cauda anual de manutenção, pode facilmente custar mais em três anos do que um desenvolvimento orçado mais alto com uma transferência genuína. Nosso detalhamento de quanto custa de fato o trabalho de uma agência de IA apresenta as faixas para os tipos de projeto mais comuns.
O runbook que ninguém pede
O item mais barato que você pode acrescentar a uma declaração de trabalho é um documento operacional nomeado, entregue antes do pagamento final, que um engenheiro competente que nunca viu o projeto consiga seguir.
Ele deve explicar como executar o pipeline de treinamento de ponta a ponta, como ler os resultados da avaliação e o que cada número significa em termos de negócio, os modos de falha que a equipe encontrou durante o desenvolvimento e como os resolveu, os limites a partir dos quais alguém deve intervir e o caminho de escalonamento quando o modelo produz algo que não deveria. Peça-o como uma entrega com critérios de aceitação, e não como uma linha na apresentação de encerramento.
As empresas resistem a isso com menos frequência do que os compradores esperam. Escrevê-lo é trabalho de um ou dois dias, e uma empresa que pretende ganhar o contrato de manutenção tem interesse em que o sistema seja compreensível. As que resistem costumam ser aquelas cuja margem depende de serem as únicas que entendem o que construíram.
Combine o runbook com uma sessão de transferência que seja uma sessão de trabalho, e não uma apresentação. Os seus engenheiros devem fazer uma alteração real, rodar a avaliação e implantá-la enquanto a consultoria ainda está sendo paga e ainda responde pelo resultado. Uma transferência que ninguém ensaiou é um documento, não uma transferência. O mesmo princípio orienta a comparação do nosso artigo sobre integração de IA com uma agência ou com equipe interna.
Seis perguntas que mudam a proposta
Faça estas perguntas antes da segunda reunião, e as propostas que voltarem serão mais honestas e mais fáceis de comparar.
- Ao fim deste projeto, qual dos três desfechos descritos acima estamos comprando? Peça que respondam nesses termos.
- Onde ficarão os artefatos do modelo, na conta de quem, e quem pode excluí-los?
- Quanto custa manter isso funcionando por doze meses depois que vocês saírem?
- Quais partes dos dados de treinamento não são nossas, e o que acontece com o nosso direito de usá-las?
- Cite um cliente cuja equipe assumiu a operação do que vocês construíram. Como foi a transferência?
- Se quiséssemos levar isso para outra empresa daqui a dezoito meses, do que essa empresa precisaria de vocês?
A sexta pergunta é a que merece atenção. Uma empresa confiante no próprio trabalho responde de forma direta, porque espera vencer pelos resultados e não pelo atrito. Uma empresa que a trata como uma pergunta hostil já disse como a relação termina.
Por onde começar a procurar
Não existe um único tipo certo de empresa de consultoria em IA, nem um ranking que resolva a questão por você. Uma consultoria orientada a estratégia é a escolha certa quando a própria decisão está em aberto e o risco é construir a coisa errada. Uma empresa de engenharia orientada a entrega é a escolha certa quando a decisão está tomada e o risco está no desenvolvimento. Um especialista em ciência de dados é a escolha certa quando a parte difícil é o modelo, e não o sistema em volta dele. O que importa é que a empresa escolhida seja honesta sobre qual das três ela é, e que o contrato reflita isso.
O diretório organiza as empresas exatamente por essa distinção. Consulte as empresas de estratégia e consultoria em IA quando a pergunta for o que construir, os especialistas em machine learning e ciência de dados quando o modelo for a parte difícil, e as empresas de integração de IA quando o trabalho for conectar um modelo a sistemas que você já opera.
Se preferir descrever o problema uma única vez e deixar que as empresas adequadas venham até você, conte-nos o que você quer construir e indicaremos as agências do nosso diretório que correspondem ao trabalho. Não custa nada e não há obrigação de contratar ninguém.
Compre consultoria em IA pelos termos da transferência, e não pelos termos da fatura. Resolva a propriedade antes de resolver o preço. As empresas que vale a pena contratar vão respeitar você por perguntar, e as que recuam pouparam um ano do seu tempo.
Fontes
- Stanford Institute for Human-Centered Artificial Intelligence, AI Index Report, anual.
- McKinsey & Company, The State of AI, pesquisa anual.