A Gartner alerta há anos que uma grande parcela dos projetos de machine learning nunca chega à produção, e os analistas que acompanham o tema quase não precisaram rever esse alerta à medida que a tecnologia mudou. O motivo raramente é o modelo. O motivo é que o comprador e a empresa contratada trabalhavam com definições diferentes das palavras do contrato. "Consultoria de IA e ML" é um rótulo aplicado a pelo menos quatro negócios distintos, com preços diferentes, equipes diferentes e riscos completamente diferentes. Comprar o errado não é um mau negócio. É a compra errada.
Já vi isso dar errado dos dois lados da mesa. Uma empresa decide que precisa de machine learning, conduz um processo de compras, compara três propostas que dizem todas "consultoria de IA e ML" e escolhe a de melhor diária. Seis meses depois existe um modelo bem documentado parado em um notebook que ninguém consegue implantar, porque a empresa que ganhou o trabalho vende pesquisa e o cliente precisava de engenharia. Ninguém mentiu. A categoria é imprecisa demais para que se compre nela com segurança.
Os quatro negócios escondidos atrás de um rótulo
Assessoria estratégica. Trabalho de estratégia. Uma empresa avalia onde o machine learning poderia plausivelmente pagar o próprio custo dentro da sua operação, classifica as opções e entrega um roteiro. O produto final é um documento e um conjunto de decisões. Isso é realmente útil quando a liderança não consegue concordar sobre por onde começar, e é um papel de parede caro quando ela já sabe e só procura uma autorização. Empresas de assessoria cobram por projeto, normalmente valores de seis dígitos quando há uma marca reconhecida na capa, e não constroem nada.
Engenharia de dados. A maior parte do trabalho, e a menos glamorosa. Antes que um modelo faça qualquer coisa, alguém precisa encontrar os dados, movê-los, limpá-los, cruzá-los e mantê-los fluindo. A maioria das empresas que acha que precisa de um modelo precisa primeiro disso, e as empresas honestas dizem isso na primeira reunião. A cobrança é por hora ou por sprint, em geral de 100 a 250 dólares por hora nos Estados Unidos para equipes competentes.
Desenvolvimento aplicado de modelos. Construir e treinar o modelo em si, seja fazer o ajuste fino de um modelo de base, construir um sistema de previsão ou montar um pipeline de recuperação sobre os seus próprios documentos. É isso que os compradores imaginam quando dizem "consultoria de IA", e é a menor fatia do trabalho real. As tarifas são mais altas, de 150 a 400 dólares por hora, e os melhores profissionais estão com a agenda cheia.
MLOps e responsabilidade pela produção. Implantação, monitoramento, retreinamento, detecção de desvio, controle de custos e o plantão para quando um modelo começa a produzir absurdos às duas da manhã. É aqui que a estatística de fracasso da Gartner realmente mora. Um modelo que funciona em um notebook e um modelo que funciona em produção são separados por um volume de trabalho de engenharia que quase ninguém coloca no orçamento, e as empresas especializadas nisso são as que vale a pena manter.
Uma empresa que faz os quatro é muito grande ou está prometendo demais. Quando você encontrar um escritório de dez pessoas oferecendo a cadeia completa, pergunte qual deles ele já fez mais de duas vezes.
Ler uma proposta pelo que ela deixa de fora
As propostas deste mercado são escritas para resistir à comparação, o que significa que são vagas justamente nos pontos que importam. Três omissões dizem quase tudo o que você precisa saber.
A primeira é o acesso aos dados. Se a proposta não diz, de forma específica, para quais sistemas a equipe vai precisar de credenciais e quem dentro da sua empresa vai concedê-las, o cronograma é ficção. A causa mais comum de um projeto de machine learning travado é uma equipe que não consegue chegar aos dados durante onze semanas e fatura o tempo todo. Transforme o plano de acesso em uma seção própria, com responsáveis nomeados e datas.
A segunda é a definição de pronto. "Entregar um modelo funcionando" não é uma definição. Uma definição tem esta cara: o modelo roda neste cronograma, sobre esta fonte de dados, o resultado cai nesta tabela, esta pessoa nomeada recebe um alerta quando a acurácia fica abaixo deste limite, e o procedimento de retreinamento está registrado neste repositório. Empresas que vendem engenharia escrevem isso sem que ninguém peça. Empresas que vendem pesquisa vão negociar, e essa negociação responde à sua pergunta sobre o que elas fazem.
A terceira é o que acontece com o código. A propriedade dos pesos do modelo, do pipeline de treinamento, das definições de variáveis e da configuração da infraestrutura deve estar declarada em uma única frase. A ambiguidade aqui não é descuido. Um pipeline que você não consegue rodar sem a consultoria é uma renda vitalícia para ela e um passivo para você, e vale a pena pagar mais no início para evitar isso. Os pontos que um contrato com uma agência de IA deve cobrir merecem leitura antes de você assinar qualquer coisa nesta categoria.
O que o preço realmente reflete
As diárias neste mercado variam em uma ordem de grandeza, e essa dispersão não se explica só pela qualidade. Ela se explica principalmente por três fatores: onde a equipe está, se você está comprando profissionais nomeados ou um banco de recursos, e quanto do risco a empresa aceitou assumir.
Um projeto a preço fixo com resultado definido custa mais por hora do que um contrato por tempo e materiais, porque a empresa embute no preço a chance de o trabalho levar mais tempo do que ela imagina. Esse prêmio costuma valer a pena em um primeiro projeto com um parceiro novo, e costuma deixar de valer quando vocês já se conhecem. Um arranjo de alocação de profissionais em que você dirige o trabalho é o mais barato por hora e o mais caro em atenção de gestão, um custo real que nunca aparece na planilha de comparação.
Desconfie de quem apresenta um preço antes de perguntar sobre os seus dados. O estado dos seus dados é a maior variável isolada no custo de um projeto de machine learning, e uma empresa que precifica sem olhar para eles está chutando ou planeja aumentar o valor depois. Nossa análise sobre quanto custa uma agência de IA detalha as faixas por tipo de projeto.
Quando a resposta honesta é que você ainda não precisa disso
A pesquisa anual State of AI da McKinsey tem mostrado de forma consistente que as organizações que relatam impacto financeiro real da IA são minoria entre as que a implantam, e a pesquisa da MIT Sloan Management Review com o Boston Consulting Group chegou a uma conclusão parecida sobre a distância entre adoção e retorno. O padrão por trás desses resultados não tem mistério. As empresas que extraem valor do machine learning costumam ter resolvido antes um problema sem graça: sabem o que os seus dados significam, conseguem reuni-los em um só lugar e alguém é responsável por eles.
Se você não consegue apresentar um número limpo, atualizado e aceito por todos para algo tão simples quanto a quantidade de clientes ativos que tem, um modelo não é a sua próxima compra. Engenharia de dados é. Qualquer consultoria que diga o contrário está vendendo a parte do projeto de que ela gosta, e não a parte de que você precisa, e os seis meses que você leva para descobrir isso são os seis meses mais caros do projeto.
A mesma lógica vale na direção oposta. Se você tem um data warehouse limpo, uma pergunta definida e alguém internamente capaz de manter o que for construído, talvez não precise de consultoria nenhuma. Talvez precise de dois bons profissionais contratados e de um prazo. A comparação entre uma agência e uma equipe interna se resume à frequência com que você vai precisar dessa capacidade de novo.
Uma lista curta de verificação que separa os quatro
- Peça uma referência em produção, não um estudo de caso. Um estudo de caso descreve um projeto. Uma referência é uma pessoa em outra empresa que vai atender uma ligação e dizer se o sistema continua rodando.
- Pergunte o que eles não construiriam. Uma empresa com experiência operacional real tem uma lista de projetos que recusa. Uma empresa sem essa lista aceita qualquer coisa.
- Pergunte quem estará na reunião no quarto mês. Os profissionais seniores vendem. Descubra se eles também entregam, e faça os nomes constarem na declaração de trabalho.
- Pergunte sobre o último projeto que deu errado. A resposta diz mais sobre a empresa do que todos os slides da apresentação. Quem afirma que nunca houve um não trabalhou o suficiente.
- Peça que expliquem os seus próprios dados para você. Depois de uma sessão de descoberta, uma equipe competente consegue descrever onde os seus dados estão e o que significam com mais clareza do que você. Se não consegue, não estava ouvindo.
Por onde começar a procurar
O mercado desses serviços é fragmentado e a maior parte dele não anuncia. Os grandes integradores de sistemas são visíveis porque compram visibilidade. As empresas especializadas que fazem o melhor trabalho em produção costumam estar a três indicações de distância e não têm área de marketing. Por isso os compradores que vão primeiro ao Google e param na primeira página tendem a ficar com um fornecedor escolhido pela verba de publicidade.
Navegar por disciplina é uma entrada melhor do que navegar por marca. A categoria de estratégia e consultoria de IA e a categoria de machine learning e ciência de dados do nosso diretório separam as empresas pelo trabalho que elas realmente fazem, que é a distinção de que trata este artigo inteiro. Se você prefere descrever o problema uma única vez e receber a lista de candidatos, pode ser conectado a agências de IA verificadas e dispensar a planilha de comparação.
Leituras de contexto que valem o tempo: a Gartner sobre a lacuna de produção na implantação de machine learning, e a pesquisa da MIT Sloan Management Review com o Boston Consulting Group sobre por que adoção e retorno financeiro continuam tão distantes.
A versão curta
Quatro serviços dividem um mesmo nome. A assessoria diz o que fazer, a engenharia de dados torna isso possível, o desenvolvimento aplicado constrói, e MLOps mantém tudo vivo. A maioria dos compradores acha que está adquirindo o terceiro e na verdade precisa do segundo, e quase ninguém reserva orçamento para o quarto. Descubra qual deles você está comprando antes de comparar preços, porque comparar a diária de uma empresa de pesquisa com a de uma empresa de engenharia não é comparação nenhuma.