Gartner lleva años advirtiendo que una gran parte de los proyectos de machine learning nunca llega a producción, y los analistas que siguen el tema apenas han tenido que revisar esa advertencia a medida que la tecnología cambiaba. La causa rara vez es el modelo. La causa es que el comprador y la firma contratada trabajaban con definiciones distintas de las palabras del contrato. "Consultoría de IA y ML" es una etiqueta que cubre al menos cuatro negocios diferentes, con precios distintos, equipos distintos y un riesgo completamente distinto. Comprar el equivocado no es un mal negocio. Es la compra equivocada.
He visto cómo esto sale mal desde ambos lados de la mesa. Una empresa decide que necesita machine learning, organiza un proceso de compras, compara tres propuestas que dicen todas "consultoría de IA y ML" y elige la de mejor tarifa diaria. Seis meses después hay un modelo bien documentado en un notebook que nadie puede desplegar, porque la firma que ganó el trabajo vende investigación y la empresa necesitaba ingeniería. Nadie mintió. La categoría es demasiado imprecisa para comprar en ella con seguridad.
Los cuatro negocios que se esconden tras una sola etiqueta
Asesoría estratégica. Trabajo de estrategia. Una firma evalúa dónde el machine learning podría justificar razonablemente su costo dentro de su operación, ordena las opciones por prioridad y le entrega una hoja de ruta. El entregable es un documento y un conjunto de decisiones. Resulta de verdadera utilidad cuando un equipo directivo no logra ponerse de acuerdo sobre por dónde empezar, y es un adorno caro cuando ya lo sabe y solo busca permiso. Las firmas de asesoría facturan por proyecto, normalmente cifras de seis dígitos cuando hay una marca reconocible en la portada, y no construyen nada.
Ingeniería de datos. La mayor parte del trabajo, y la menos vistosa. Antes de que un modelo haga algo, alguien tiene que encontrar los datos, moverlos, limpiarlos, cruzarlos y mantenerlos en circulación. La mayoría de las empresas que creen necesitar un modelo necesitan primero esto, y las firmas honestas lo dicen en la primera reunión. Se factura por hora o por sprint, por lo general entre 100 y 250 dólares la hora en Estados Unidos para equipos competentes.
Desarrollo aplicado de modelos. Construir y entrenar el modelo en sí, ya se trate de ajustar un modelo fundacional, construir un sistema de pronósticos o montar un pipeline de recuperación sobre sus propios documentos. Esto es lo que imaginan los compradores cuando dicen "consultoría de IA", y es la porción más pequeña del trabajo real. Las tarifas son más altas, de 150 a 400 dólares la hora, y los mejores profesionales tienen la agenda llena.
MLOps y responsabilidad sobre la producción. Despliegue, monitoreo, reentrenamiento, detección de deriva, control de costos y la guardia para cuando un modelo empieza a producir disparates a las dos de la madrugada. Aquí es donde vive de verdad la estadística de fracaso de Gartner. Un modelo que funciona en un notebook y un modelo que funciona en producción están separados por un volumen de trabajo de ingeniería que casi nadie presupuesta, y las firmas especializadas en ello son las que conviene conservar.
Una firma que hace las cuatro cosas es muy grande o está prometiendo de más. Cuando vea un despacho de diez personas que ofrece la cadena completa, pregunte cuál de ellas ha hecho más de dos veces.
Leer una propuesta por lo que omite
Las propuestas de este mercado se redactan para resistir la comparación, lo que significa que son vagas justo en los puntos que importan. Tres omisiones le dicen casi todo lo que necesita saber.
La primera es el acceso a los datos. Si la propuesta no indica de forma específica para qué sistemas necesitará credenciales el equipo y quién dentro de su empresa las concederá, el cronograma es ficción. La causa más frecuente de un proyecto de machine learning estancado es un equipo que no consigue llegar a los datos durante once semanas y factura todo ese tiempo. Convierta el plan de acceso en una sección propia, con responsables nombrados y fechas.
La segunda es la definición de terminado. "Entregar un modelo que funcione" no es una definición. Una definición tiene este aspecto: el modelo se ejecuta con este calendario, sobre esta fuente de datos, su resultado llega a esta tabla, esta persona concreta recibe una alerta cuando la precisión cae por debajo de este umbral, y el manual de reentrenamiento está registrado en este repositorio. Las firmas que venden ingeniería lo escriben sin que se lo pidan. Las firmas que venden investigación lo negociarán, y esa negociación responde a su pregunta sobre lo que hacen.
La tercera es qué ocurre con el código. La propiedad de los pesos del modelo, el pipeline de entrenamiento, las definiciones de variables y la configuración de la infraestructura debe quedar establecida en una sola frase. La ambigüedad en este punto no es un descuido. Un pipeline que usted no puede ejecutar sin la consultora es una renta para ella y un pasivo para usted, y vale la pena pagar más al inicio para evitarlo. Conviene leer los puntos que debe cubrir un contrato con una agencia de IA antes de firmar cualquier cosa en esta categoría.
Lo que el precio refleja en realidad
Las tarifas diarias de este mercado abarcan un orden de magnitud, y esa dispersión no se explica solo por la calidad. Se explica sobre todo por tres cosas: dónde está ubicado el equipo, si usted compra personas con nombre y apellido o una bolsa de recursos, y cuánto riesgo ha aceptado asumir la firma.
Un proyecto a precio fijo con un resultado definido cuesta más por hora que un esquema por tiempo y materiales, porque la firma incluye en el precio la posibilidad de que lleve más de lo previsto. Esa prima suele valer la pena en un primer proyecto con un socio nuevo, y por lo general deja de valerla cuando ya se conocen. Un esquema de refuerzo de personal en el que usted dirige el trabajo es el más barato por hora y el más caro en atención de gestión, un costo real que nunca aparece en la hoja comparativa.
Desconfíe de quien cotice un precio antes de preguntar por sus datos. El estado de sus datos es la variable individual más grande en el costo de un proyecto de machine learning, y una firma que fija precio sin mirarlos está adivinando o planea subir la cifra más adelante. Nuestro desglose de cuánto cuesta una agencia de IA detalla los rangos por tipo de proyecto.
Cuando la respuesta honesta es que todavía no lo necesita
La encuesta anual State of AI de McKinsey ha encontrado de manera constante que las organizaciones que reportan un impacto financiero real de la IA son una minoría entre las que la despliegan, y la investigación de MIT Sloan Management Review y Boston Consulting Group ha llegado a una conclusión similar sobre la brecha entre adopción y retorno. El patrón detrás de esos hallazgos no tiene misterio. Las empresas que obtienen valor del machine learning suelen haber resuelto antes un problema aburrido: saben qué significan sus datos, pueden reunirlos en un solo lugar y alguien es responsable de ellos.
Si usted no puede presentar una cifra limpia, actualizada y aceptada por todos para algo tan simple como cuántos clientes activos tiene, un modelo no es su próxima compra. Lo es la ingeniería de datos. Cualquier consultora que le diga lo contrario le está vendiendo la parte del proyecto que disfruta y no la que usted necesita, y los seis meses que tarde en descubrirlo serán los seis meses más caros del proyecto.
La misma lógica se aplica en sentido contrario. Si usted cuenta con un almacén de datos limpio, una pregunta definida y alguien dentro de la empresa capaz de mantener lo que se construya, puede que no necesite una consultora en absoluto. Puede que necesite dos buenos contratistas y una fecha límite. La comparación entre una agencia y un equipo interno se reduce a la frecuencia con la que volverá a necesitar esta capacidad.
Una breve lista de verificación que separa los cuatro
- Pida una referencia en producción, no un caso de estudio. Un caso de estudio describe un proyecto. Una referencia es una persona de otra empresa que atenderá una llamada y le dirá si el sistema sigue en funcionamiento.
- Pregunte qué no construirían. Una firma con experiencia operativa real tiene una lista de proyectos que rechaza. Una firma que no la tiene aceptará cualquier cosa.
- Pregunte quién estará en la llamada en el cuarto mes. Las personas sénior venden. Averigüe si además ejecutan, y haga constar los nombres en la declaración de trabajo.
- Pregunte por el último proyecto que salió mal. La respuesta le dice más sobre la firma que todas las diapositivas de la presentación. Quien afirme que no ha habido ninguno no ha trabajado lo suficiente.
- Pídales que le expliquen sus propios datos. Tras una sesión de descubrimiento, un equipo competente puede describir dónde residen sus datos y qué significan con más claridad que usted. Si no puede, no estaba escuchando.
Por dónde empezar a buscar
El mercado de estos servicios está fragmentado y la mayor parte no se anuncia. Los grandes integradores de sistemas son visibles porque compran visibilidad. Las firmas especializadas que hacen el mejor trabajo en producción suelen estar a tres recomendaciones de distancia y no tienen área de marketing. Por eso los compradores que acuden primero a Google y se detienen en la primera página suelen terminar con un proveedor elegido por su presupuesto publicitario.
Buscar por disciplina es una mejor puerta de entrada que buscar por marca. La categoría de estrategia y consultoría de IA y la categoría de machine learning y ciencia de datos de nuestro directorio separan a las firmas según el trabajo que realmente hacen, que es la distinción de la que trata todo este artículo. Si prefiere describir el problema una sola vez y recibir la lista de candidatos, puede ponerse en contacto con agencias de IA verificadas y ahorrarse la hoja comparativa.
Lecturas de contexto que merecen el tiempo: Gartner sobre la brecha de producción en el despliegue de machine learning, y la investigación de MIT Sloan Management Review con Boston Consulting Group sobre por qué la adopción y el retorno financiero se han mantenido tan alejados.
La versión corta
Cuatro servicios comparten un nombre. La asesoría le dice qué hacer, la ingeniería de datos lo hace posible, el desarrollo aplicado lo construye y MLOps lo mantiene vivo. La mayoría de los compradores cree estar adquiriendo el tercero y en realidad necesita el segundo, y casi nadie presupuesta el cuarto. Determine cuál está comprando antes de comparar precios, porque comparar la tarifa diaria de una firma de investigación con la de una firma de ingeniería no es comparar nada.