Gartnerは長年にわたり、機械学習プロジェクトの大きな割合が本番稼働に至らないと警告してきました。この問題を追い続けているアナリストたちは、技術が変化してもその警告をほとんど修正する必要がありませんでした。原因がモデルにあることはまれです。発注者と、発注者が雇った会社とが、契約書に書かれた言葉を別々の定義で理解していたことが原因です。「AI・MLコンサルティングサービス」という名称は、少なくとも四つの異なる事業に付けられており、それぞれ価格も、人員構成も、抱えるリスクもまったく異なります。間違ったものを買うのは、割の悪い取引ではありません。買うべきものを取り違えているのです。
私はこの失敗を、交渉のテーブルの両側から見てきました。ある企業が機械学習が必要だと判断し、調達プロセスを進め、いずれも「AI・MLコンサルティング」と書かれた三つの提案書を比較し、日額単価が最も有利なものを選びます。六か月後に残るのは、ノートブックの中に置かれた、文書化は行き届いているものの誰もデプロイできないモデルです。受注した会社が売っていたのは研究であり、その企業が必要としていたのはエンジニアリングだったからです。誰も嘘はついていません。このカテゴリーは、安心して買うには定義が緩すぎるのです。
一つの名称の裏に隠れた四つの事業
アドバイザリー。戦略策定の仕事です。機械学習が自社の業務のどこで費用に見合う成果を出せそうかを評価し、候補に優先順位を付け、ロードマップを提出します。成果物は文書と一連の意思決定です。経営陣がどこから始めるかで合意できないときには本当に役に立ちますが、すでに答えが出ていて承認を求めているだけの場合には、高価な壁紙にすぎません。アドバイザリー会社は案件単位で請求し、表紙に名の通ったブランドが載るものであれば通常は六桁ドルの金額になります。そして、構築は行いません。
データエンジニアリング。華やかさはないものの、仕事の大半を占める部分です。モデルが何かをする前に、誰かがデータを見つけ、移し、クレンジングし、結合し、流れ続けるようにしなければなりません。モデルが必要だと考えている企業の多くは、実際にはまずこちらを必要としており、誠実な会社は最初の打ち合わせでそう伝えます。請求は時間単位またはスプリント単位で、米国では力のあるチームで通常1時間あたり100ドルから250ドルです。
応用モデル開発。モデルそのものを構築し、学習させる仕事です。基盤モデルのファインチューニングであれ、予測システムの構築であれ、自社文書を対象とした検索パイプラインの立ち上げであれ、ここに含まれます。発注者が「AIコンサルティング」と言うときに思い浮かべるのはこれですが、実際の作業全体の中では最も小さな部分です。単価はより高く、1時間あたり150ドルから400ドルで、優秀な実務家は予定が埋まっています。
MLOpsと本番運用の責任。デプロイ、監視、再学習、ドリフト検知、コスト管理、そしてモデルが午前二時に意味をなさない出力を始めたときに備えるオンコール当番です。Gartnerの失敗統計が実際に生じているのはここです。ノートブックで動くモデルと本番環境で動くモデルの間には、ほとんど誰も予算を組まない量のエンジニアリング作業が横たわっており、これを専門とする会社こそ、長く付き合う価値のある会社です。
四つすべてを手がける会社は、非常に大規模であるか、過大に売り込んでいるかのどちらかです。十人規模の会社がフルスタックを提供しているのを見たら、そのうち三回以上手がけたことがあるのはどれかを尋ねてください。
提案書は、書かれていないことから読む
この市場の提案書は比較に耐えるように書かれており、そのため肝心な箇所ほど曖昧です。三つの欠落を見れば、知るべきことの大半が分かります。
一つ目はデータへのアクセスです。チームがどのシステムの認証情報を必要とし、社内の誰がそれを付与するのかが提案書に具体的に書かれていなければ、スケジュールは絵空事です。機械学習案件が停滞する最もよくある原因は、チームが十一週間もデータにたどり着けず、その間ずっと請求が続くことです。アクセス計画は、担当者の名前と日付を明記した独立した項目にしてください。
二つ目は完了の定義です。「動作するモデルを納品する」は定義ではありません。定義とは次のようなものです。モデルがこのスケジュールで、このデータソースに対して実行され、出力はこのテーブルに格納され、精度がこのしきい値を下回ったときには名前を明記したこの担当者にアラートが届き、再学習の手順書はこのリポジトリに登録されている。エンジニアリングを売る会社は、求められなくてもこれを書きます。研究を売る会社はこれについて交渉しようとしますが、その交渉こそが、彼らが何をする会社なのかという問いへの答えです。
三つ目はコードの扱いです。モデルの重み、学習パイプライン、特徴量の定義、インフラ構成の所有権は、一文で明記されているべきです。ここが曖昧なのは見落としではありません。コンサルティング会社なしでは動かせないパイプラインは、相手にとっては年金であり、発注者にとっては負債です。それを避けるためなら、最初に多めに支払う価値があります。このカテゴリーで何かに署名する前に、AIエージェンシーとの契約に盛り込むべき項目を読んでおくことをお勧めします。
価格が実際に反映しているもの
この市場の日額単価には一桁の開きがあり、その差は品質だけでは説明できません。大部分は三つの要素で説明できます。チームの所在地、名前を指定した個人を買うのか待機要員の中から割り当てられるのか、そして会社がどこまでリスクを引き受けることに同意しているかです。
成果を定義した固定価格の契約は、タイム・アンド・マテリアル方式よりも時間あたりの費用が高くなります。想定より長くかかる可能性を会社が価格に織り込むからです。この上乗せ分は、新しいパートナーとの最初のプロジェクトでは通常支払う価値があり、互いをよく知った後では通常その価値がありません。発注者が作業を指揮する要員派遣型の契約は、時間あたりでは最も安く、管理に割く注意という面では最も高くつきます。これは現実のコストですが、比較用のスプレッドシートには決して現れません。
データについて尋ねる前に価格を提示する相手には警戒してください。データの状態は機械学習プロジェクトの費用を左右する最大の変数であり、それを見ずに値付けする会社は、当て推量をしているか、後から金額を引き上げるつもりでいるかのどちらかです。AIエージェンシーの費用に関する当サイトの解説では、契約形態ごとの価格帯を詳しく取り上げています。
正直な答えが「まだ必要ない」である場合
McKinseyの年次調査State of AIは、AIから実質的な財務効果を得ていると回答する組織が、AIを導入している組織の中の少数派であることを一貫して示してきました。MIT Sloan Management ReviewとBoston Consulting Groupの調査も、導入と収益の間の隔たりについて同様の結論に達しています。こうした結果の背後にあるパターンは不可解なものではありません。機械学習から価値を得ている企業は、先に地味な問題を解決していることが多いのです。自社のデータが何を意味するかを把握し、それを一か所に集めることができ、誰かがその責任を負っています。
アクティブな顧客が何社あるかといった単純な事柄について、正確で、最新で、社内で合意された数字を出せないのであれば、次に買うべきものはモデルではありません。データエンジニアリングです。それとは違うことを言うコンサルティング会社は、発注者に必要な部分ではなく、自分たちが楽しめる部分を売っています。そして、それに気づくまでに費やす六か月が、案件の中で最も高くつく六か月になります。
同じ論理は逆方向にも当てはまります。整ったデータウェアハウスがあり、問いが定義されており、構築されたものを保守できる人材が社内にいるのであれば、コンサルティング会社はまったく必要ないかもしれません。必要なのは、優秀な外部の専門家二人と期限かもしれません。エージェンシーと社内チームの比較は、この能力を今後どれくらいの頻度で必要とするかに帰着します。
四つを見分けるための短い確認リスト
- 事例紹介ではなく、本番稼働の照会先を求めてください。事例紹介はプロジェクトを説明するものです。照会先とは、電話に応じて、そのシステムが今も動いているかどうかを教えてくれる他社の担当者のことです。
- 何を作らないのかを尋ねてください。本物の運用経験を持つ会社には、断る案件のリストがあります。それを持たない会社は、どんな依頼にも同意します。
- 四か月目の会議に誰が出席するのかを尋ねてください。シニアの人材は営業を担います。その人たちが納品も担うのかを確かめ、作業範囲記述書に名前を記載させてください。
- うまくいかなかった直近の案件について尋ねてください。その答えは、提案資料のどのスライドよりも多くのことをその会社について教えてくれます。そのような案件は一つもないと主張する相手は、十分な数の仕事をしていません。
- 自社のデータについて、相手に説明し直してもらってください。ディスカバリーセッションの後であれば、力のあるチームは、データがどこにあり何を意味するのかを発注者自身よりも明確に説明できます。それができないのであれば、話を聞いていなかったということです。
どこから探し始めるか
これらのサービスの市場は細分化されており、その大部分は広告を出していません。大手システムインテグレーターが目に入るのは、露出を買っているからです。本番運用で最も優れた仕事をする専門会社は、紹介を三人たどった先にあることが多く、マーケティング部門をまったく持っていません。そのため、最初にGoogleで検索し、最初のページで止まる発注者は、広告予算によって選ばれたベンダーに行き着きがちです。
ブランドで探すよりも、専門分野で探すほうが優れた入口になります。当ディレクトリのAI戦略・コンサルティングのカテゴリーと機械学習・データサイエンスのカテゴリーは、会社を実際に行っている仕事によって分類しており、これはこの記事全体が扱っている区別そのものです。課題を一度説明するだけで候補リストを受け取りたい場合は、審査済みのAIエージェンシーとのマッチングを利用すれば、比較用のスプレッドシートは不要になります。
時間をかけて読む価値のある参考資料として、機械学習の導入における本番稼働の隔たりを論じたGartnerの分析と、導入と財務的リターンがこれほど離れたままである理由を扱ったMIT Sloan Management ReviewとBoston Consulting Groupの共同調査があります。
要点
四つのサービスが一つの名前を共有しています。アドバイザリーは何をすべきかを示し、データエンジニアリングはそれを可能にし、応用開発はそれを構築し、MLOpsはそれを動かし続けます。発注者の多くは三つ目を買っているつもりで、実際には二つ目を必要としており、四つ目に予算を組む人はほとんどいません。価格を比較する前に、自分がどれを買おうとしているのかを見極めてください。研究を売る会社の日額単価とエンジニアリングを売る会社の日額単価を比べても、それは比較にすらなりません。