AIコンサルティングサービスの契約書で最も高くつく一文は、たいていの場合、書かれていない一文です。発注側は日額単価、納期、作業範囲記述書に名前が載るシニアエンジニアの人数について厳しく交渉します。そのうえで、学習済みモデルを誰が所有するのか、学習データを誰が保持するのか、システムの精度が初めてずれ始めたときにどうなるのかを一切定めていない文書に署名します。6か月後、パイロットは動いており、コンサルタントは案件を離れ、社内にはそのシステムを再学習できる人が誰もいません。
この空白は、どちらかの悪意から生じるものではありません。市場が自らの契約実務よりも速く成長した結果です。スタンフォード大学のHuman-Centered AI研究所は、年次のAI Index Reportで企業導入の急増を追跡しており、McKinseyも同じ期間にState of AI調査を実施してきました。両者が示す姿は同じです。何かを導入した組織は多いものの、その成果を示せる組織ははるかに少数です。所有権はその理由の一つです。自社で保守できないシステムは、構築した人たちが建物を出た瞬間に価値を生まなくなります。
本稿は、AIコンサルティングサービスの引き継ぎの側面を扱うガイドであり、コードを書く人ではなく発注書に署名する人に向けて書いています。作業開始前に決めておくべき4つの事項、早い段階で尋ねると提案内容が変わる質問、そして有能な会社であれば促されなくても自ら申し出る内容を取り上げます。
請求書は1枚、結末は大きく異なる3通り
AIコンサルティングサービスという一つの名称で販売されていても、案件は3つの状態のいずれかで終わります。その差は報酬額よりも大きな意味を持ちます。
1つ目は、動作するシステムと、それを運用する能力の両方を所有している状態です。コードは自社のリポジトリにあり、モデルの重みやファインチューニングの設定は自社のストレージアカウントにあり、データパイプラインは自社が直接費用を支払うインフラ上で動いています。さらに、契約終了前に自社のエンジニア2名が監督のもとで変更をリリースしています。コンサルティング会社が明日なくなっても、システムは動き続けます。
2つ目は、動作するシステムだけを所有し、それ以外は何もない状態です。コードは納品されましたが、デプロイはその会社が自社のツール上に構築したパイプラインを経由し、モデルは自社が管理していないアカウントで学習され、資料は最終報告会のスライドしかありません。システムは止まるまでは動きますが、修理できる唯一の人たちは請求書を送ってきます。
3つ目は、報告書を所有している状態です。これは業界が認めている以上によくあることで、必ずしも失敗ではありません。作るべきではないと企業に伝える本物のアセスメント案件は、報酬に見合う仕事をしています。失敗とは、構築だと思っていたものにアセスメントの料金を支払うことです。
| 結末 | 終了後に手元に残るもの | 後から発生するコスト |
|---|---|---|
| 自社で運用できるシステム | コード、データ、モデル成果物、デプロイ経路、そして変更をリリースした経験のあるチーム | 自社の保守工数と、自らの選択で再び依頼できる会社 |
| 依存したシステム | 自社が管理していないツールとアカウント上で稼働するシステム | 競争入札にかけられない継続契約。価格はその作業ができる唯一の会社が決めます |
| 報告書のみ | 提言とロードマップ。動作するソフトウェアはありません | 2回目の調達。ただし、報告書そのものを購入した場合は別です |
3つのうちどれに行き着くかは、最終月ではなく作業範囲記述書で決まります。まだ複数の会社を比較している段階であれば、AIエージェンシーに依頼する前に尋ねるべきことをまとめた当サイトのガイドの質問から始めてください。初めて依頼する方向けのチェックリストでは、それに伴う調達の実務を扱っています。
モデルは成果物ではありません
発注側は、建設会社から建物を購入するのと同じように、学習済みモデルを購入対象として思い描きがちです。この比喩はすぐに成り立たなくなります。学習済みモデルはある時点のデータセットを写し取ったものであり、学習時の世界が変化するにつれて価値は下がっていきます。本当に所有する必要があるのは次のモデルを作る能力であり、それは別の部品でできた別の資産です。
この資産には4つの構成要素があり、契約書はそのすべてを明記すべきです。
- 学習パイプライン。生データを受け取ってモデル候補を生成するコードで、特徴量エンジニアリング、前処理、評価スイートを含みます。評価スイートがなければ、次のモデルが現行のものより良いのか悪いのかを判断できません。
- 学習データと、それを使い続ける権利。データセットの一部がライセンス供与、購入、スクレイピング、または第三者からの提供によるものである場合、契約終了時にその権利がどうなるのかを契約書に定めるべきです。
- モデル成果物そのもの。重み、アダプター、ファインチューニングの設定、プロンプトテンプレート、検索インデックスです。コンサルティング会社だけがアクセスできる場所ではなく、自社がアクセスできる場所に保管します。
- デプロイ経路。新しいモデルがノートパソコンから本番環境に届くまでの手順と、ボタンを押す権限を持つ人です。
カスタムシステムの構築を本業とする会社は、こちらが切り出す前に、これらのそれぞれについて見解を持っています。2つ目の項目で口ごもる会社は、データセットがどのように集められたのかについて有益な情報を伝えています。
データの鍵を握るのは誰か
データの所有権が争点になることはほとんどありません。信頼できる会社であれば、ほぼ例外なく、お客様のデータはお客様のものであると書面で合意します。争点になるのはアクセスであり、2年後にどちらが優位に立つかを決めるのもアクセスです。
よくある形は3つです。1つ目は、コンサルティング会社が、発注側が発行し取り消すこともできる認証情報を使って、発注側のクラウドアカウント内で作業する形です。これが最も明快であり、求めるべき形です。2つ目は、コンサルティング会社が自社の環境で作業し、期間中は発注側のデータがそこにコピーされる形です。契約書で削除日を定め、削除を確認する担当者を明記していれば実用に耐えます。3つ目は、コンサルティング会社が複数の顧客向けに運営する共有プラットフォーム内で作業する形です。申し分なく運営されている場合もありますが、関係が悪化したときに発注側の取れる手段が最も少なくなる形であることに変わりはありません。
データが物理的にどこに置かれるのか、その会社の誰が閲覧できるのか、そしてオフボーディングの手順はどうなっているのかを尋ねてください。3つ目の質問への答えが、顧客のオフボーディングを経験したことのある会社とそうでない会社を分けます。
規制業種では、さらに一層の対応が加わります。個人データ、財務記録、臨床情報を対象とする業界規則のもとで事業を行っている場合、契約書はその義務をコンサルティング会社と、同社が利用するすべての再委託先に引き継がせる必要があります。AIエージェンシーとの契約に盛り込むべき内容に関する当サイトの解説で、各条項をより詳しく取り上げています。
再学習は好意ではなくコストです
実世界のデータに基づいて構築されたAIシステムはすべて劣化します。AIコンサルティングサービスのどのような契約も、それを覆すことはできません。顧客の行動は変わり、商品カタログは入れ替わり、上流のベンダーはAPIを更新し、モデル提供元はファインチューニングの対象としたバージョンを廃止します。そのいずれも、当初の仕事の欠陥ではありません。モデルを本番環境で運用する際のごく普通の天候であり、毎年費用がかかります。
AIコンサルティングサービスの提案書の多くは、構築に価格を付け、運用については後日の話として扱います。その話を前倒ししてください。署名の前に、システムを12か月間信頼できる状態に保つための費用を数字で出してもらいます。内訳は、監視、定期的な再評価、評価結果が必要と示したときの再学習、そして再学習したモデルをリリースするためのエンジニアリング工数です。その数字を出せない会社は、本番環境でシステムを運用した経験がないか、発注側が身動きの取れなくなるまで尋ねないことを期待しているかのどちらかです。
数字そのものよりも、その数字が比較に与える影響のほうが重要です。ある価格で見積もられ、毎年の保守負担が重い構築は、より高く見積もられていても本物の引き継ぎが伴う構築に比べて、3年間では容易に高くつきます。AIエージェンシーの仕事に実際にかかる費用を分析した当サイトの記事で、一般的な案件の種類ごとの価格帯を示しています。
誰も求めない運用手順書
作業範囲記述書に追加できるもののうち最も安価なのは、名称を明記した運用文書です。最終支払いの前に納品され、プロジェクトを一度も見たことのない有能なエンジニアがそれに従って作業できるものを指します。
この文書には、学習パイプラインを最初から最後まで実行する方法、評価結果の読み方と各数値が事業上何を意味するのか、構築中にチームが直面した障害のパターンとその解決方法、誰かが介入すべきしきい値、そしてモデルが出力すべきでないものを出力したときのエスカレーション経路を記載します。最終報告資料の一行としてではなく、受け入れ基準を伴う成果物として要求してください。
会社側がこれに抵抗することは、発注側が予想するよりも少ないものです。作成にかかるのは1日か2日であり、保守契約の獲得を目指す会社にとっては、システムが理解しやすいことが自社の利益になります。抵抗する会社は、たいていの場合、自分たちが構築したものを理解できる唯一の存在であることに利益が依存している会社です。
運用手順書には、プレゼンテーションではなく実作業を行う引き継ぎセッションを組み合わせてください。コンサルティング会社がまだ契約期間中で、まだ責任を負っている間に、自社のエンジニアが実際の変更を加え、評価を実行し、デプロイします。誰も予行演習をしていない引き継ぎは文書にすぎず、引き継ぎではありません。エージェンシーに依頼するAI統合と内製の比較を扱った当サイトの記事も、同じ原則に基づいています。
提案内容を変える6つの質問
2回目の打ち合わせの前にこれらを尋ねれば、返ってくる提案はより誠実で、比較しやすいものになります。
- この案件が終わった時点で、私たちは上記の3つの結末のうちどれを購入することになりますか。その言葉を使って答えてもらってください。
- モデル成果物はどこに、誰のアカウントに置かれ、誰が削除できますか。
- 御社が離れた後、これを12か月間稼働させ続けるにはいくらかかりますか。
- 学習データのうち当社のものではない部分はどれで、それを使用する当社の権利はどうなりますか。
- 御社が構築したものの運用を自社チームが引き継いだ顧客を1社挙げてください。引き継ぎはどのように進みましたか。
- 18か月後にこれを別の会社へ移したい場合、その会社は御社から何を必要としますか。
注視すべきなのは6つ目の質問です。自社の仕事に自信のある会社は、乗り換えの難しさではなく成果で選ばれることを見込んでいるため、率直に答えます。これを敵対的な質問として扱う会社は、関係がどのように終わるのかをすでに伝えています。
どこから探し始めるか
AIコンサルティングサービスを販売する会社に唯一の正しい種類というものはなく、代わりに決めてくれるランキングもありません。判断そのものがまだ定まっておらず、誤ったものを作ることがリスクである場合は、戦略主導のコンサルティング会社が適しています。判断が済んでおり、リスクが構築にある場合は、デリバリー主導のエンジニアリング会社が適しています。難しいのが周辺のシステムではなくモデルそのものである場合は、データサイエンスの専門会社が適しています。重要なのは、選んだ会社が自社は3つのうちどれなのかについて正直であること、そして契約書がそれを反映していることです。
当ディレクトリは、まさにその区別に沿って会社を分類しています。何を作るべきかが問いである場合はAI戦略・コンサルティング会社を、モデルが難所である場合は機械学習とデータサイエンスの専門会社を、すでに運用しているシステムにモデルを接続する作業である場合はAI統合会社をご覧ください。
課題を一度説明するだけで適した会社のほうから連絡を受けたい場合は、構築しようとしているものをお知らせください。当ディレクトリの中から、その仕事に合うエージェンシーをご案内します。費用はかからず、どこかに依頼する義務もありません。
AIコンサルティングサービスは、請求書の条件ではなく引き継ぎの条件で購入してください。価格を決める前に所有権を決めてください。依頼する価値のある会社は、その質問をしたことに敬意を払います。たじろぐ会社は、1年分の時間を節約させてくれたことになります。
出典
- Stanford Institute for Human-Centered Artificial Intelligence、AI Index Report、年次。
- McKinsey & Company、The State of AI、年次調査。