このディレクトリにはカスタムAIソリューションとして132社が掲載されていますが、各社が売っているものは同じではありません。ある会社は、自社で購入できたはずのプラットフォームを設定し、その設定作業の代金を請求します。別の会社は、社員自身が探し出せない文書の上に検索（リトリーバル）層を構築します。三社目は、ラベル付けされた自社データでモデルをファインチューニングします。四社目は、そもそも実現可能かどうかを関係者の誰も最初の時点では分かっていない研究課題を引き受けます。これらは四つの別々の業種であり、必要なスキルも、コストの曲線も、失敗の仕方もそれぞれ異なります。それでいて、ウェブサイトに書かれている言葉は四つとも同じです。
この曖昧さは、ある特定の方向で高くつきます。一つ目で足りたはずの場面で、買い手が四つ目にお金を払うことは珍しくありません。取締役会では四つ目のほうが本格的に聞こえるからです。独自の開発を発注して解雇された人はいません。逆の失敗、つまり本当に新しいモデリングが必要な課題に対して設定作業を買ってしまう失敗は、より早く表面化し、痛手も小さく済みます。ベンダーは四半期のうちに行き詰まり、資金の大半はまだ自社の口座に残っているからです。
カスタムAIソリューションという言葉が実際に指しているもの
作業が終わったときに何が新しく存在しているかで仕事を分類すると、四つの業種はきれいに分かれます。
| 最後に新しく残るもの | 買っているもの | それが正解となる場面 | 第一フェーズで受け取るべきもの |
|---|---|---|---|
| 何もない。設定のみ。 | 自社の業務プロセスに合わせて設定され、自社システムに接続された他社のプラットフォーム | 差別化の要因がデータではなくワークフローにある、一般的な業務 | 自社テナント内で動作する設定と、ベンダーなしで変更するためのドキュメント |
| 検索（リトリーバル）層 | 汎用モデルが回答できる状態にした、自社の文書と記録 | 知識は社内にあるのに、社員がすぐに見つけられない | インターフェースを作る前に用意する、実際の質問と採点済みの回答からなる評価セット |
| チューニング済みモデル | 自社のラベル、形式、業界用語に合わせて調整した汎用モデル | 大量処理において、純粋な性能よりも出力形式や専門語彙が重要になる | 同じテストセットで未調整のモデルと比較した測定結果 |
| 新規のシステム | いくら払っても既製品としては存在しないモデリングやエンジニアリング | 自社の物理現象、センサー、規制対象のプロセスに固有の課題である | 答えが「不可」となる条件を含む、書面による実現可能性の検証結果 |
この表で役に立つのは右端の列です。最初の成果物をこの言葉で説明できない会社は、どの行を名乗っていようと、その仕事をした経験がありません。
一つの質問で、大半の案件は一度の打ち合わせで仕分けられます
この作業の七割をこなすものがすでに存在するかを尋ね、次に、残りの三割をなぜ業務プロセスの変更で済ませられないのかを尋ねてください。
前半も後半も重要です。前半は高くつく失敗を防ぎます。真剣な会社であれば、課題の大部分をカバーする製品を二つか三つ挙げ、それらがどこまで対応できるかを説明するからです。何も存在しないと主張する会社は、自社の市場を知らないか、こちらが知らないことを当てにしているかのどちらかです。後半は、より見えにくい失敗を防ぎます。本来なくすべき工程を自動化するためにシステムを構築してしまう失敗です。文書からのデータ抽出プロジェクトの多くは、十一年前に帳票がまずく設計されたために存在しています。帳票を直すほうが、乱雑な帳票の読み方をモデルに教えるよりも安く済みます。
この答えからは、自社が四つの業種のどこにいるのかも分かります。七割がカバーされていて不足が連携部分であれば、必要なのはモデリングのプロジェクトではなく、AIインテグレーションの相談です。データが自社にしかないために何もカバーできないのであれば、三行目か四行目に該当し、予算の議論は様相が変わります。
構築か設定かを決める四つのテスト
- データは外に出せますか。そもそもデータはすでに存在していますか。 四つのシステムに、異なる顧客名で散らばっているデータでは、モデルをチューニングできません。まず必要なのはエンティティ解決であり、これはどの提案書も冒頭に掲げたがらない地味な作業です。データを自社環境の外にまったく出せない場合は、モデルを選ぶ前に、その制約がアーキテクチャを決めます。
- その業務は、費用を償却できるほど繰り返されていますか。 構築には固定費と運用費がかかります。一日に二百回発生する業務であれば、どちらも回収できます。週に一度の業務では、ほとんど回収できません。優れたチェックリストを持った人間が正解である場面は、ベンダーが認めるよりも多くあります。
- 精度の上限を決めているのはモデルですか、それとも自社のデータですか。 これは二週間あれば判定できますが、その二週間をかける会社はほとんどありません。汎用モデルと適切な検索の組み合わせですでに大部分に対応できるのであれば、上限はデータにあり、チューニング済みモデルから得られるものはごくわずかです。コンテキストを増やしても解消しない形で汎用モデルが失敗するのであれば、チューニングには伸びる余地があります。
- 誰が出力を確認し、誤っていた場合に何が起こりますか。 専門家が出力を承認するシステムは、自動化されたシステムでは許されない誤り率にも耐えられます。実際に確保できる確認の体制は、設計における動かせない制約です。NISTが公表しているAI Risk Management Frameworkは、この議論を避けたがるベンダーと話し合うための、妥当な共通言語になります。
請求書の後にやってくるコスト
サブスクリプションは、保守費用を価格の中に隠しています。カスタム構築は、保守をそのまま自社に引き渡します。
最初の提案書から特に抜け落ちやすい項目が三つあります。一つ目は評価です。取り分けておいたテストセットと定期的な再実行を持たない構築物は、性能が落ちたことを知らせる手段を持ちません。そして性能は必ず落ちます。自社のデータが変わり、基盤となるモデルも足元で変わっていくからです。二つ目はモデルの提供終了です。主要なプロバイダーはいずれも、公表されたスケジュールに従ってモデルのバージョンを廃止します。そのため、一つのバージョンに固定されたシステムには期日の決まった有効期限があり、誰かが移行の責任を負わなければなりません。三つ目は人です。カスタムシステムには、その動作を理解している社内の責任者が必要です。その人物が計画書に明記されていなければ、誰かが信頼をやめると決めたわけでもないのに、八か月ほどでシステムは信頼されなくなります。
これらはいずれも、構築に反対する理由ではありません。二年目の費用を一年目と同時に見積もるべきだという理由であり、候補に残したすべての会社に尋ねる価値のある質問です。
提案書に必ず含まれているべき五つの項目
- 自分で読めるテストセット。 自社の業務から取った実例に正解を書き添えたもので、構築を始める前に合意しておきます。これがなければ、品質をめぐるその後の議論はすべて意見の問題になります。
- 凝ったことを何もしない場合との比較。 キーワード検索、ルールエンジン、既存の製品が、同じテストセットでどの程度のスコアを出すかです。ベースラインを明示しない提案書は、改善の大きさを隠しています。
- 明示された中止条件。 その会社がこのアプローチの断念を勧めることになる結果です。これを持たない研究業務は、終わりのない定期支払いになります。
- 引き渡し成果物の一覧。 コード、重み、プロンプト、評価セットとそれを実行するスクリプト、ラベル付きデータ、運用手順書です。それぞれが、閲覧できるものではなく受け取るものとして明記されている必要があります。
- 書面による二年目の費用。 ホスティング、推論、再評価、そしてモデルのバージョンが廃止される際の移行費用です。
モデル、重み、プロンプトは誰のものか
カスタム開発が製品の購入と最も大きく異なるのがこの点であり、契約書が最も曖昧になりやすいのもこの点です。別々に所有できるものは四つあります。コード、学習済みの重み、プロンプトと評価セット、そしてラベル付きデータです。ベンダーは、重みを手元に残したまま動作するコードを引き渡すこともあれば、ラベル付きデータを自社に残したために再学習できない重みを引き渡すこともあります。どちらの取り決めも一般的であり、明示されていれば不誠実ではありません。受け入れられないのは、それを最後になって知ることです。
この質問は率直な形で尋ねてください。明日、貴社との取引をやめた場合、当社の手元には何が残り、貴社なしで再学習できますか。この答えは、どの事例紹介よりも早くベンダーを選別します。この仕事を日常的に手がけている会社は、すぐに答えを用意しています。真剣な顧客は誰もがそれを尋ねてきたからです。
六週間を無駄にせずに候補を絞り込む方法
テストセットとベースラインを含めて、業務範囲を一ページに一度だけ書いてください。次に、その同じ一ページを先ほどの表の異なる行に属する三社に送り、返ってきた内容を比較します。カスタムAIソリューションの見積もりに五倍の開きがある場合、たいていは各社が依頼内容を別々の業種として読み取っています。それは、見積もりが教えてくれる最も有益な情報です。
依頼先を探すには、カスタムAIソリューションのカテゴリーから始めるのが自然です。チューニング済みモデルの仕事については機械学習とデータサイエンス、出力が予測ではなくコンテンツである場合は生成AIもあわせて確認する価値があります。構築よりも接続を得意とする会社はAIインテグレーションに、戦略から始める案件はAI戦略コンサルティングに掲載されています。全体の一覧はディレクトリにあり、現地に来てくれる相手を探す場合は都市別でも確認できます。現在、掲載数が最も多いのはサンフランシスコ、ニューヨーク、アトランタです。
依頼を送る前に、十分ほどかけて読む価値のある関連記事が二本あります。何をどう買うかは、同じ判断をすべてのカテゴリーにわたって扱っています。初めて依頼する際のチェックリストは、本記事では触れるにとどめた契約上の論点を扱っています。検討している構築物が自社文書を対象としたチャットインターフェースであれば、カスタムGPT開発が二行目をさらに絞り込んだものにあたります。データとモデリングの課題であれば、AIと機械学習のコンサルティングがその契約の中身を、AI開発サービスが納品を解説しています。規模の大きい組織はエンタープライズAI企業の選び方を、継続的なパートナーがそもそも必要かどうかを検討している方は一人で十分な場合をお読みください。
業務範囲の文書化で行き詰まっている場合は、こちらに課題を記入してください。掲載内容が合致する会社をディレクトリがお知らせします。この種の開発を手がけていて、まだ掲載されていないエージェンシーは、プロフィールを追加できます。
出典と参考資料
本記事の掲載数は、このディレクトリ自体のカテゴリーページから読み取ったものであり、エージェンシーの追加に伴って変わります。導入が実際にどの段階にあるかという全体像については、Stanford HAIのAI Indexと、US Census BureauのBusiness Trends and Outlook Surveyがいずれも定期的に公表しています。Census Bureauの調査には、ベンダーではなく企業に直接尋ねているという利点があります。MIT Sloan Management Reviewは、こうしたプロジェクトがパイロットの後に停滞する理由を最も継続的に報じています。NISTのAI Risk Management Frameworkは、上で述べた確認と監督に関する論点の参照先です。