ホワイトハウスの合意によるAI監査が実効性を持つには、監査人自身が検査対象を選択できる仕組みが不可欠だと、Decentralization Research Centerのリサーチ責任者Samuel Vance-Law氏が指摘しています。
先週、世界的に影響力のある6つのAI企業がホワイトハウスに対し、外部から彼らの取り組みを検証可能にすることを約束しました。9月29日、Nvidia、OpenAI、Anthropic、Google、Meta、xAIは、米国前大統領ドナルド・トランプ氏が「道徳的拘束力がある」と評した先進AIモデルに関する協定に署名し、各社は「独立した外部監査人または評価者と提携し」、独立取締役が監査報告書の精査と問題の是正を確実に行うことを約束しています。
外部監査の導入は歓迎すべきですが、この合意には監査人の選定者、検査対象や調査範囲、公表の有無に関する記述はなく、これらを守らなかった場合の罰則もありません。現状では各企業が自社で監査人を選び、監査人にどの情報を提示するかを決定しています。
2000年には、かつて「ビッグファイブ」と称された国際会計事務所の一つで、今は「ビッグフォー」となっているアーサー・アンダーセンが、エンロンの帳簿監査に2,500万ドル、税務及びコンサルティング業務に2,700万ドルを収めていました。2年以内に両社は崩壊し、議会は管理側から監査人選定権を奪い、監査人が監査先に多数の他サービスを提供することを禁止、さらに監査人を検査する公的機関を創設するサーベンス・オクスリー法を制定しました。
アンダーセンの失敗は専門知識の不足によるものではなく、年間5,200万ドルを支払うクライアントに対して厳しく対応するインセンティブが欠如していたことが原因とされています。AI業界における自主的誓約も十分な成果を上げていません。2023年、主要AI企業はホワイトハウスに対して、外部専門家によるリリース前テストを含む自主的コミットメントを示しましたが、スタンフォード、ハーバード、ブラウンの各大学研究者による16社評価の結果、平均スコアは53％で、問題の特定・報告に関する約束に対しては16社中8社が全く協力しない評価を受けました。
外部テストが行われても、条件は開発者側が設定します。非営利団体METRはOpenAIのo3モデルリリース前のテストについて、「わずか3週間の実施で」「モデルに関する情報へのアクセスも制限されており」「モデルの逐次的推論過程も確認できなかった」と述べています。
OpenAIに対して公平に言えば、テストを許可した点は評価されるべきですが、共有情報の範囲に多くが依存していることも示されています。
訓練済みAIモデルは巨大な数値ファイルであり、制作には1億ドル以上の費用がかかることも多いため、モデルの所有はコピー保持を意味し、外部にコピーを提供することはセキュリティリスクを伴います。これまではテスターが事前に質問内容を企業側に提出し試験を公表するか、企業側がモデルを提供するかという難しい選択を強いられてきたとGoogle DeepMindは説明しています。
8月、DeepMindはこれらの課題を解消する方法を示しました。シンガポールのAI Safety Instituteおよび３つの外部団体と協力し、二重盲検試験の原理を応用した世界初のAIモデル二重盲検テストを実施。テストは封印されたコンピュータ機器上で実施され、外部テスターはモデルを直接閲覧せず、Google側も質問内容を知らない仕組みでした。Googleは数学的に双方が情報非公開を証明できたと述べています。
この方法によって信頼は機器に移されます。昨年、研究者は1,000ドル未満の機器でこの種の封印機器に侵入しましたが、サーバーへの物理的アクセスが前提だったため、問題として重要性は低く、管理者を慎重に選べば対応可能です。
私が所属するDecentralization Research Centerは今週、「Alternatives to Concentrated AI」というレポートを発表し、共同執筆者のKyle Bligenとともに36名にインタビューし、AIの集中管理に対抗する約30の稼働中の代替案を調査しました。主な発見は外部者がモデルやデータのコピーを取得しなくても先端AIを検証できる点でした。
この合意に基づく監査が実効性を持つには、監査人はコピーなしで検査可能な現状を踏まえ、何を検査するか自ら選定できる必要があります。企業は監査人の選定者や監査範囲を開示すべきで、調査結果の非公表も許容されます。上場企業は長年にわたり監査人を公表していますが、企業秘密が漏れた例はありません。監査報告を受ける取締役委員会は、社外の誰かに責任を負わせるべきです。サーベンス・オクスリー法は監査人を監査する検査人を設けていますが、この合意にはその仕組みがなく、議会がこの空白を埋める必要があります。
注：本コラムの見解は著者個人のものであり、CoinDesk社およびその所有者・関連企業の見解を必ずしも反映するものではありません。