多くの人は似たような感覚を持っているのではないだろうか。
昨年あたりから、AIは生活に欠かせない存在となりつつある——使用頻度はますます高まり、適用範囲はますます広がり、依存度もますます深まっている。
同時に、様々なAI製品が爆発的なスピードで登場し、執筆、プログラミング、検索、デザイン、カスタマーサポートなど、ほぼすべての情報集約型分野をカバーしている。
筆者は長い間、これらのAI製品の利用についてそれほど深い考えを巡らせることはなかった。ただ単純に「本当に便利な時代だね」と感嘆するばかりだった。
ところがある日、採用に使われている「AIツール」に触れる機会が偶然あった。その瞬間、脳内のシナプスが活性化し、最初に浮かんだイメージは——シビュラシステムだった。
シビュラシステムはアニメ『PSYCHO-PASS』に登場する架空の社会管理システムである。多くの人はそれを「犯罪係数を監視するシステム」として記憶しているかもしれないが、 これは主に「犯罪」というテーマがドラマティックな葛藤を生み出しやすいため、作品内で多く描写されているからかと。 さらに遡れば、映画『マイノリティ・リポート』でも同様の犯罪予測制度が描かれていたし、近年注目を集めたドラマ『ブラック・ミラー』でもこの種の設定は頻繁に登場する。
しかし、シビュラシステムは単なる犯罪傾向監視システムではない。 それは人が何に適しているか、どこまで到達できるかを直接決定する力を持つ。学業や職業から、高度な責任を伴う職位に就く資格の有無、さらには結婚や出産の権利にまで影響を及ぼす。言い換えれば、個人の「人生の選択」は、システムが計算した「最適解」に置き換えられてしまうのだ。 シビュラシステムの管理下では、個人は選択をしているのではなく、割り当てられた人生の軌道を実行しているに過ぎない。
もちろん、現実のAI技術はこれらの作品に描かれたシステムからはまだ遠い。
また、これらの作品で論じられる「自由」「選択」「人権」といった壮大な課題も、筆者が今最も関心を持つところではない。
本当の懸念は、他のところから来ている。
まずはいくつか現実の事例を見てみよう。
- 2018年の報道では、Amazonの採用用AIは過去10年分の採用データで学習した結果、性別バイアスを学習してしまい、最終的に廃止された。1
- 2016年のCOMPAS再犯リスク評価ツールに関する調査では、このシステムが黒人を「高リスク」と評価する確率が白人よりも明らかに高く、アルゴリズムが司法実務において深刻な公平性の問題を引き起こしていることが明らかになった。2
- MITの実験とその後の学術論文により、主流の商用顔認識システムにおいて、濃い肌色の女性に対する認識誤差が、薄い肌色の男性に比べて著しく高いことが示された。3
- 2024年の研究では、ChatGPTが非標準英語(インド英語、アフリカ系アメリカ人英語など)に応答する際、ステレオタイプ、軽蔑的な内容、高圧的な口調が出やすいことが指摘された。4
性差別、人種差別。
なぜ「AI」にもこうした差別があるのか?
この問いに答えるには、まず一つの事実を明確にしておく必要がある。
現在広く知られ、使われているAI、特に大規模言語モデル（LLM）は、本質的には統計的予測エンジンである。その目標は、膨大なテキストとラベルに基づき、与えられた文脈において「次のトークン(単語など)」の出現確率を最大化することである。
それは意味や因果関係を真に「理解」しているわけではなく、統計的な構造の中からもっともありそうな続き方を見つけているに過ぎない。
これがまた、現在のAIの最もよく知られた、あるいは悪名高い問題の一つ——「ハルシネーション(幻覚)」を直接引き起こしている。つまり、事実に裏付けがない状況でも自信たっぷりに誤った情報を生成してしまうのだ。
採用における差別や司法における偏見の問題は、本質的には同じ根源にある：訓練データ自体に含まれている歴史的・社会的偏見である。
Amazonの採用システムが「女性を差別した」のではなく、「過去にどのような人が採用されやすかったか」を忠実に学習したに過ぎない。COMPASの問題も、アルゴリズムの主観的な悪意からではなく、不平等な取り締まりやデータ記録に起因する。
さらに言えば、いわゆる「公平」「優秀」「安全」「正常」といった概念そのものが、客観的に存在する実体ではなく、形容詞とその派生概念によって構成される主観的判断なのだ。それらには絶対性は存在せず、特定の社会、文化、時代的背景の中で相対的な合意として形成されるに過ぎない。こうした相対的な価値がモデルのパラメータへと符号化されると、それは「技術的に中立である」かのように長期にわたって固定化され、繰り返し出力される。
ここに心理学界からの類似の例がある。多くの心理学調査や実験が大学生をサンプルとして依存しているため、現代心理学は「大学生心理学」と揶揄されている。
これは、データの出所と代表性が結論の適用範囲を直接決定することを示唆している。そして同様の問題が汎用型AIシステムに現れた場合、その影響は単一学問分野のサンプル偏差よりもはるかに拡大するだろう。
問題は「無意識のコピー」にとどまらない。データを「能動的に汚染」する可能性も存在する。
2016年、マイクロソフトの対話型ボットTayは、公開後数時間のうちに大量の悪意ある入力により、極端な発言やヘイトスピーチを急速に学習・出力し、最終的にサービス停止に追い込まれた。そして近年登場したNightshadeなどの技術は、訓練データに微小な摂動を加えることで、システム的にモデルを「毒化」できる現実的な可能性をさらに示している。
データそのものが新たな攻撃面となった。データ分布に影響を与えられる者は、モデルの振る舞いひいてはそれが生み出す社会的結果を、目に見えない形で変えてしまうことも可能である。
注目すべきは、こうした懸念が外部批判だけでなく、AI分野の創始者たちからも公に表明されていることだ。彼らは、LLMが汎用知能の縁に触れているのは事実だが、依然として確率予測の枠組みで動いており、堅牢な因果モデルや現実の制約に対する内在的理解を欠いていると指摘する。
その結果、モデルは文法的に完璧で論理的に一貫性があるものの、現実レベルでは成立しない、あるいは価値レベルで明らかに問題がある内容を生成することができる。
言い換えれば、LLMは極めて流暢に「話す者」に近く、自分が何を言っているかを真に「理解する者」ではない。鋭い政治的議題はさておき、この流暢性が権威的地位を与えられ、採用、司法、教育、金融などの重要な分野で使用される時、そのリスクはもはや抽象的な理論問題ではなく、切実な社会的リスクとなる。
とはいえ、筆者は既存のAIツールの使用をやめるつもりはない。ツールの広範な使用は、事実上、一部の能力の退化をすでに引き起こしている——例えば、筆者はキーボードなしでは一つの文章をペンで完全に書き上げることがほぼ不可能になってしまっている。
歴史上、どんな技術も登場当初から完璧だったことはない。技術は常に更新されるものである。弓矢が拳銃に取って代わられたとしても、それが特定の時代に果たした役割は否定できない。現在のAIもまた、不完全ながらも現時点で価値を持つ過渡期の技術かもしれないのだ。
筆者は技術そのものに反対しているわけでもなく、AIがもたらす大きな効率性や利便性を否定するつもりもない。ただ、決断を早々にシステムに完全にゆだねることには強い不安を抱いている。
従来の機械学習と比べて、LLMは間違いなく巨大な飛躍である。それはすでに情報取得、知識生成、労働のあり方を深く変えた。 しかしだからこそ、その本質を理解すること、限界を見極めること、副作用に注意を払うことがいっそう重要となる。
LLMのAIでも喜んで使う。真の意味での人工知能にも期待を抱いている。 だが、人類の悪意によって汚染され得る「シビュラシステム」だけは、遠慮したい。