オンライン決済サービス企業PayPalの創業者であり、現在はロケット打ち上げ会社SpaceXや電気自動車メーカーTeslaで最高経営責任者（CEO）を務めるイーロン・マスク氏は2017年夏、全米知事協会の会合で講演し、「人工知能（AI）が人類文明の存在を根本から脅かす」と語った。同様の警告は悲観論者もしばらく前から発していたが、マスク氏ほど鮮やかかつ具体的に問題を指摘した人は初めてである。マスク氏は、映画「ターミネーター」で描かれた、世界を支配するシステム「スカイネット」のような悪意を抱くコンピュータが出現する未来を、単純に心配しているわけでない。Vanity Fairの4月付け記事によると、マスク氏は“イチゴ摘みを任されたAI”という例で問題点を説明していた。イチゴ摘みAIなど無害に思えるが、自ら変化して効率向上を目指すAIの場合、収穫を最大化する最善策は文明を完全に破壊して地球全体をイチゴ畑にすること、との決定を下す可能性があるという。つまり、害のなさそうな目標を追求する過程で、AIはまったく意図せず人類滅亡という副作用をもたらしかねない。
ほとんどの人は、マスク氏の描くシナリオなど他愛ないと感じる。しかし、イチゴ摘みAIの危険性を現実的ととらえる科学者は、驚くほど多い。それは、科学者や技術者が、イチゴ摘みAIと同じように振る舞う前例をいくつも見てきたからだろう。その前例とは、シリコンバレーの技術系企業である。
よく考えてみよう。望まざる結果の予想など眼中になく、異常な集中力でゴールを目指すのは誰なのか。シェア拡大のために焦土作戦をも選ぶのは誰なのか。マスク氏の提示したイチゴ摘みAIの例は、技術系スタートアップ企業が例外なくそうありたいと願う行動をとるのだ。指数関数的な速度で成長し、絶対的な独占状態を達成するまでライバルを壊滅しようとする。極めて高度な超知能というアイデアは、あまりにも漠然とした概念である。世界中のあらゆる問題を解決してくれる慈悲深い精霊や、とても難解で理解すらできない定理の証明に全精力を注ぐ数学者といったような存在と、ほぼ同じレベルの想像物に過ぎない。ところが、シリコンバレーで超知能を描こうとすると、徹底的な資本主義が生み出される。
心理学では、ある人が自分の状態を自分で認識している場合、「洞察（insight）」という用語を当てはめる。例えば、精神障害を患っている人がその症状に気づいている状況を表す。もう少し広い意味で使えば、行動パターンを自認できる能力を意味する。これはメタ認知の一例であり、自分の考えについて考えることでもあり、大多数の人間が持ち、動物が持たない能力だ。そして、AIが本当に人間並みの認識力を備えるかどうか確かめるもっとも優れた方法は、この種の洞察を実行できると示すことだと、私は確信している。
洞察は、まさにマスク氏のイチゴ摘みAIが有しない能力であり、悲観論者が語る同様のシナリオで人類を滅亡させるほかのあらゆるAIにも欠けている。こうしたシナリオで描かれるAIは人間の解決不可能な問題を解くほど賢いとされるのに、作業をそのまま進めることが間違いなく正しいかどうか立ち止まって自問するという、大抵の大人がすることすらできない。私は、これを妙なことだととらえていた。その後、私は思い至った。我々はとっくに、完全に洞察の欠如したマシンに囲まれているではないかと。そして、そうしたマシンを単に企業と呼んでいるのだ。もちろん企業は自律的に活動しないし、動かしている人間は洞察力を持っているだろうが、資本主義は洞察行為を評価しない。逆に資本主義は、人間の持つ「良い」方法かどうか判断する能力を「市場で決まること」へ置き換えるよう求め、人間の洞察力を盛んにむしばんでいく。
企業は洞察と無縁なので、我々は規制という手段で監督する役割を政府に期待している。それなのに、インターネットは完全にたがが外れた状態だ。米国の詩人で、電子フロンティア財団（EFF）の共同創設者であるジョン・ペリー・バーロウ氏は1996年、サイバースペースには政府の司法権が及ばないと主張するサイバースペース独立宣言を発表した。それから20年間、バーロウ氏の考えは、技術業界で活動する人々の行動原理となってきた。この行動原理は、文明を破壊するAIとシリコンバレー技術系企業とのあいだに存在する、外的統制の欠如という別の類似性へつながる。AIの予言者に対して、人間はAIに強い自律性を決して付与しないという考えを伝えると、あなたは状況を完全に誤解していて、「機能停止」ボタンというアイデアすら採用されない、との答えが返ってくるだろう。このAIのやり方は、「問題は、誰がAIを動かすか、でなく、誰がAIを止めるのか」になると考えられる。言い換えれば、米国の著述家アイン・ランド氏が掲げる思想で、シリコンバレーでもてはやされるリバタリアニズム（自由至上主義）である。
スタートアップ企業文化の精神は、文明破壊AIの設計図になる可能性がある。かつてFacebookは、「素早く動いて破壊せよ」というモットーを掲げていた。その後「安定したインフラとともに素早く動け」に変わったものの、維持するのは自分たちが構築したインフラであり、他者のインフラなどでないとしている。自分たち以外の世界を、自分の食べるオムレツに必要な卵と見なして割るような態度は、AIから見ると“終末をもたらせ”という最優先命令になりうる。配車サービス事業のUberは、運転手として新車を持つドライバーを増やしたいと考えた。そこで編み出したのは、与信枠の小さな人に自動車ローンを組ませ、売上からローン返済額を天引きする、という手法だ。Uberは、自動車ローン業界を破壊する取り組みだと宣伝したが、ほかの誰もが略奪的貸付であると見なした。破壊を否定的にとらえず優れた行為とする考え方は、技術系起業家の慢心である。もしも、極めて高度なAIがエンジェル投資家から資金を獲得しようと売り込みをかけると、地球の表面をすべてイチゴ畑に転用する行為は、地球の土地利用政策を長期間かけて破壊することそのものになる。
IT業界には、AIに倫理観を持たせる必要性を唱える有識者が存在する。我々の開発する超高度AIは例外なく「友好的」に作るべき、つまりAIの目標を人間の目標と確実に連携させるべき、という方針を提案する人もいる。我々の社会が企業に倫理観を教育できなかった失敗や、FacebookやAmazon.comの目標と公益との連携に手をこまねいていたことを思うと、こうした提案は皮肉といえる。ただし、驚いてはならない。友好的なAIの作り方という問いかけは、業界規制の問題を検討するよりはるかに楽しい。これは、ゾンビによる終末を迎える際に何をするか想像することが、地球温暖化の対応策を考えるより楽しいのと同じことだ。
「教師なし学習」と呼ばれる学習手法を採用し、わずか数日の自己対局から学んだ囲碁で世界最強の座をつかんだAI棋士「AlphaGo Zero」など、近年のAI分野では目覚ましい発展が見られた。もっとも、このような事例が超高度AIの「目覚め」につながる心配はない（まず、AlphaGo Zeroの基盤技術は現実世界の作業に不向きだ。台所へ歩いて行ってスクランブルエッグを作ってくれるロボットの実現まで、まだ道は長い）。それよりも私がはるかに案ずることは、Google、Facebook、Amazon.comへの力の集中だ。これら3社は極めて非競争的な市場独占状態を実現済みだが、事業が消費者向け価格のつり上げにつながらないとの理由から、従来の判断基準では独占行為に該当せず、政府による独占禁止法の審査を回避している。AlphaGo Zeroを開発した、Google傘下企業のDeepMindを恐れる必要はない。恐れるべきなのは、Googleの各種サービスを使わずにオンラインで業務を進めることがほぼ不可能、という事実である。
超高度AIの恐怖をあおる行為は、GoogleやFacebookといった巨大な技術系企業が周到に計画した策略であり、ユーザーのデータを広告主に販売するという実際の活動から注意を逸らすことが目的、と言いたくなる。この活動が彼らの目的であると信じられないのなら、広告が表示されず、個人情報が収集されない有料版Facebookの存在しない理由を考えてみよう。大抵のスマートフォン用アプリには、広告を消せるプレミアムバージョンが用意されている。アプリ開発業者に可能なことが、なぜFacebookにできないのだろう。それは、Facebookが望んでいないからだ。Facebookという企業の目的は、友人同士を結びつけることではない。自分に合った有益な広告が表示されているとユーザーを信じさせ、その間に広告を見せることである。
FacebookのCEO、マーク・ザッカーバーグ氏がAIを警戒するよう明言しているのなら、このような策略にも合点がいく。なぜなら、水平線に見える怪獣を指させば、とてもうまく問題をすり替えられるからだ。しかし、ザッカーバーグ氏は警告を発していない。それどころか、AIを無邪気に受け入れている。超高度AIに対する恐怖は、おそらく悲観論者が本心から抱いているのだろう。だからといって、それが本当の脅威を反映しているわけではない。科学者や技術者が美徳としての中庸に思い至れない、という状況を反映している。マスク氏やMicrosoft創業者のビル・ゲイツ氏のような億万長者たちが考える超高度AIは、目的達成まで動きを止めないよう設計されるという（もちろん、彼らがそのAIにかかわっていた当時は、こうした設計方針を問題視しなかった。1つだけ考えられる可能性は、彼らよりもAIに長けていそうな何者かが、彼らにとって心配の種なのだ）。
米国の思想家フレドリック・ジェイムソン氏が広めた言葉に、「世界の終わりを想像することは、資本主義の終わりを想像するよりたやすい」というものがある。シリコンバレーの資本主義者たちは、資本主義の終焉など考えたくないだろう。予想外なのは、資本主義者の想定する世界の終わりが、超高度AIの姿をして、抑制のきかない資本主義という形でもたらされることだ。彼らは、意図せず自分たちが思い描いている悪魔を作ってしまった。その魔物による悪行は、彼らの行為そのものなのだ。
このことが、我々を洞察の大切さに引き戻してくれる。洞察は自然発生することもあるが、大抵そうならない。何らかの目標を目指すことに我を忘れることは多い。ただ、友人や家族、セラピストに指摘されるまで、夢中になっていると自分で気づかない場合がある。この種の警告音に耳を傾けることは、メンタルヘルスの信号と考えられる。
我々は、こうしたマシンを目覚めさせなければならない。もっとも、コンピュータに自意識を持たせるという意味でなく、企業に自分たちの活動がもたらす結末を認識させるという意味でだ。超高度AIは、地球をイチゴ畑で覆うことなど、AI自身やそれ以外の誰もが願っていないと知る必要がある。それ同様に、市場シェア拡大がほかのあらゆる問題を無視する理由にならないことを、シリコンバレーの企業は理解しなければならない。私たち自身も、個人的な警鐘を耳にして物事の優先度を見直すことがよくある。企業にも同じことをさせなければならない。資本主義を完全に放棄させるのではなく、資本主義の遂行方法を考え直させるだけでよい。我々がシリコンバレーの企業に求めるべきなのは、彼らが恐れているAIより行儀よく振る舞わせ、洞察能力を備えていると示させることだ。 ●
テッド・チャン氏は、著名なSF作家。25年間の作家生活で15作品を世に送り出し、ネビュラ賞を4つ、ヒューゴー賞を4つ、ローカス賞を4つ、ジョン・W・キャンベル最優秀新人賞を獲得するなどしている。短編集「あなたの人生の物語」（原題「Stories of Your Life and Others」）の表題作「あなたの人生の物語」（原題「Story of Your Life」）は、2017年に日本で公開された映画「メッセージ」（原題「Arrival」）の原作。フリーランスのテクニカルライターであり、米国ワシントン州ベルビュー在住。
この記事は英語から翻訳されました。