ノーバート・ウィーナー「機械に与えた目的が、本当に望む目的かを確かめよ」の意味と出典|1960年『Science』論文と自動化の危険

「機械に与えた目的は、本当に望んだ目的なのか」の意味

自動化した仕組みが指示どおりに働き、数字上の目標を達成したとしても、それが人の望んだ結果とは限りません。数学者ノーバート・ウィーナー(Norbert Wiener)は1960年、機械に仕事を任せるとき、指示した目的が本当に実現したい目的と一致しているかをよく確かめる必要があると論じました。

原文の核心は「the purpose put into the machine is the purpose which we really desire」です。本記事の「機械に与える目的が、私たちが本当に望む目的なのか確かめよ」は、その意味をまとめた説明訳です。ただし元の文章には大切な条件があります。機械が速く、いったん動くと結果を取り消せず、人間が途中で有効に介入できない場合についての警告なのです。

「機械は人間の言うことを聞かなくなる」という単純な予言ではありません。人が設定した評価基準と、人が実際に守りたい価値との間にずれがあると、機械は指示された仕事をこなしても望ましくない結果に至り得ます。「指示を守ったこと」と「人間の目的にかなったこと」を分ける必要があります。

出典|1960年5月6日『Science』掲載の自動化論文

出典は Norbert Wiener, “Some Moral and Technical Consequences of Automation”, Science, 131巻3410号、1960年5月6日、1355〜1358頁です。論文の副題は「As machines learn they may develop unforeseen strategies at rates that baffle their programmers.」。学習する機械が、設計者の予想しなかった戦略を生み出す可能性が主題として掲げられています。

冒頭の注記によると、論文は1959年12月27日の米国科学振興協会(AAAS)シカゴ会合での講演をもとにしたものです。したがって、1959年の講演と1960年の誌上刊行は別の出来事です。ここでは、出典として確認できる1960年の掲載文面を基準に扱います。

問題の文章は最終頁の1358頁にあります。そこでは機械の動作が速く、取り返しがつかず、終わる前に人間が必要な情報を得られない状況を条件として示します。そのうえで、機械へ渡す目的が本当の望みではなく、ただそれらしく見える模造品になっていないかを警告します。末尾のこの対比が重要です。

チェッカーの学習機械から、なぜ危険を考えたのか

ウィーナーは、チェッカーのようなゲームを行う機械を例に使いました。すべての手を最後まで計算し尽くすのではなく、過去の経験や一定の評価の仕方を使って有利な手を選びます。機械が成功のために採る個々の戦略を、設計した人が必ずしもすぐ理解できるとは限らないという点に注目しています。

一見すると、これは小さな遊びの問題です。しかしウィーナーは、ゲームと実社会では失敗の重さが違うことを意識していました。とりわけ戦争や企業間競争のように、条件が複雑で完全な理論を作りにくい活動へ同じ発想を広げると、目標の立て方を誤った結果が重大になる可能性があります。

論文の後半には、望みをかなえるはずの行為が思わぬ災厄を招く「魔法使いの弟子」や願いの物語にも言及があります。ここでの教訓は、人間の願いが常に明確だということではありません。むしろ自分の望みを十分に言葉にできないまま強力な仕組みに任せることの難しさを示します。

「停止できるか」「目標は正しいか」は別の確認事項

機械の速さが人間の確認や修正の速さを上回ると、誤りに気づいても止める前に結果が確定するかもしれません。ここでの問題は、単に高性能だから危険ということではなく、誤った目標をもとにした行動へ、人がいつ介入できるかにあります。

今日の自動処理について考える場合も、システムが定められた条件を達成したかだけを確かめるのでは足りません。誰にどんな影響が出るのか、予想と異なる結果が出たら止められるのかを分けて考える必要があります。これは1960年の議論から導ける現代的な応用で、ウィーナーが現在の生成AIや業務システムを直接研究したという意味ではありません。

関連する原典として、エイダ・ラブレス「解析機関は自ら何も創造しない」では、機械と人間の意図の関係を1843年の文章から考えています。約一世紀を隔てた議論なので、ラブレスの機械観とウィーナーの学習機械への警告を、そのまま同じ主張として扱わないことが大切です。

原典・掲載情報と、警告の核心

元の論文を直接読むには、ペンシルベニア州立大学の授業資料として公開されている『Science』掲載論文のスキャンが利用できます。書誌は米国国立医学図書館のPubMedで確認できます。論文のDOIは10.1126/science.131.3410.1355です。

論文の最後の警告を、後年のAI研究の文脈に位置づけた資料としては、教科書『Artificial Intelligence: A Modern Approach』の関連章があります。ただし、これは当時の原典そのものではなく、後世の研究者による読み直しです。1960年の言葉と現在の問題設定の連続性を考えつつ、同一視はしないようにします。

大切なのは「機械が完全に人間に従うなら安全」という結論でも、その逆の「機械には何も任せるべきでない」という結論でもありません。実現したい目的を適切に表せているか、結果が取り返しのつかないものになる前に人間が見直せるか。その二つを問い続けるための言葉です。

もう少し深く考えたい方へ

書籍『AI前提社会を生き抜く』の表紙 書籍『AI時代を一足先に歩く父から子への手紙』の表紙 書籍『「正解」を越えて』の表紙

AI・教育・未来社会を考える、運営者の著書から3冊をご紹介します。気になる一冊から、さらに深く読み進めてみてください。

著書・出版活動を見る →

ほかの記事を探す

記事の訂正・出典情報は、お問い合わせから該当記事のURLと根拠資料をお知らせください。