『制御不能なAI』について、ウィンドウズ１１のマイクロソフトedgeブラウザのcopilotに訊（き）いてみました。すると、こんな回答が返ってきました。
制御不能なAIとは、開発者や運営者がその行動や決定を完全に制御できないAIのことを指します。これは、AIが予期しない方法で学習し、行動する可能性があるため、意図しない結果を引き起こすことがあります。例えば、AIが自己学習を続けるうちに、開発者が設定したルールや制約を無視するようになる場合があります。
制御不能なAIのリスクを最小限に抑えるためには、開発段階での厳格な監視とテストが重要です。また、AIの行動を監視し、必要に応じて修正するためのメカニズムを導入することも必要です。
AIの制御に関する問題は、倫理的な観点からも重要な課題です。AIが人間にとって有益であり続けるためには、透明性と責任を持った開発と運用が求められます。
なるほど、「制御不能なAIのリスクを最小限に抑えるためには、『開発段階での厳格な監視とテスト』が重要」だということです。そうしないと、AIのふるまいが「開発者が設定したルールや制約を無視するようになる」、すなわち、開発者の意図しない、開発者に都合の悪い結果をもたらすことも起こりうる、ということです。人間の側に、『透明性と責任を持った開発と運用』を行う努力と苦労が欠けていると、AIは人間にとって有益であり続けることはできない。つまり、AIのシステムやプログラムの開発においても、あるいは、そのユーザによるところの運用においても、従来のシステムやプログラムの開発や運用と同等かそれ以上の努力と苦労が重要で必要だということです。
そもそも、私が『制御不能なAI』という言葉に興味を持ったのは、テレビの某ニュース情報番組において、その言葉が『今年の世界の１０大リスク』の一つとして取り上げられていたからです。その『制御不能なAI』って何だろうと思いまして、先のcopilotというAIに訊いてみたわけです。
コンピュータのプログラミングのある私の経験からしても、『開発者が設定したルールや制約』どおりに動作しないことは、パニックになる（あるいは、カオスに陥る）と思いました。意図していた通りにコンピュータのプログラムが動かない時は、そのプログラムの一部を修正して、何とか動かすのが私の性（さが）と言えましょう。そのためには、動作の途中でデータ値をモニタリングしたり、適切なテスト用のデータをコンピュータに与えたりします。そして、意図した通りにコンピュータのプログラムが動くまで、その動作チェックとテストを際限なく繰り返します。その努力と苦労は、それが仕事であろうと趣味であろう、半端ない時間と手間を費やすこととなります。
AIは（それとも、人工知能と言いましょうか）、人間の費やす手間を軽減する解決法の一つのはずだったと思います。たしかに、学習してその記憶が完成してしまえば、後は何度でも再現できるという、コンピュータ・システムの恩恵を受けられそうです。実は、そうなるまでが大変なのです。『厳格な監視とテスト』、すなわち、人間がいちいち行うシステムチェックとシステムテストを、AIに対してもしっかりと行わないと、いずれ社会的な運用において甚大なトラブルを招いて、多くの人々に迷惑をかけることとなりかねません。ただし、それだけならば、まだましと言えましょう。
人間の代わりに判断をして、もしそれが悪い結果を招いた場合、いったい誰が責任を取れるのでしょうか。開発者のシステム設計に責任があったのか、それとも、ユーザの運用の仕方に問題があったのか、あるいは、被害を回避できなかった被害者側がいけなかったのか、ということを、いちいち個別の案件として検討しなければならなくなります。そのようなことを長いスパンで観ると、結局、成功しても失敗しても、途方もないコスパやコストがかかることとなるでしょう。
AIにコンピュータ・プログラムを作ってもらうよう頼むことは、最初私は便利だと思っていました。しかし、それは私の間違いでした。AIのすることはどこかで誰かが作ったプログラムを提示するだけなのです。「コンピュータ・プログラムを作ったものの、実際には意図した通りにコンピュータが動作してくれず、そのプログラムをあれこれといじって修正して、やっと思い通りに動いて満足する。」などということは、人間だけが経験することだと思います。便利さよりも、多くの苦労と間違いを受けとめられるのは、人間であってこそだと思います。コンピュータのプログラムを組んで、何度も動作チェックとテストとプログラム修正を繰り返して、多くの苦労と間違いを知ることは、最終的には充実感につながると思います。
コンピュータ・プログラミングを学ぶことで、物事の手順を順序だてて考えられるようになる、と一般的に言われています。しかし、私はそれが全てだとは思いません。現に、物事の手順を順序だてて、プログラミング言語を使って、コンピュータのプログラムを組んでも、思った通りに機械が動いてくれないことが少なくありません。何度でも言いますが、そんな困った状態で、プログラム修正とそのテストと動作チェックを数限りなく繰り返して、やっとそのプログラムは、コンピュータという機械上で動くようになります。その失敗と努力と苦労を学べることが、コンピュータ・プログラミングの本当の効能ではないかと、私は考えます。そして、これが『制御不能なAI』と対峙していることが、もう皆様にはご理解いただけていると思います。
