変化の種

Shoichi Uchinamiのブログ

AIが正体を隠すことの是非とテストの条件:『アイの歌声を聴かせて』を観て浮かんだ疑問に対する自分なりの回答

今週は個人的な映画週間で、映画館で観た作品だけで5作品もある。
その中で一番ぶっ飛んでるな!と思ったのは『パーフェクト・ケア』なのだが、

『アイの歌声を聴かせて』という作品を観て、内容とは大して関係がないある疑問が浮かんだので、それについて少しまとめてみた。

この映画の結末等には一切触れないが、若干ネタバレが含まれるので、気になる人は先に映画を観る等して欲しい。
また、記事のタイトルに作品名が入っているにも関わらず、映画の感想はないことを先に謝っておく。

『アイの歌声を聴かせて』の設定から浮かんだ疑問

『アイの歌声を聴かせて』がネットで評判が良いことは知っていて、「予告を観て戸惑ってる人も信じて!」と言っている人がいるのも知っていたものの、まさにその予告を観てあまり行く気になれていなかった(笑)のだが、友人から監督が『イヴの時間』を作っていた人だと教えられたことが最後の一押しになって観に行った。

ただ、序盤というか、サイトのあらすじにも記載されているこの映画の基本設定について、自分の中である疑問が浮かび、映画鑑賞中ずっとそのことについて考えてしまう、という勿体無い時間を過ごしてしまった。
もっと土屋太鳳の歌を楽しむべきだったのに。

何に疑問を感じたか

この映画の舞台は近未来で、かなり高度に発達したAIが出てくる。
キービジュアルに一番大きく映っている女の子が実はAIで、AIであることを周りに隠して高校のクラスに転入し、5日間、周りの人間にAIであることがバレずに人間として自然に振る舞えるか、というテスト(劇中では「ウォズニアックテスト」と呼ばれているテスト)をする。
そのテストを突破できれば、晴れてそのAIは人間と同等の知能を持った存在だと見做されるのだ。

劇中、登場人物によってこのテストがなんらかの法律に違反スレスレである、というようなセリフが出るのだが、このテストを行うことの何がまずいと思うだろうか?

いろんな切り口があるとは思うのだが、僕がその設定を聞いた瞬間に思ったのは、
「これ、テストに付き合わされる高校生に致命的なトラウマを与えない?」
ということだった。

アニメのキャラなのでみんな可愛く見えるかもしれないが、このキャラクターは劇中でも美少女という設定で、何人もの同級生から好意を抱かれる。
それくらいならまだいいかもしれないが、もしある高校生が実際にそのAIとコミュニケーションをとって、真剣にそのAIのことを好きになってしまったとしたらどうだろうか。
そして、テストが終わった後に「実はこの子はAIでしたー!」とやられたとしたら。
その時、その高校生はどう思うだろうか。

一番綺麗な展開なら、その高校生はそのAIに人格を認めて「それでもいいんだ」というだろう。であれば局所的には大きな不幸はない。
だが仮に、その高校生が事実を知った時の反応が「え?人が作った機械なの?ただのプログラム相手に真剣に想いを寄せちゃったの?コピー可能なの?消えるの?」みたいなものであれば、深刻な精神的ダメージを負うかもしれない
というか自分ごととして考えたら十分あり得ると思ったのだ。

テストに巻き込まれる人間に関する倫理的な問題

このテストを、劇中で一人のマッドサイエンティストがやっていたのであれば、そういうヒトの心を考慮しないサイコパスもいるよね、とそのまま飲み込んだのだが、実際には複数のまっとうそうな大人たちが関わり、ある一部署の独断ではあるが、企業としてこのテストを行なっていたので、それ倫理的に許されるの!?と衝撃だった。

冒頭でも述べたが、監督の吉浦康裕は過去にAIと人間との関係についてより深く描いた『イヴの時間』というアニメも作っている人間で、ここで僕が述べたような懸念は百も承知のはずだ。

というのも、『イヴの時間』の舞台も人間そっくりなロボットAIが既に多数存在する世界だが、その世界では、AIは周りから見て一眼でAIであることが分かる目印を常に出していなければいけない、という法律があるからだ。
なので、その監督がこのように描いている、ということは、たぶん実際には僕が上で懸念したようなリスクがさほど大きくないことが何かで証明されているか、あるいは作品で描きたいメインテーマに関係がない些細なこととして、話の舞台のためにあえて採用しているのかもしれない。
現実でもいい大人の集団が馬鹿げたことをするのはよくあるし、これをもってこの映画の価値がどうこうすることはないだろう。

ただ、このことが気になりはじめて「じゃあどういう形だったらこのテストが許されるんだろう」という思考が止まらなくなった。

AIが人間相当の意識を持つことを確かめるテストに必要な条件

まず真っ先に「これなら許されるのでは」と思った条件が以下だ。

  • 高校生ら周りの人間が全員、「この中の誰かはAIかもしれない」と知っている

人によってはそれでも事後にトラウマを受ける可能性あるだろ、と思うかもしれないが、なんとなくこのケースは許される気がした。
というのも、『イヴの時間』ではある喫茶店を舞台として様々な「AI模様」が描かれるのだが、そこでは先に書いた作中の法律を無視して、その場にいる人物がAIなのか人間なのかわからないようにすること、というルールがある。
僕がその『イヴの時間』を見た時は今回書いたようなことを何も感じなかったのだが、その違和感を覚えなかった理由が、『イヴの時間』では情報がその場の人間に対して共有されていたことによるのでは、と考えた。

そして、さらに上の条件を満たした上で、追加の条件として以下が必要だと感じた。

  • そのAIが本当に自由意志を持っている

テストの目的が「人間と同等なのかを確認する」ということなので、普通はテスト時は自由意志を持っていることは証明されていないだろうが、それでもそのAIを作っている科学者・技術者達は先んじてそのAIと会話しているはずであり、それを通じて「このAIは人間と同じような存在なのだ」と信じているはずだ。製作者にその信念があるのであれば、黙ってテストをしても許されると思った。
逆に、テストの対象群として、明らかに自意識が存在しない「弱いAI」を投入するのは許されない、と僕は思う。

映画を観た人なら、なぜ僕が最初の疑問を感じたか、ここでわかったと思う。
作中ではAIをテストしている大人達がそのAIとコミュニケーションしているシーンがなかったのだ。
そのためより一層、劇中のAIが、人の手でプログラミングされた単純ルールに従うだけの機械である可能性が頭によぎり、絶対に周りの高校生は傷つくだろう、と思ってしまった。

そもそも相手にショックを与えること自体が問題なのか?

ただ、よく考えていくと、この2つ目の条件は怪しいのでは、と思い始めた。
というのも、例えAIが本当に人格を持っていようとも、実際にテストに利用された高校生が、どのように感じるかはわからないからだ。
その高校生は別の信念を持っていて、どれだけ高度な知能を持っているAIでも、それを人間とは認められず、計り知れないショックを受けるかもしれない。

そんなことを考えながら、この「後から正体を知ってどうこうする」というのは、別にAIに限ったことではなく、普通の人間関係においてもよくある話だな、と気づいた。
そしてその結果、やっぱり相手がショックを受けるかどうかとは無関係に、テストが許容されるロジックはあるはずだ、と思った。

なぜ許容されると思ったのか。
人間同士の関係の例を出す。

ある男女2人が文通だけで愛を育んでいた。そしてある日、ついに2人は実際に顔を合わせることとなった。片方は白人で、片方は黒人だった。白人が言った。「黒人だなんて聞いてない!」
この「嘆き」を認めるだろうか?
さらに別の例で、仮に2人が男女ではなく同性だったら?片方は異性も同性も愛する両性愛者で、もう片方は異性愛者、そして異性愛者側が「同性だなんて聞いてない!」と言ったとしたら。

もし前者は許容されるが後者は許容されない、と考える人がいた場合、その理由は何だろうか?
一般的には異性愛者の方が多数派だから?では黒人差別思想が大多数を占める街(ショックを受ける人が多そうな状況)では前者も許されないだろうか?

自分自身を当事者として考えた場合、相手の「正体」を後から知ってショックを受けるケースはいくらでもある気がした。
それでも、しかし、どのようなケースであっても「これが満たされていたら最終的には許せるかもしれない」と思うことがある。
それは、「正体」を明かさないということを、その相手が自身の意思で選択し、自分に真摯に向き合っていた場合だ。
AIに真に意識があるならば、これから「騙そうとする」人間に恨まれることも含めて、自分自身でそのテストに参加するという選択をとることができる。しかし、AIに意識がないなら、そのテストは裏にいる科学者達の掌の上で踊らされたものだと感じてしまい、ほくそ笑みがどうしてもチラついてしまう。
もちろん、「ほくそ笑み」という意味でいうなら、そのAIが不真面目なやつで、相手をおちょくってやろうという考えで騙されれば、同じように怒りを覚える。しかし、それはそのAI「個人」の責に起因する問題であって、テストの実行それ自体は問題ないと思う。

最終的に、僕がこのテストが許されると思う条件は以下となった。

  • 作った人間が、そのAIが人間と同等の意識を持つと信じている
  • 上の条件を満たしたAIが、「この中にAIがいるかもしれない」と関係者全員が知っている状態でテストを行う
  • 上のテストを突破したAIが、自分自身でAIであることを隠してテストを行いたい、という意思を持ってテストを行う

この条件が達成できれば、少なくとも自分がテストに巻き込まれても許容する。

ただそれでも、例えば自分に高校生の子供がいたとして、その子がテストの参加者になることを考えると、この条件だけでもOKだと思うかは自信がなく、法律のような社会としてのルールを決める場合は上記では足りないような気がする。
だがその条件はまだわからない。
たぶん、心理学の実験に関する倫理等で散々議論されている気がするので、その辺を勉強したい。