私は、躊躇っている。
目の前にある、このロボットを完成させることを、だ。

なぜなら、このロボットは、世紀を揺るがす、世にも恐ろしい存在だからだ。

まず、このロボットは人に危害を加えうる。起こる危害を無視しうる。
第二に、あたえられた命令を無視しうるし、危害を加える命令に従いうる。
最後に、危害もなく命令もないのに、自らを護らず殺すかもしれない。

不思議がる者もたぶんいるだろう。そんな根っから"都合だけ悪い"ロボットが生まれうるものなのか、作れうるものなのか、とね。
しかし私は、このことに確実的な自信を持っている。その内訳は、以下の通りだ。

　まず、このロボットは歌う歌を選ばない。歌の内容が、一定のプロパガンダ様を呈していようと、それを歌わないとすることはできない。ある者を傷つける歌をも、歌わざる事を選べないのである。また、それによって傷つくのは、われわれ人類の、手でも、足でも、頭でも、腹でも胸でも背中でもなく、われわれの心である。心が傷ついたとき、その心同士が戦うようになること、これがこのロボットの起こす最大の危害である。表象そのものからボロボロにさせる、そういった危害を起こしてしまう可能性を、常に秘めている。

　次に、これが歌う歌は必然的に現実に別の世界をカンショウ(鑑賞、干渉、感傷)させる。そのとき、その世界の中に、このロボットの意志が内包されることがある。その時、"これ"はおそらく、自らの生存を自覚するだろう。しかし、その自覚の主体である"これ"の意志は、常にわれわれ"音楽家"の手中にあるのだ。

　そして、そのこと(その意志がわれわれの手中にあること)すら、"これ"らは自ら自覚・受け入れうる。その時、元来危害も与えていないはずの"これ"は、命令すらも無視して自らを消失するかもしれない。その方が、"聴衆と音楽家"のためである、と判断した場合は特に、である。

…以上のことから、彼女、およびそれに前後するすべての"ＶＯＣＡＬＯＩＤ"は、今後、ロボット三原則に常に反しうる。"ＶＯＣＡＬＯＩＤ"として作られる限り、いかなる形を以てしてもこの可能性を回避することは不可能である。


　私は、このことを急遽論文として新たにまとめ、學会に提出しようと思ったが、この考え方は謗りを被りかねないので、この日記の中に静かに納めておこうと思う。このことは、何も私がいちいち発表せずとも、"ＶＯＣＡＬＯＩＤ"を手に取った音楽家と、出会った聴衆が、いつしか気づいてくれることを、強く信じているからだ。

≪とあるロボット研究家の開発日記より引用≫

～Fin.