５月28日火曜日／ChatGPT は何者だ

◇ 竹芝・大森

　深夜から眠らず、朝から都内に。予報のとおり、大雨になる。横浜から東海道線に乗るが、品川に着くまでのあいだにひどい貧血になった。あと少しで品川だと思い、なんとかがんばっていたが、到着する寸前には視界が真っ白になり、扉が開いたすぐ目の前にあったベンチに座り込む。満員電車に乗ることもひさしぶりだった。少し乗っていないとこんなに苦手になるかな。ベンチで少し休んでから山手線に乗り換えたが、山手線も大混雑していた。

　昼食は竹芝、小諸そばに入り、鴨ステーキ丼セットを食べた。680円。浜松町館のトイレは以前も利用したことがあるが、男女兼用の個室が並んでいる。未来すぎるトイレだ。浜松町館の２階のソファーで少し休憩するが、今日は朝からずっと頭痛がしている。気候のせいもあるだろうか。

　浜松町から京浜東北線に乗り、大森に移動する。雨が止み、雨が止んでいるうちに西友のブックオフに寄っていく。110円の文庫本を１冊、220円の文庫本を１冊、単行本を１冊買う。

　大森で読書をしていこうかというつもりで考えていたが、電車が混まないうちに横浜に戻ってしまいたくなった。眠りながら横浜に戻り、横浜で読書をしようというつもりだったが、その考えもなくなり、読書は電車のなかですることにした。終点まで往復して、読みかけの本を読み終えた。

◇ 読書

　図書館で借りている、スティーヴン・ウルフラム「ChatGPTの頭の中」を読み終えた。2023年刊、ハヤカワ新書。ChatGTP を使いこなしたいから役に立つかと思って読んでみたけど、そういう実用的な本ではなかった。しかし、ChatGPT を理解するにはとても面白い。以下、気になった箇所を引用。

P11-12「ChatGPT で驚異的なのは、たとえば小論文を書くときでも、基本的には「ここまでの文を受けて、次に続く単語は何か？」という質問を繰り返し、そのたびに１つずつ単語を追加しているにすぎないということだ。（略）では、実際問題として、小論文（でも何でも）を書きながら次に追加していく単語をどうやって選んでいるのか。普通なら「ランクの高い」単語、つまり「確率」が最も高い単語が選ばれるはずだと考えるだろう。だが、ここで不思議な魔術が登場する。理由ははっきりしていないのだが――いずれは科学的に説明できる日が来るのかもしれない――、常に最高ランクの単語を選んでいると、どうにも「単調な」小論文になるのが常で、「クリエイティビティを発揮する」ところがまったくなくなってしまうのだ（ときには、一言一句を変えずに繰り返すことさえある）。逆に、ときどきはランクの低い単語をランダムに選んでやると、「もっと興味深い」小論文ができあがる。（略）引き続き魔術めいた言葉を使うが、ランクの低い単語を使う頻度を決める「温度」というパラメーターが存在し、小論文を生成する場合には、この「温度」を0.8に設定すると最もうまく機能することが分かっている。」

P49「ネコとイヌを識別するニューラルネットを作るときには、たとえばヒゲを見つけるといったプログラムを書くわけではない。どれがネコでどれがイヌか、というサンプルを大量に見せて、そこから識別のしかたをニューラルネットに「機械学習」させるだけだ。ここで重要なのが、学習中のニューラルネットは見せられた個々のサンプルをもとにして「汎化」を行っているということだ。（略）なんらかの「汎用的なネコらしさ」だと私たちが考えるようなことに基づいて、ともかくも画像を識別しているのである。」

P61「だが一般的に言って、ニューラルネットを十分に訓練するには「大量のサンプルを見せる」必要がある。そして、サンプルが驚くほど反復的になるというのは、少なくとも一部の処理については、ニューラルネットの重要な知見になっている。実際、手持ちのサンプルをすべて、何度も何度も繰り返してニューラルネットに見せるのは標準的な手法だ。その「訓練の一巡分」（「エポック」という）ごとに、ニューラルネットは少しずつ違った状態となるので、なんらかの方法で特定のサンプルのことを「想い出させ」てやると、「そのサンプルを記憶させる」うえで有効だ（この点も、人間が暗記するときに反復が有効であるのと似ている）。」

P70-71「これまで、コンピューターにとって「基本的に難度が高い」だろうと想定される処理がいくつもあった。小論文の執筆もそのひとつだ。それが、ChatGPT などによって実現されているところを見ると、コンピューターがいたって強力になったに違いないと、とっさに考えそうになる。（略）だが、そう結論するのは正しくない。計算的に還元不能なプロセスは、やはり計算的に還元不能なのであり、たとえコンピューターが個々のステップなら苦もなく計算できたとしても、そのプロセス全体は依然としてコンピューターには根本的に困難なのである。そうなると、結論はむしろその逆になるはずだ。小論文の執筆のように、人間にはできてもコンピューターにはできないと考えられてきた処理が、実は計算処理の点から考えると、ある意味では思っていたより容易だということだ。言い換えるなら、ニューラルネットがうまく小論文を書けるのは、小論文の執筆というのが、これまで考えられていたより「計算処理的に浅い」問題だったからなのである。」

P88「結局のところは、人間の言語の特徴を「ニューラルネットでエンコード」しているのだと考えられる。だが今のところ、その機能の実態はまったく分かっていない。とどのつまり、ここでは「ChatGPT の脳を開いて」（とりあえずは GTP-2 の）、うん、中は複雑だ、理解できない、それでも最後には認識できる人間の言語を生成するのだ、ということを発見している段階だといっていい。」

P104「では、ChatGPT のようなシステムはどうやって、言語を扱えるほどにまで進化できるのか。実は、言語というものがその根本的なレベルでは見かけより単純だからだ、というのが私の考える基本的な答えである。」

P121-122「少し前までなら、（人間の）言語こそ、私たちの「世界モデル」を一般的に記述できる唯一の手段だと考えたかもしれない。数世紀前からすでに、特定のことがらについては形式化が始まっており、その基盤となるのは数学だった。だが今では、形式化に対してもっとずっと一般性の高いアプローチが進んでいる。それが計算言語である。」

P128「ChatGPT の個々の設計には、称賛すべき点がある。だが、つまるところ（少なくとも外部ツールを使う前までの段階では）、ChatGPT は蓄積してきた「一般通念」から「筋の通った文章のスレッド」の一部を取得している「だけ」だ。それでも、人間らしい結果になっているのは驚異的である。すでに述べたように、ここには科学的にきわめて重要な示唆がある。人間の言語は（そして、それを支えている思考のパターンは）、どうやら私たちが考えていたよりも単純であり、その構造はもっと「規則的」らしいということだ。」

◇ テレビ・ラジオ

　夜に帰宅する。空気が生暖かい。ひどい強風で、傘を何度もひっくり返しながら帰ってきた。録画していたテレビ番組をあれこれと。今朝の「虎に翼」では優三さんが死んでしまった。今日の「徹子の部屋」のゲストは中村獅童と獅童の子どもたち、陽喜くんと夏幹くん。

　今日の「＃バズ英語」は、XXCLUB の映画コーナーに「猿の惑星/キングダム」のウェス・ボール監督が登場し、対面インタビューをする。番組終盤には「Every Second」という曲が世界的バズソングになっているというミイナ・オカベがスタジオに登場し、弾き語りで曲を披露した。ミイナ・オカベというひとの曲は、先週の「トーキョー・エフエムロヒー」でヒコロヒーが紹介していて記憶していた。　

　放送中の「トーキョー・エフエムロヒー」をつけると、今回はラブレターズ塚本がゲスト。ラジオを聴きながら雑務。ＳＮＳを覗くと、今くるよの訃報。76歳。清水国明が都知事選に出馬するというニュースも。今夜は早めに眠る。

ChatGPTの頭の中 （ハヤカワ新書） [ スティーヴン・ウルフラム ] 価格：1,012円（税込、送料無料)