LLMは考えているか

 2009年にGPUを使ったAI技術の研究を始めて、2010年度に初期成果を学会で発表した(pdf)。この時点では、画像処理用途以外に使えるGPUをGPGPUと呼んで、普通のGPUと区別していた。またPytorchのような便利な開発環境はなかったので、Python から CUDAを直接使うしかなかった。AlexNetが画像認識のコンペで段違いのスコアを達成して深層学習が有用だと証明されたのが2012年頃なのでそれより3年前だ。2010年頃に自然言語処理にGPUを使っている人たちは、国内にはほとんどいなかったため、学会で発表しても「GPGPUって美味しいの?」という冷めた反応だった。しかし、その時点で将来大量のデータを複雑なモデルで学習するためには並列計算が必須であることは見えていた。残念ながら直接CUDAプログラミングにより複雑な計算に対して高い並列性を上げるのは、弱小研究室には困難でTensorFlowやPytorchの登場を待つしかなかった。実際、CUDAで並列計算を使うより、CPUで普通に処理した方が速いという壁に何度か直面した。
 さて、LLM(世間がAIと呼んでいるもの)は、考えてないという話を書いてきました。LLMは入力列Xに対する出力Yの条件付き確率P(Y|X)を計算しているだけで、何も考えていない。「居酒屋でビールを○○」の○○は「飲んだ」の方が「食べた」より確率が高い、ということを計算しているだけ。「風邪をひいた」と言ったら「それは大変ですね。お大事に」と答えるのも同じ原理。学習したデータの中にそういう流れが良く出て来るからそれを単語列として出している。誤解を恐れずに言うとLLMは魔族のようなもので、心がなくただ単に単語列を言語として操っているだけ。でも中には、「単語列を学習して単語列を予測しているだけではなく、単語間の関係を計算している、それが考えているのにあたる」という説明を見かける。これはTransformerの中でattentionの計算をしていることを差していると思われる。attentionとは日本語では注意機構と言って、トークン列の間の関連性を計算して、出力に影響させることを差す。しかしこれには明確な反例がある。状態空間モデルに基づく、S4やMambaでも、大量の言語データで学習させると、Transformerベースのモデルと変わらない出力が得られる。状態空間モデルではattentionがなくてもLongBenchなどの言語関係のベンチマークで当時の最先端のスコアを出すことができる。つまり、深層学習モデルによる確率的な単語の予測にはattentionは必須ではない。もちろんattentionが予測性能を上げるために効果があることは明らかなので不要ということではなく、LLMが考えているという主張の根拠にattentionはあたらないということだ。
 人間の推論は、演繹(deduciton)、帰納(induction)、発想(abduction)の3種類に分けられる。LLMは演繹にあたる推論が人間のようには出来ていない。Chain of Thougths(思考の連鎖)により、ある程度の段階的な思考を言語レベルで実行できるが、人間のような論理性を持った汎用推論はできてない。帰納は、実は機械学習でいう学習のことで、学習はできているが人間の学習とはアプローチが違う。発想については未解決。人間だけが持つ能力だと思われいるが、計算的に実現できるのかもしれない。人間の頭の中は複雑すぎて、どのような思考が行われているかは観測できない。これまで哲学者や論理学者が長い年月をかけて明らかにしようとしてきたが、外からまたは内省により考察するだけでは限界がある。それでは脳をスキャンして調べれば良さそうだが、何百億の脳神経細胞が複雑に3次元的に並列に影響しあっており、現在の測定器では解析しきれない。近年、脳神経細胞の連鎖に量子効果が効いているという説もある。
 余談だが、ひとつ思考について参考になる例がある。DeepMindのAlphaGOが囲碁において、人間のトッププロと対戦し勝利したことはエポックメイキングな出来事だったが、人間がAlphaGOに勝った試合もあった。なぜ人間が勝ったとというと、左の局面と右の局面がある論理的な接続が起きることが人間には(演繹的)にわかったが、AlphaGOは確率的に盤面を捉えているので、その論理性を見つけられなかった。そのためにAlphaGOは敗れた。人間が物事を深く考えるということはそういことなのではないかと思う。

LLM最前線

 何度か書いているように、今世間でAIと呼んでいるものの実態は、大規模言語モデル(Large Language Model; LLM)であって、いわゆる汎用のAIではない。LLMとAIの違いは、LLMは言語モデルなので、単に与えられた入力につながる、尤もらしい文を生成しているだけ。その言語にとって、どういう単語の並びが尤もらしいかを確率的に計算して、出力しているだけ。人工無能というのが昔流行ったが、(人間的な思考という意味で)何も考えていないので人工無能とあまり変わらない。
 そうは言っても、実際考えているように見えるが、実際は、文章で結果を返す検索エンジンと考えてもいい。病気について有用なアドバスをしてくれるが、検索してみると、全く同じことをどこかの病院のホームページに書いてある。つまり、ネット上の情報の受け売りをうまくまとめて表示してくれているだけの技術に世間の人は騙されて、AIの医者が出来たように錯覚している。
 要約や翻訳もできるが、LLMの学習データの中に要約や翻訳のタスクも入っているだけで、入力単語列を出力単語列に変換しているに過ぎない。
 それでも、Chain of Thoughts があるではないかという思うかもしれないが、そういう命名がされているだけで、思考しているのではなく、出力を結論に至るまでの過程として出力するのがCoTだ。例えば、連立方程式を解いて、というと答えを出すことができる。それは連立方程式と解く過程の文書を学習しているから。連立方程式を解く過程までをステップごとに書き出して答えるのがChain of Thoughts。そういう学習をさせている。とにかく何も考えていない。
 ときどきAIが専門でないひとから、人間も考えずに、会話しているのではという疑問をいただく。これは一部は正しい。自分の会話を思い出しても、ある程度言語モデル的に現在のコンテキストに沿った言葉をしゃべっていることもある。教科書で読んだ内容をうまくつないで話すこともある。でもこれは一部で、実際は知識構造と会話中の記憶を組み合わせて、考えてから答えている場合も多い。なぞなぞで、「ランナーなしでホームランを打ったら2点入った。なぜでしょう」と聞かれて、考えるとき、野球のルールやランナー、ホームランという事象を総合して考えて、ランナーが1人いると2点入るから、ランナーが「なし」だった、と考える。(註:Claude の答えは、「バッターがホームを踏み忘れたから!」)こういう知識と観測を組み合わせて、推論を行って結論を出すということをLLMはやってない。LLMは知識ベースをもっていない。言語モデルの中に「フランスの首都は○○」の○○はパリになる確率が高いと計算しているだけ。「ランナーなし~」のなぞなぞも何度説明してもLLMは理解できない。なぜなら、野球に関する知識を持ってないから。(註:もしこのなぞなぞが解けるようになっていても、それはこれのなぞなぞを学習データに加えただけ。類似する他のなぞなそを新しく作ると解けない。)「ホームランをうったら点が入った」といった大量の文から単語の並びの確率を学習しているだけだから。いうなれば、LLMは完全な健忘症だ。一度答えるたびに、過去の会話は全て忘れて、毎回過去の会話履歴をメモした手帳を見てから、次の質問に答えている。Claudeを使っていると時々履歴を圧縮するのは、対話が長くなると毎回読み直すトークン数が大きくなるので、古い履歴をベクトルに圧縮してソフトプロンプトとして与えているのだろう。
 そうはいっても、最近は、AIがAIを改良している、Anthropicは社内で凄いモデルが出来てる、という話がネット上に流れている。Anthropic社内の状況は知る由もないが、METRの調査では、まだそのような段階にないと報告されている。実際、Claude Codeを使っている感触では、まだまだ人間がまったく関与しない自己改良は無理という実感がある。結局Claude CodeもベースはLLMであるので、入力コンテキストから単語列を出力しているだけ。プログラミング用にシステム化されているが、基本はLLMで、言葉だけではなく、プログラムとなっている記号列を生成するよう学習しているだけ。ネット上には大量のプログラムのソースコードが公開されているので、それから学習すればある程度のプログラムは正しく出せる。プログラミング言語に対する構文のチェックはアルゴリズミックにかけているようだ。時々、ありもしないファイルのパスを書いたりするのは、学習したプログラムのパス情報をコピーをしているため。プランニングもしてくれるが、ほとんど余計なおせっかいという内容ばかり。特に研究レベルでは、10回に1回ぐらい傾聴に値するアドバイスもあるが、ほとんどが的外れなアドバイスばかりしてくる。私は全ての提案を却下するか無視して、こちらから指示を出し続けている。指示通りにがちがちに固まったプランに対して実行させている。そうしないと研究がとんでもない枝葉末節に落ち込んでいって、時間とGPUと電力を無駄にする。研究室にオンプレでH200サーバーも持っているが無駄には使いたくない。
 Anthropic の社内ではAIがAIを改良し始めているという話は、特に驚かないし、脅威でもない。私もClasude CodeをAIと呼ぶとすると、AIを使ってAIモデルを改良している。AIの研究業界ではまったく普通のことで世界中で進行中だ。また、昔から深層学習モデルにパラメータだけでなく、モデル(アーキテクチャ)自体もチューニングさせるという研究は行われている。極端な話、今の深層学習モデルはグラフィカルモデルとして見ると、CNNとかAttentionとかNormalizationなどの部品の有限の組み合わせなので、様々なパターンを改良し試させることは原理的にはできる。ただ、現状でSFのようなAIモデルの自己改良ができるかというと無理。本来は部品にあたる部分から発明しないと画期的な進歩にはならない。LLMは現在までの情報を組み合わせることはできるが、そこに書かれていないことは原理的に生み出せない。数学の証明も新しいものを生み出しているのではなく、Lean 4という証明系に沿った記号列をプログラミング言語を同じように機械的に生成している。
 結局、コーディングエージェンとの良いところは、プログラミング能力が高いことではなく、ライブラリなどの使い方を調べるなど面倒なところを省略できて、関連するサンプルプログラム的なものを素早く書いてくれることと、最大のメリットは、24時間365日、どんな指示に対しても文句を言わず、疲れることなく、飽きることなく、働き続けること。

LLMの今後

生成AI系の開発費用がデータセンターなどの箱もの偏重になっているのにはかなり懸念点がある。

1. 効率的なモデルまたは学習手法の登場の可能性
 3年ぐらいあれば、現在の生成AIが前提としているTransformerよりも高性能で、かつ少ないパラメータ数のモデルアーキテクチャが登場することは十分想定できる。すでにMambaなどTransformerではないLLMであっても、同程度のパラメータ数であればTransformerと同程度の性能がでることが分かっている。現在の商用LLMがTransformerベースですので、世界最高性能を競っているのはTransformerベースですが、原理的にはMambaでも同じ程度学習させれば同程度の性能がでる。さらにTransformerは入力トークン数の2乗に比例した計算回数が必要だが、Mambaは線形なので、必要となるGPUサーバーは大幅に減る。ざっくり言えば10000台のサーバーが必要なところMambaは100台ですむ。NVIDIAのLLMであるNEMETRONはMambaを拡張したモデルになっている。
 今後、どれぐらい劇的に学習のための計算量が減る可能性があるかというと、深層学習の一世代前に一世を風靡していた学習アルゴリズムであるSVMの場合、初期には数時間かかっていた学習が、10年ぐらいの間に性能を落とすことなく数ミリ秒まで短縮された。これは最適化手法がSMOからDual Coordinate Descentに進化したため。深層学習の学習手法は、誤差逆伝播だがこれは人間の脳の学習法とは異なっている。実はもっと効率的な学習手法が存在していて、まだ誰も気が付いてないのかもしれない。学習アルゴリズムの工夫で、計算量は数万分の一ぐらいにはなる可能性が十分ある。つまりは、サーバーは数万分の1の数で足りるということになる。
 また、大量のサーバーが必要なのはLLMの学習の場面であり、deploy の場面ではゲーミングPC程度の性能で足りる。利用状況にもよるがモデルを圧縮すればCPUだけのパソコンでも動作する。

2. LLMの商業化で利益を出せるのは2社程度か
 将来のことはわからないが、検索エンジンの黎明期を参考にすると、ビジネス的に生き残るのは2社程度かもしれない。インターネットの登場とともに、検索サービスが新ビジネスとして登場した。今のAIスタートアップのように、1998年頃は、AltaVista, Inktomi, Yahooが先行していた。その後、ページランクを開発したGoogleが後発の検索エンジンのスタートアップとして登場した。今サービスとして生き残っているのはGoogle, Yahooで検索エンジンとしては実質Googleの一人勝ち。この手のソフトウェアサービスは勝者一人勝ちになる可能性が高く、残れなかった会社は消えていく。問題は、今のAIバブルでは日本の国家予算並みの投資がされているので、巨額の投資をしている分がもし回収できなければ出資者にとって巨額の負担となる。かなりの丁半博打になっている気がする。個人的には OpenAIとAnthropicは両方素晴らしい技術を持っている会社なので、今すぐにでも2社を統合しないと経営的に共倒れになってしまうのではと懸念している。

LLMアラインメント

 最近になって、「LLMのアラインメントが。。。」という文脈でアラインメントという言葉が使われていて違和感がある。以前からAIやNLPにおいて専門用語として使われている「アラインメント」と競合していて、理解の妨げになっている。これまでAIやNLPで使われてきた「アラインメント」とは、具体的な2つの単語や概念のグループの間に対応を付けることを指す。例えば、一世代前の翻訳手法では、原言語を目的言語に翻訳した対訳文を大量に収集し、対訳文ペアの単語列の間に対応付けをすることをアライメントと呼ぶ。対応がつけば、それらを元に一般的な翻訳のルールを作成したり学習させたりできる。また、AI分野においても、別々に作成された2つの類似したオントロジー(知識ベース)の概念ノードの間に対応付けをすることをアラインメントと呼ぶ。これらは長年にわたり確立された専門用語であり、この2つの例でも、アラインメントとはなんらかの類似性を持つ2つの構造間のマッピングを求めることだ。
 ところが、GPT-4あたりで、インストラクション・チューニングのことをアライメントという呼んだことで用語の混乱が生じている。マスコミなどがアラインメントをこちらの意味で使うので、その流れに流されそうになっているが、由緒正しいAIの専門家は専門用語の使い分けには慎重であるべきだろう。こちらの語源は“value alignment”(価値の整合)から来ているようだ。こちらのalignmentが指しているものは工学的な「制御」や「調整」に近く、alignmentという言葉が若干ミスリーディングという批判も研究者の間にはある。端的に言えば、「LLM alignment = LLMを人間にとって都合よく調整すること」であり、構造間の対応づけというよりは行動矯正に近い概念だ。そのため、少なくとも専門家がAIについて語る文脈では用語の混乱を避けるため単にアライメントと言わず、行動矯正とか価値整合と呼ぶほうが相応しい。GPT-4でのRLHFの実装は行動矯正の近似手法になっている。
 なお、誤解がないようにしたいのは、用語の混乱があることが問題であって、行動矯正ができる、とかできない、ということを言いたいわけではない。単純に機械学習の基礎原理から考えて、何兆個ものパラメータを現状のデータ数で矯正しきれるわけがなく、また温度設定などにより確率的に生成が振れる時には、何等かの意図しない出力が出るのは避けられない。実用的には、アルゴリズミックにLLMの出力を監視するか、BERTなどを使って予測可能で、性能の高い方法でLLMを監視するといった方法を用いることになるだろう。単純には、LLMが単語を生成するときに、生成できる文に文法的意味的制限をルールによりかけて、ある枠内の文しかでないようにすることは確実にできる。その一方、表現が制限されるので実用性は下がるのでどうバランスさせるかが課題。

現在のAI(実体はLLM)の限界

 深層学習における大発明のひとつであるCNNの発明者のヤン・ルカン氏が科学的・専門的見地からAIについて語っている。LLMがASIにつながるとは思わないと断言している。ChatGPTなどの大規模言語モデル(LLM)は、画像や音声の認識と生成ができるまでに進化している。これは画期的なことだが、実際はLLMに対して、画像などを分割してトークンという記号にエンコードして、LLMに付加する追加学習を行っている。非常に簡単にいうと、言語を軸にして、それ以外のモダリティを言語にぶら下げる形でマルチモーダルな入出力を可能にしている(ただし、画像の生成には拡散モデルを呼び出していたりする)。LuCun氏はこのアプローチには限界があると指摘する。人間の子供は視覚や触覚など、言語よりも何万倍も情報量の多い情報源から学習している。つまりは、現在の言語中心のモデルに他のモダリティを付属させただけでは外界に即した思考できないと主張していると理解した。
 またインタビューの中では直接説明されてなかった気がするが、現在のLLMは地球上のほとんどすべての言語データを学習に使用してしまっていて、言語データの量の面ではこれ以上発展する余地がない。言語データの活用法にはまだ発展の余地があるが、これまでのように巨大IT企業が、資金力に任せて大量の文書データを何千台ものGPUサーバーに何の工夫もせずに突っ込むとLLMの性能が向上する、というアプローチには限界が来ている。そのため、今はフィジカルAIなど言語以外のデータを食わせる方向に開発が進んでいる。

www.youtube.com

 誰でも使えるオープンソースモデルとしてLlama がMetaから公開されたのは研究業界にとっては非常に画期的なことだった。それをMetaの中で強く推奨したのがLeCun氏。

 このインタビューを聞いていて、(インタビュー中に誤解があったわけではないが)ふと心配になったのは、専門知識のないひとたちが現在の生成AIに関して理解しようとするとき、もしかすると self-supervised learning (自己教師あり学習)を自律学習のように誤解しているのではと不安になった。self-supervised learning は専門用語(あまり良いword choice ではないが、使われているので仕方ない)で、「人手で正解データを作成することなく、収集した生データをそのまま活用することにより教師あり学習を行う手法」のこと。たとえば、収集した言語データの中の文の途中までを入力として与えて、次に続く単語を予想するように学習を行うことで、人手で正解を用意しなくても言語モデルを学習できる。決して、自分でモデルアーキテクチャを改良しながら勝手に進化していく学習のことではないので要注意。なお、self-supervised learning を「教師なし学習」の一種と説明する人も一定数いる。教師データ(オラクル)を作成しないので「教師なし」と言いたくなる気持ちはわかるが、純粋な機械学習手法として考えると「教師なし学習」ではない。

コーディングエージェント

 最初にコーディングエージェントを使ったときには、かなりの手ごたえと驚きがあった。プログラミングに特化してインストラクションやシステム化が適用されているとはいえ、LLMをコーディングにここまでフィットさせられるのかという感動があった。
 ただ1ヶ月以上使っているとかなり粗もみえてきて、コーディングエージェントは単なる便利なツールであるということに気が付く。大規模なソフトウェア開発では、典型的には、要求の分析に20%、 基本・詳細設計に30%、コーディングに20%、テスト・デバッグ・手戻りに30%ぐらいのエフォートが必要になる。コーディングエージェントができるのは、20%の部分なので、ここの時間が1/10になっても20% ぐらいの効率化にしかならない。その他の仕様書の作成やレビューの支援にもなるので他の部分で楽になる部分はある。ただし、コーディングの効率が10倍になっても、その人の品質のまま10倍になるので、プログラムが読めない人が10倍プログラムを作っても、品質の低いコードを増産することになる。完全な素人がわけもわからずプログラムを生成させても、それが本当に想定した指示の通りに出来ているかチェックできない。そのため、コーディングは早くなるが、そのコードのチェックや理解の時間がプラスされる。案外、指示した通りにはプログラミングされていないので、プログラミングができない人の指示は、プログラムコードに対応しなくて、思ってもない方法で実装しているかもしれない。例えば、「誕生日から年齢を計算するプログラムを作成せよ」という指示をしてできたプログラムは、今日の日付をハードコーディングしているかもしれない。今日は動くが明日は間違った答えを出す。また、「データベースから○○データを取り出すプログラムを書いて」と指示して、出来たプログラムがDBサーバーのIPアドレスとアクセスパスワードを平文テキストで埋め込んでいるかもしれない。一流のプログラマは、コーディングエージェントの作成したプログラムをレビューして理解できたものをアクセプトする。そうしないと、業務上の問題が起きたときに対処できない。
 見た目は、複数のサブエージェントにコーディングやテストを分割したりして、すごく賢くみえるが、実態は別のLLMプロセスに仕事を分割しているだけで、エージェントが組織を作って会社員のように勤務しているというわけではない。
 このあたりの事情は、最前線のエンジニアのお話が説得力がある。なお、マイクロソフト・リッチモンドでは数カ月前にコーディングエージェントブームは終わって、普通に便利なツールになっているとのこと。

マイクロソフト コーディング

人工超知能(その2)

人工超知能(ASI)の厳密な定義は難しいが、どのような条件を満たすとASIと呼べるかについて、一般に使われている定義は下記。

Artificial Superintelligence (ASI) refers to a form of AI whose intellectual, problem-solving, and decision-making capabilities far exceed those of the brightest human minds across every single domain.

つまりあらゆる問題解決などの課題に対して、最も優秀な人間を遥かに凌駕する能力を持っているAIがASIという定義だ。この定義がASIの定義であるという前提の下でASIが実現不可能なことを証明する。

言明「全ての分野において人間を凌駕すること」が成立するということは、この言明について1つの例外もないということでである。1つでも例外( counter example)があればこの言明は否定される。

例外は他にもたくさんあるが、答えの正しさを基準とすると、例外のひとつは「1回の一桁の十進整数の足し算」である。「一桁の足し算」は答えが1つであり、人間と同等の答えはだせるが、人間よりも遥かに良い答えは存在しない。そのため、人間を遥かに凌駕する答えを出すことはできない。よって、ASIの定義を満たすAIは実現できない。(証明終)

こう書くと、必ず計算速度が人間より速いという反論があるが、ここで定義上「人間を超える」基準には制約はなく、自由に設定できる。この場合、あらゆるケースのひとつとして、答えの正しさを基準とすると決めているのでこの反論は成り立たない。

さらに一般化すると「人間が答えを求める方法を知っており、かつ答えが常にひとつに定まる課題については、人間を遥かに凌駕する答えが存在しないため、人間を超えることはできない。よって定義に従ったASIは実現できない」となる。

この他、厳密な証明は難しいが「法律・倫理・マナー・風習・慣習・感情を考慮する必要がある日常の判断」で人間を超えるのは、人間と同じ身体・感情をもたないとできそうにない。このほか、「ランダムネスに支配されるゲームで人間を凌駕する」ことも不可能と言っていい。人間と同等にしかなれない。

さらに、今AIと言われているものの実態はLLMですので、1+1という文字列を見て、過去の文章に2と書かれていることが多いので2と答えているだけだ。中に四則演算機構を持っているわけではありません。もし、例えば「1+1=3」という大ヒット曲が出て、ネット中に1+1=3という記述が何億回と出て来ると、そこから学習したLLMは1+1の計算ですら間違える可能性が高まります。