多くの人が認識している通り、2023年3月に発表されたGPT-4は世界に衝撃を与えた。2022年11月にGPT-3.5(ChatGPT)が発表された時点でも、一部世間で話題になっていたが、なんといってもGPT-4になってからのインパクトが大きい。
業界の人間から見るとGPT-3.5も凄い技術ではあったが、結構ウソを答えるので半分ジョークのネタとして話題になっていた。たとえば、桃太郎のあらすじを教えてくれというと、かなり創作が入った桃太郎を返してきて笑っていた。○○さんについて教えてくれというと、全く頓珍漢な経歴を教えてくれた。この時点までは、GPTでいったい何ができるかを自然言語処理研究者が探すという、という段階だった。
ところが、GPT-4になったところで明らかな変革があった。ほとんど間違ったことを言わなくなり、プロンプト（指示）に基づく答えも、ほぼ期待通りの応えをしてくれる。あまりに人間のような受け答えができてしまうので、以前は、翻訳システムAとBの翻訳結果の良し悪しを人間が主観的に判定していたところを、最近はChatGPTに２つの翻訳の優劣を聞くことで自動評価する手法もとられるほどだ。GPT-4以降は、GPTで何ができないかを探す時代になった。今、言語処理関係の国際会議はGPTを使ったlow-hanging fruits (簡単に得られる研究成果)の論文が大量に出ている。別に悪いことではなく、時代の変革期には誰でもやるような基本的に研究が実は大事で、その論文はその後膨大な引用を受ける。たとえば、以前でもWikipediaが出始めたときにWikipediaを使って言語処理するという研究は誰でも思いつくことではあったが、最初にその研究に取り組んだ人はパイオニアとして名前が残る。
このように素晴らしいGPT-4について、予想もしなかった技術の進歩だととらえている人は多い。私もそのひとり。近年、機械翻訳の品質が人間並みになっていることは認識していたが、まさか学習が難しいといわれていた対話までこのクオリティで商品化されるとは予想できていなかった。対話は過去の会話内容によって、発言が変わっていくので、現実世界で行われる対話をカバーするだけの対話データを集めるのが難しいし、学習も難しい。せいぜい、ホテル予約や天気予報など、場面を限った自由対話なら人間並みにできるだろうという感じだった。それを軽く超えてきたのがGPT-4だ。
しかし、振り返ってみるとGPT-4は予想（というか期待）より早く生まれたわけではない。SF映画「2001年宇宙の旅」に出て来るHAL9000は宇宙船の制御を会話で司っていた。つまり、2001年にはGPT-4レベルの会話ができるようになると予想されていたわけだ。私も子供の頃2001年になったら、これぐらいはできるだろうなと漠然と感じていた。そこから考えるとGPT-4は少なくとも22年遅れて登場したことになる。話を広げれば鉄腕アトムも会話をしていたが、もう少し現実的な技術として考えると、2001年には会話ができるコンピュータが存在するだろうと1980年ぐらいには思っていた。
昨今のAI関係の技術革新はジャンプが大きく予想が難しいが、思ったより大きくは変わらないかもしれない。もちろん、動画の生成が簡単にできたりするようにはなるだろう。今、GPT-4が地上のほとんどの言語データを使って学習してしまったので、動画の書き起こしをして、動画、言語、音声を連携させた巨大なデータセットを作成することで学習データを増やす方向に進んでいる。
