Symbolic-Neural Learning Workshopが，6/28-29に東京日本橋にある理研AIPで開催されました．コンピュータビジョン，音声，ロボティクス，自然言語処理，知識処理の関係者がバランスよく集まる良い研究交流の場となりました．
その中で，Albert Gu先生が基調講演で紹介してくれた Structured State Space Model のS4は非常に興味深かった．数値データの系列予測モデルではあるが，自然言語処理にも適用でき，データセットによってはTransformerを超える性能が得られている．質疑の時間に質問して教えてもらったところによると，現在，S4を大規模言語データで訓練したS4ベースの大規模言語モデルを研究されており，まだ論文にはなっていないがTransformerを超える性能が得られる見込みがあるとのこと．
