84.2024年の人工知能学会とICLR (LLM、拡散モデル、世界モデル)

2024年07月02日

内容紹介

浜松で登壇、オーストリアに現地参加した冬馬（toma）さんに現地の様子をお話してもらいました

感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます！
匿名でのお便りもgoogle formにてお待ちしております！
—

人工知能学会(JSAI)(ジェーサイ):第38回となる今年は浜松で開催、5/28～5/31の4日間
tomaさんの発表:大規模言語モデルの論理構造の把握能力と予測モデルの生成
ICLR:ヨシュアペンジオとヤンルカンさんによって提案により2013年に設立したディープラーニングのカンファレンス。今年はオーストリア(ウィーン)開催、5/7〜5/11の5日間、79カ国から6,533人が参加
Protein Discovery with Discrete Walk-Jump Sampling:タンパク質合成に拡散モデルが使われている
Multi-Source Diffusion Models for Simultaneous Music Generation and Separation:拡散モデルによる楽曲生成と音源分離、音声のノイズを取り除くような手法
Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors:状態空間モデルなどが長いシーケンスにおいてTransformerを劇的に上回る結果が報告されているが、大幅に過大評価されており適切にTransformerモデルを学習するとS4(状態空間モデルの一つ)に匹敵することを示した
Mastering Memory Tasks with World Models:強化学習が使われることが多い世界モデルの設計に状態空間モデルを利用している