80.最近のLLMの動向、マルチモーダルモデルの仕組みとLLMの評価方法を解説

2024年02月05日

内容紹介

大好評のLLM回です！

感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます！
匿名でのお便りもgoogle formにてお待ちしております！
—

最近のLLMの動向（最後に辻さん、金さんが参加した収録は23年8月。そのあと世の中には何があったか？）
- 2023.08 OpenAI社「GPT-3.5のファインチューニングサービス」を提供開始
- 2023.09 OpenAI社「GPT-4V」の導入を発表
- 2023.09 Open Interpreter(ローカル環境で動作するCode Interpreter)が話題に
- 2023.10 ChatDevを含むAgentを用いた産業への応用の試み
- 2023.11 OpenAI社 DevDayの開催。ChatGPTの一年振り返りと色んな情報が公開された（GPTs, GPTstoreの情報もここで公開）
- 2023.12 Google社「Gemini」を発表
- 2023.12 Google社「VideoPoet(A large language model for zero-shot video generation)」発表
- 2024.01 Google社「LUMIERE(A Space-Time Diffusion Model for Video Generation)」発表
金さんの解説論文：Generating Images with Multimodal Language Models
- 関連モデル
  - ImageBindモデル by Meta
  - CLIP: Connecting text and imagesモデル by OpenAI
辻さんの解説論文：Leveraging Large Language Models for NLG Evaluation: A Survey
- Lost in the Middle解説回：73.言語モデルは中間部分を見ていない？「Lost in the Middle」とテキストデータのaugmentation？「GReaT」の話
- Chain Forge:プロンプトの仮説検証プロセスを高速化するプラットフォーム
- 関連論文：TrustLLM: Trustworthiness in Large Language Models