MP3ファイルをダウンロード

内容紹介

今回も辻さん、金さんに教えてもらいました！（LLMプロジェクトも軽く振り返ります）

出演者

asano
Hyperion_13
kim_junhyeong

感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます！
匿名でのお便りもgoogle formにてお待ちしております！
—

目次

• 00:00～：イントロ+LLMプロジェクトの振り返り
• 03:00～：QLoRAの話
• 12:30～：Machine Unlearningの話

show notes

• LLM研究プロジェクト　ブログ記事一覧 - Platinum Data Blog by BrainPad
• QLoRA：4ビット量子化したLLaMAモデルをベースに、Low-rank adapterを用いて微調整を行う手法
  • 論文：QLoRA: Efficient Finetuning of Quantized LLMs
  • PEFTのブログ：LLMを効率的に再学習する手法(PEFT)を解説 - Platinum Data Blog by BrainPad
• Machine Unlearning：学習済みモデルから学習データのサブセットの影響を除去する
  • 提唱の背景：学習済みモデルの使用に伴う不公平なバイアス・ユーザープライバシーの保護などのリスクに上手く対応したい
  • 論文：A Survey of Machine Unlearning