【勉強会 #2】小型LlamaモデルのMegatron-LMを用いた事前学習と継続事前学習 (2024/10/27 17:00〜) (original) (raw)

募集内容 松尾研LLM2024講座 受講生枠 無料 参加者数 145人 松尾研LLMコミュニティメンバー枠 無料 参加者数 58人 一般参加枠 無料 参加者数 82人
申込者 m-higuchi Hajime Kumami asekimo A_Kuramitsu isseki_j riker Rascal hearty75 operathe taurine511 申込者一覧を見る
開催日時 2024/10/27(日) 17:00 ~ 19:00 Googleカレンダー icsファイル
募集期間 2024/10/13(日) 17:01 〜 2024/10/27(日) 19:00まで
会場 Zoom配信 オンライン 会場のサイトを見る
参加者への情報 (参加者と発表者のみに公開されます)
出席登録 (イベント開始時間の2時間前から終了時間まで、参加者のみに公開されます)

イベントの説明

日時 : 2024年10月27日(日) 17:00 - 19:00
場所 : Zoom
参加対象者 : どなたでも参加可
参加費 : なし
定員 : 1,000名

イベント概要

Tanuki風の小型LlamaモデルのTransformerEngineを用いた事前学習・継続事前学習を、手頃な価格で仕立てられるローカルPCやレンタルクラウド環境上で、Tanukiで使った自動環境構築スクリプトにて環境構築する様子をお見せする、という実演的な勉強会です。

※Tanukiとは松尾研がGENIACで開発したLLMモデルです。
ご覧頂くだけであれば、特に準備物は必要ありません。
(H100×8の1ノードをご用意頂けますと8Bモデルの学習、H100×8の3ノードあればTanuki-8x8Bの学習が可能です。)

想定する参加者と期待される学び

*なお、実際のTanuki開発内容の発信を目的にしているため、理論や開発総括に関してはLLM講座または松尾研LLM開発プロジェクト「Tanuki-8x8B」開発成果報告会 Vol.1~3をご覧ください。

東京大学 松尾・岩澤研究室Youtube

タイムテーブル

  1. オープニング・自己紹介
  2. トークナイザーの学習について
  3. 事前学習
  4. 継続事前学習
  5. 質疑
  6. クロージング

参考リンク

登壇者

masaki okamura さん masaki okamura さん M さん M さん N.K. さん N.K. さん holy_KTQ さん holy_KTQ さん 加藤純 さん 加藤純 さん

フィード

グループ

開催前

2024/10/27(日)

17:00 〜 19:00

募集期間
2024/10/13(日) 17:01 〜
2024/10/27(日) 19:00

イベントへのお問い合わせ