【勉強会 #2】小型LlamaモデルのMegatron-LMを用いた事前学習と継続事前学習 (2024/10/27 17:00〜) (original) (raw)
募集内容 | 松尾研LLM2024講座 受講生枠 無料 参加者数 145人 松尾研LLMコミュニティメンバー枠 無料 参加者数 58人 一般参加枠 無料 参加者数 82人 |
---|---|
申込者 | 申込者一覧を見る |
開催日時 | 2024/10/27(日) 17:00 ~ 19:00 Googleカレンダー icsファイル |
募集期間 | 2024/10/13(日) 17:01 〜 2024/10/27(日) 19:00まで |
会場 | Zoom配信 オンライン 会場のサイトを見る |
参加者への情報 | (参加者と発表者のみに公開されます) |
出席登録 | (イベント開始時間の2時間前から終了時間まで、参加者のみに公開されます) |
イベントの説明
日時 : 2024年10月27日(日) 17:00 - 19:00
場所 : Zoom
参加対象者 : どなたでも参加可
参加費 : なし
定員 : 1,000名
イベント概要
Tanuki風の小型LlamaモデルのTransformerEngineを用いた事前学習・継続事前学習を、手頃な価格で仕立てられるローカルPCやレンタルクラウド環境上で、Tanukiで使った自動環境構築スクリプトにて環境構築する様子をお見せする、という実演的な勉強会です。
※Tanukiとは松尾研がGENIACで開発したLLMモデルです。
ご覧頂くだけであれば、特に準備物は必要ありません。
(H100×8の1ノードをご用意頂けますと8Bモデルの学習、H100×8の3ノードあればTanuki-8x8Bの学習が可能です。)
想定する参加者と期待される学び
- LLM初中級者
Tanuki開発で行われた実際の作業の一部を垣間見ることで、LLM開発の実現場をご体感頂けます。 - 小型LLMや次世代Tanukiの開発をお考えの方
Tanuki開発のエッセンスを全3回程度の実演に詰め込んでお送りします。再現性の確保・公開を目的にしておりますので、計算リソースがあればTanuki相当のLLM開発の一助となる勉強会です。
*なお、実際のTanuki開発内容の発信を目的にしているため、理論や開発総括に関してはLLM講座または松尾研LLM開発プロジェクト「Tanuki-8x8B」開発成果報告会 Vol.1~3をご覧ください。
タイムテーブル
- オープニング・自己紹介
- トークナイザーの学習について
- 事前学習
- 継続事前学習
- 質疑
- クロージング
参考リンク
登壇者
masaki okamura さん M さん N.K. さん holy_KTQ さん 加藤純 さん
フィード
グループ
開催前
2024/10/27(日)
17:00 〜 19:00
募集期間
2024/10/13(日) 17:01 〜
2024/10/27(日) 19:00