[StudyLLM Ep0] ゼロから作る日本語LLM: GPT-2の推論・学習の可視化からModalでの事前学習まで
こんにちは！逆瀬川ちゃん (@gyakuse) です！ これからStudy LLMというシリーズでLLMの基礎〜発展、Agentに至るまで連載をしていきます。 きょうは GPT-2 を題材に現代のLLMの基礎を再学習していければと思います！まずは推論からはじめ、そしてどのように学習しているかを眺め、最後に実際にモデルをトレーニングしてみることで、現代のLLMの基盤が分かるようになると思います。これを読んだかたがLLMを事前学習から作れるようになる、というのが今回の目標です。後述しますが、Modalを使うことで無料でできるようになっています。 GPT-2 は 2019 年の OpenAI のモデルで、いまの Claude Opus 4.7 (2026-04) や GPT-5.4 (2026-03), Gemini 3.1 Pro (2026-02) のようなフロンティアモデルと比べるとかなり
![[StudyLLM Ep0] ゼロから作る日本語LLM: GPT-2の推論・学習の可視化からModalでの事前学習まで](https://cdn-ak-scissors.b.st-hatena.com/image/square/62a45b2daf08daa6bdfaa87bd581ea2388c6e6dc/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fnyosegawa.com%2Fog%2Fcontents-gpt-2.jpg)
AWS Transform custom introduces new AWS-managed transformations to modernize code at scale - AWS
AWS Transform custom introduces new AWS-managed transformations to modernize code at scale AWS Transform custom now offers seven new AWS-managed transformations to help you modernize code at scale. These transformations address common modernization scenarios across multiple languages and frameworks. Generally available transformations includes comprehensive codebase analysis transformation, enabli
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
