作りながら学ぶLLM入門：前処理

テクノロジーカテゴリーの変更を依頼記事元:

zenn.dev/churadata

174users がブックマークコメント

コメント

4

記事へのコメント4件

注目コメント
新着コメント

misshiki “前処理の各ステップを自力で実装し、英語・日本語を問わずLLMの学習データを準備するパイプラインを構築できる。”

2025/05/07 リンク

poad1010 この記事をおすすめしました

2025/05/07 リンク

igni3 これは良記事かも(あとで読む)

2025/05/07 リンク

kompiro unkはunknownの略だけど💩に見えてしゃーない

2025/05/06 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

作りながら学ぶLLM入門：前処理

概要この記事の対象者：LLMの内部処理をコードレベルで具体的に理解し、自分で簡易的なモデルを動かし... 概要この記事の対象者：LLMの内部処理をコードレベルで具体的に理解し、自分で簡易的なモデルを動かしてみたいエンジニアや研究者。この記事の内容：Raschka著『作りながら学ぶLLM入門』第2章をベースに、トークン化からサブワード分割、特殊トークン付与、データローダー作成、埋め込みまでの前処理工程をPythonコード付きで解説。この記事を読んでできること：前処理の各ステップを自力で実装し、英語・日本語を問わずLLMの学習データを準備するパイプラインを構築できる。序説 (長いので、お急ぎの方はスキップしてください) MCP、AIエージェント等盛り上がりを見せてますが、そもそもLLMってなんで動いているんでしょうか？？ Transf ormerっていうのが内部にあって、確率的分布に従って、 RLHFで人間のフィードバックで学習させてetc、、、理論的な説明はよく見かけます。ですが、

ブックマークしたユーザー

mamiyu83222025/05/08
tsms2e2025/05/08
ahat19842025/05/07
stts2025/05/07
yusuke-k2025/05/07
wkubota2025/05/07
kiokudot2025/05/07
kirekuso2025/05/07
misshiki2025/05/07
moritata2025/05/07
kjtec2025/05/07
dev_chiku2025/05/07
ikosin2025/05/07
toenobu2025/05/07
tksssss2025/05/07
h_exe_n2025/05/07
vvtnb2025/05/07
kumapon08312025/05/07

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

いま人気の記事 - 企業メディア

企業メディアをもっと読む

設定を変更しましたx