はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに huggingfaceにはTRL（Transformer Reinforcement Learning）というライブラリがあります。これは、LLMをチューニングする際の、Instruction Tuning、報酬モデルの学習、PPOによるLLMのチューニング、をフルスタックで提供してくれるライブラリです。 今回はその中でもSFTTrainerに焦点を当てて使い方を詳しめに解説していきます。 SFTTrainerでできること 以前、huggingfaceのtransformersに紐づくTrainerクラスの紹介をしました。 h

現在のバージョンはaccelerate==0.16.0でした。本記事もこのバージョンで動作確認しているので、バージョンが更新されたら、本記事のコードが動作しないかもしれませんが、ご了承ください。 pipでインストール後、まずはターミナル上でaccelerate configを実行して、対話形式でaccelerateの設定ファイルを作ります。（設定しなくてもacclerete実行時に引数で渡すこともできますが、設定しておいたほうが実行が楽で便利かと思います。） 対話形式の質問内容と回答例は以下のような感じでした。 In which compute environment are you running? Please select a choice using the arrow or number keys, and selecting with enter ➔ This machine

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに ※本記事で「現時点」という言葉は2023/6/1を指すこととします。 先日（2023年5月17日）、サイバーエージェントが日本語に特化したLLM（Large Language Model）をhuggingface上に公開されました。 現時点で日本語に特化したLLMで最大級のパラメータを持つモデル 商用利用可能 という点が非常に魅力的であり、すでにたくさんの方がこのOpenCALM-7Bを動かしたり、チューニングしたりされてるように、自分も勉強がてらこのLLMのチューニングに挑戦してみました。 とはいえ、パラメータ数が68億と巨

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに huggingfaceのTrainerクラスはhuggingfaceで提供されるモデルの事前学習のときに使うものだと思ってて、下流タスクを学習させるとき（Fine Tuning）は普通に学習のコードを実装してたんですが、下流タスクを学習させるときもTrainerクラスは使えて、めちゃくちゃ便利でした。 ただTrainerクラスのinitやTrainingArgumentsの引数はたくさんあるしよくわからん、という人のために、TrainerクラスのFine Tuning時の使い方を実装を通してまとめてみようと思います。 今回は自然言語処理のタスクとしてlivedoorニュースコーパスのタイトル文のカテゴリー分類問題をFine Tuningの例題として扱おうと思いますが、ViTのFine Tuningとかでも同様かと思います。 基本的にはhuggingfaceのTrainerクラスの

はじめに huggingfaceを使ったEncoder-Decoderモデルの練習の一貫として、BERT2BERTによる文章生成をやってみました。 BERT2BERTはEncoder-Decoderモデルの一種で、Encoder層もDecoder層もBERTのアーキテクチャーを採用したモデルのことを言います。 ただし、Decoder層のBERTは通常のBERTと以下の2点で異なります。 最初のMutil Head AttentionがMusked Multi Head Attenion(単方向)になってる MMHAとFFNの間にCross Attention層があり、Encoderの特徴量を受け取れるようになってる アーキテクチャーはほぼほぼTransformerと同様の認識ですかね。この辺の構造も含めて、Encoder-DecoderモデルやBERT2BERTの理論的なお話やhuggin

はじめに GPT-2のファインチューニングの仕方がなんとなくわかってきたので、メモとして残しておきます。 事前学習モデルはrinna社が提供してくれている以下の日本語モデルを使用します。huggingface/transformersから簡単にロードして使うことができます。 https://huggingface.co/rinna/japanese-gpt2-medium こちらのモデルはmediumとあるので、TransformerのDecoderブロックが24層重なったやつですね。 今回紹介する内容はGPT-2条件付き文章生成です。 GPT-2のチュートリアル的な記事でよく見るのが、与えた文章の続きにくる文章を生成するようなものが多いかと思いますが、出力の形式等を入力の段階から制御するようなことをしてみようと思います。 GPT-2自体の理解や、使い方、ファインチューニングの仕方、生成文

はじめに huggingfaceのtransformersのライブラリを使ってBERTの事前学習をやってみました。日本語でBERTの事前学習をスクラッチで行っている記事が現段階であまり見当たらなかったですが、一通り動かすことができたので、メモがてら残しておきます。 BERTの事前学習をしてみたいけど、いまいちやり方がわからない人の一助になれば幸いです。 正直まだわかっていないところが多々ありますし、紹介する内容がセオリーな方法かもよくわかっていません。 あれこれ試している最中ですので、もっとこうしたほうがいいよ、みたいなアドバイスございましたらご教示いただけると幸いです！ 参考文献 以下を参考にしました。 https://www.kaggle.com/arnabs007/pretrain-a-bert-language-model-from-scratch/notebook https:/

PyTorchで日本語BERTと日本語DistilBERTの文章分類の精度比較をしてみた&BERTの精度向上テクニックの紹介Python自然言語処理PyTorchbert はじめに 前回の記事でhuggingface/transformersを使って日本語BERTを使ってみましたが、huggingface/transformersを使えば、他の事前学習済のBERTモデルも簡単に扱えます。 使えるモデルの一覧のうち、日本語のものと思われるモデルは他にもDistilBERTとかALBERTとかがあるようです。どちらも軽量版BERTって位置づけですかね。 今回はhuggingfaceからも使えるバンダイナムコさんが提供しているDistilBERTを簡単に紹介しつつ、通常のBERTとの精度比較を行ってみました。最後にBERTで文章分類をする際の精度を向上させるテクニックの１つも紹介してみます。 D

目次 本記事はPyTorchを使って自然言語処理 $\times$ DeepLearningをとりあえず実装してみたい、という方向けの入門講座になっております。以下の順番で読み進めていただくとPyTorchを使った自然言語処理の実装方法がなんとなくわかった気になれるかもしれません。 PyTorchを使ってLSTMで文章分類を実装してみた PyTorchを使ってLSTMで文章分類を実装してみた（バッチ化対応ver） PyTorchでSeq2Seqを実装してみた PyTorchでAttention Seq2Seqを実装してみた PyTorchのBidirectional LSTMのoutputの仕様を確認してみた PyTorchでSelf Attentionによる文章分類を実装してみた PyTorchで日本語BERTによる文章分類＆Attentionの可視化を実装してみた ←イマココ はじめに

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 目次 本記事はPyTorchを使って自然言語処理 $\times$ DeepLearningをとりあえず実装してみたい、という方向けの入門講座になっております。以下の順番で読み進めていただくとPyTorchを使った自然言語処理の実装方法がなんとなくわかった気になれるかもしれません。 PyTorchを使ってLSTMで文章分類を実装してみた PyTorchを使ってLSTMで文章分類を実装してみた（バッチ化対応ver） PyTorchでSeq2Seqを実装してみた ←イマココ PyTorchでAttention Seq2Seqを実装してみた

割当問題とは？ 割当問題という問題をご存知でしょうか？ $n$ 人に $n$ 個の仕事を割り当てるとき、最も効率の良い割り当て方は何かを考える問題を「割当問題」といいます。 行列で考えるとわかりやすいです。下記の行列の行が人、列が仕事を表し、各成分は各人がそれぞれの仕事を終えるのにかかるコストととらえます。 各仕事に人は１人しか割り当てることができない状態で、全ての仕事に人を割り当てるとき、一番低コストな組み合わせを考えます。 このような問題を考える上で有名なアルゴリズムに「ハンガリアン法」（ハンガリー法）というものがあります。 step1 各行の各要素からその行の最小値を引き、その後さらに各列の各要素からその列の最小値を引く。 step2 $0$ を各行各列から１つずつ選ぶことができるかどうか判定する。もし選ぶことができれば、その $0$ の座標の組みが割当案となる。選ぶことができなれけ

Semantic Volumeとは 自然言語処理の勉強の一貫として、以下の論文で提唱されている文章要約について勉強しました。 Extractive Summarization by Maximizing Semantic Volume, Dani Yogatama, Fei Liu, Noah A. Smith https://www.aclweb.org/anthology/D/D15/D15-1228.pdf 自然言語処理で文章要約をするとはどういうことかすらも知らずに論文を読んだけど、文章要約は以下のような最大化問題として定式化して考えるようです。 ただし、$\mathcal{D}:=$ { $ s_1, s_2, \cdots, s_N$ } は要約したい元の文章、 $L\in \mathbb{N}$ は要約したい文字数 $score$をどのように定義するかが文章要約のキモの１つと

機械学習プロフェッショナルシリーズ「統計的因果探索」の勉強の続き。 前回の投稿でLiNGAMモデルがなぜ識別可能なのかについて触れました。 今回は実際にLiNGAMモデルの係数行列 $B$ をどうやって推定するかについて、Pythonのソースコードと合わせて見ていこうと思います。 ※Pythonのソースコードは以下の本家(?)のサイトで紹介されているものを参考にしています。（ほぼそのまま写経してます） https://sites.google.com/site/sshimizu06/lingam 大まかな推定の流れ LiNGAMモデルの推定方法として ① 独立成分分析の手法を用いる ② 回帰分析と独立性評価を繰り返す の２つがあり、上記サイトで紹介されているソースコードは①の独立成分分析の手法を用いるパターンなので、ここでも独立成分分析の手法を紹介しようと思います。 前回の投稿で触れたよう