はじめに huggingfaceのTrainerクラスはhuggingfaceで提供されるモデルの事前学習のときに使うものだと思ってて、下流タスクを学習させるとき（Fine Tuning）は普通に学習のコードを実装してたんですが、下流タスクを学習させるときもTrainerクラスは使えて、めちゃくちゃ便利でした。 ただTrainerクラスのinitやTrainingArgumentsの引数はたくさんあるしよくわからん、という人のために、TrainerクラスのFine Tuning時の使い方を実装を通してまとめてみようと思います。 今回は自然言語処理のタスクとしてlivedoorニュースコーパスのタイトル文のカテゴリー分類問題をFine Tuningの例題として扱おうと思いますが、ViTのFine Tuningとかでも同様かと思います。 基本的にはhuggingfaceのTrainerクラスの

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動

テレビ番組で特集されるなどChatGPTへの注目が高まっていますが、その上位互換となるBing AIはもう使われましたでしょうか？ ChatGPTで使われてるGPT3.5というモデルの発展版を開発元のOpenAIがマイクロソフトに提供する形で作られたBing AIは、過去の学習範囲内で回答するChatGPTと異なり、事前学習データ+対話ごとに関連する検索結果を都度読みにいくことで、非常に精度の高く正確な解答をすることが可能になっています。 このnoteではそんなBingAIを時間を忘れて使い倒してみた自分が特に面白いなと思った使い方をジャンル別に紹介します。 仕事SpotifyとApple MusicのARPUを聞いたらWeb上の開示情報から比較数字を提示してくれ、さらにSpotifyの方が低い理由も仮説を提示してくれました。 Bing+GPTが凄すぎて深夜3時に興奮が止まらなくなってる。

Googleによる機械学習の実応用をテーマにしたCoursera の講義は、機械学習プロジェクトに携わるなら一度は見ておいても損はない 2022-03-17 過去に執筆した記事1を見返していたら そういえば講師陣がめちゃくちゃ良いこと言ってるんだけど記事内に掲載してなかったなと思い、動画を見返すと今でも学びが多かったので、講義のスクリーンショットを見返しつつ筆をとってみた。 今見たら、日本語版の講義 How Google does Machine Learning 日本語版も公開されているので、興味の湧いた方はぜひ受講しましょう。Certificate を発行しないなら無料で受講できると思います。 講義内容の説明は、過去記事1で行っているので気になる方は御覧ください。 機械学習プロジェクトの努力の割当: 期待と現実 ML Surprise https://www.coursera.org/