はてなブックマーク

LLM（大規模言語モデル）の性能を向上させる方法の一つに、 継続事前学習があります。 継続事前学習とは、 事前学習済みのLLMに対し、 さらに知識を習得させることを言います。 例えが適切ではないかもしれませんが、 社会人がリスキリングするみたいなものですね。 継続事前学習のイメージ 今回、unslothというライブラリーを使って 継続事前学習を実装してみましたので、 その詳細についてご紹介していきたいと思います。 ちなみに、自分が調べた限り、 ネット上に「継続事前学習」に関する記事は、 あまり存在しません。 改めて継続事前学習とは何か？ その名の通り、事前学習の継続です。 通常、LLMはインターネット上の膨大なテキストデータを使って事前学習をしています。 事前学習によって、LLMは豊富な知識を身につけていますが、 それはあくまで、一般的なものにすぎません。 また、過去の一時点のものにすぎま

学生でも社会人でも、学習が常に必要な時代になってきました。 学習を効率的・効果的に進めていくためには、記憶力が重要になってきますよね。 そこで、この記事では、最強の暗記アプリAnkiについてご紹します。 「効率的に記憶したいんだけど何か良い方法はないか！」 Ankiはそんな悩みをお持ちの方に超おススメなアプリです 最初にお断りしておくと、iOS版のAnkiアプリは4,000円します。 4,000円しますが、それ以上の十分な価値があると思います😤 Ankiアプリがリリースされてから10年以上経っているらしいのですが、もっと早くにこのアプリに出会っていたら！と思うぐらい、最強のアプリだと思います。 なお、iOS版以外のPC版やAndroid版のAnkiアプリは無料になっています。 実際、私はこのアプリを使って、統計検定準1級を学習しましたが、難解な数式や言葉の定義をストレスなく覚えることがで