大規模言語モデルをフルスクラッチする練習 (環境構築ー前処理ー事前学習ーファインチューニングー評価まで)｜Kan Hatakeyama
はじめに以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡ リポジトリ当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後学習ー評価まで､一気通貫(?)したパイプラインが提供されています※｡ 0. 環境構築プロジェクトの本番環境はクラウドですが､今回は手持ちのubuntuを使います｡ Dockerはお手軽な一方で､スパコン上で使うと､どうやら速度が落ちるらしいとの噂を聞いたので､condaで作ります(とはいえ､pipしか使わないので､pyenvでもいけると思います)｡ 必要なマシン適当なlinux: 例えばUbuntu 22.04.3 LTS GPU: 20 GBくらいは欲しいかも? ディスク
中学生の息子に勉強を教えるときにやった内容
小学校小6～中学1年まで極度に勉強ができなかった。 テストの問題文の理解ができなかったり、問題文の日本語は読めるが表現が気になってその所を何度も確認して先に進めず1問目以降白紙などもあった。 このような状態だと学校や集団塾では改善はしないだろうと感じたので、自分が勉強につきっきりになることにした。 幸い、私はある程度勉強はでき、中学レベルなら英国数ならほぼ満点はとれる。 まず、問題文を読んで頭がパンクしてしまうことに関しては、深く考えるとパンクしてしまうということなので、そのパンクの兆候がでたらその問題から離れる訓練をした。 日々の家庭学習で問題集をとかせ、それが発生しそうなら知らせてスキップする。 テストのときでも、損切して0点を防ぐ効果がでた。 そのあと、問題文でパンクする問題を一緒に説いて、問題文は何を求めているのか2人でじっくり考えるようにした。 そうすることで、問題文の表現のパタ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
