![](https://cdn-ak-scissors.b.st-hatena.com/image/square/b547a2a0c699da95a7feb52876ef2df4b821183c/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Vp1pzI_D--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3ATeam%2525E3%252580%25258C%2525E3%252581%25259F%2525E3%252581%2525AC%2525E3%252581%25258D%2525E3%252580%25258D%2525E9%252596%25258B%2525E7%252599%2525BA%2525E6%25258C%2525AF%2525E3%252582%25258A%2525E8%2525BF%252594%2525E3%252582%25258A%2525E3%252583%2525A1%2525E3%252583%2525A22%25253A%252520Scaling%252520law%2525E3%252581%2525AE%2525E5%2525A3%252581%2525E3%252581%2525AF%2525E9%2525AB%252598%2525E3%252581%25258B%2525E3%252581%2525A3%2525E3%252581%25259F%2525E3%252581%2525A8%2525E3%252581%252584%2525E3%252581%252586%2525E8%2525A9%2525B1%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3AKan%252520Hatakeyama%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2Y5NDA0NzYwYjguanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3A%2525E6%25259D%2525B1%2525E5%2525A4%2525A7%2525E6%25259D%2525BE%2525E5%2525B0%2525BE%2525E3%252583%2525BB%2525E5%2525B2%2525A9%2525E6%2525BE%2525A4%2525E7%2525A0%252594%2525E7%2525A9%2525B6%2525E5%2525AE%2525A4%252520%25257C%252520LLM%2525E9%252596%25258B%2525E7%252599%2525BA%252520%2525E3%252583%252597%2525E3%252583%2525AD...%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EvQUNnOG9jS25rNGNoUmlSdDJUck5aYzJ2aDViQWNZUVdQdWdzU2owdEU0dU1YaXd4PXM5Ni1j%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Team「たぬき」開発振り返りメモ2: Scaling lawの壁は高かったという話
はじめに チームリーダーの畠山です。開発が終盤に差し掛かってきたので、備忘録として開発の振り返りメ... はじめに チームリーダーの畠山です。開発が終盤に差し掛かってきたので、備忘録として開発の振り返りメモを書いていきます。 前回の記事では、限られたリソースで高性能なモデルを作るために、3つの点に注目しました。 モデルアーキテクチャの最適化 事前学習用データセットの準備 ファインチューニング用データセットの準備 今回は、それぞれのアプローチを試した結果について説明します。タイトルにもあるように、Scaling lawの壁は高く、簡単にはうまくいきませんでした。むしろ、うまくいかない条件がわかったという知見が多く得られました[1]。 モデルアーキテクチャの工夫: Branch-Train-Merge (BTM)もどきを試す BRTもどき戦略はうまくいったのか? チームでは、事前学習の際にランダムにシャッフルしたデータを使う代わりに、以下のようなカリキュラムを設定しました。 各ステージの内容: S
2024/05/24 リンク