![](https://cdn-ak-scissors.b.st-hatena.com/image/square/2ce791fe0e3c14ea6cea758092c100d977fc8a09/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--w0nUWx5I--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3AMixture%252520of%252520experts%2525E3%252581%2525AE%2525E7%2525B0%2525A1%2525E5%25258D%252598%2525E3%252581%2525AA%2525E5%2525AE%25259F%2525E8%2525A3%252585%2525E3%252582%252592%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aif001%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzY1YjVlNzkzZjcuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Mixture of expertsの簡単な実装をしてみる
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Mixture of expertsの簡単な実装をしてみる
LLM Advent Calendar 2023の記事です mixture of expertsの調査と簡単な実装を行ってMoEを理解していき... LLM Advent Calendar 2023の記事です mixture of expertsの調査と簡単な実装を行ってMoEを理解していきます。 実装については並列化や計算効率の向上などの部分は複雑なので、それら取り除いた簡単なもの Mixture of expertsについて 特定のタスクに特化したexpertを複数用意し、入力に対してexpertを切り替えることで性能を上げる手法。expertを選択するgate部分とexpert部分からなる。 decoder型のtransformerの場合、Mixture of expertsはattention層のあとのFFNに対して適応される。 (論文の図を参照) sparse MoE gate関数が上位k個のexpertを選択する。選択するexpert以外の部分は0になるようなスパース性を持つ。 0が含まれることで選択されないexpertでは