MOE言語モデルのエキスパートの一人を日本語得意なモデルに置き換えたらどうなるのか？｜AIサトシ

（2024年1月更新:MoEカスタマイズ可能となってるので、後日リトライ記事更新します。） GPT-4にも使われているという、MOE(Mixture of Experts) 複数のエキスパートを束ねることで、性能アップするという 最近、高性能で有名な言語モデル、Mistral7Bを8つ束ねた、Mixtral 8x7BというMOEモデルが世にDropされ注目されている エキスパートが複数いて、得意なエキスパートに振り分けると聞いて ８人の賢者が、問題を分担して説いている様子を思い浮かべていた 当初のMOE（Mixture of experts）のイメージいざ Mixtral8x7Bを使ってみると、日本語が弱い！ そこで、思った。 エキスパートを何人か、日本語が得意なMistral7B互換モデルに差し替えたらどうだろう？ そういえば、stabilityaiが、Mistral7Bの継続日本語学習