プロンプト進化を用いた日本語選好データセットの構築
GENIAC 松尾研 LLM開発プロジェクトメンバーのMitsuhashiです。 プロジェクト期間中に取り組んだ内容をまとめます。 概要 本記事は、プロンプト進化という手法を用いた日本語選好データセットの構築に関する記事です そもそも日本語の指示応答データセットが少ない、特に後述する選好データセットが少ない、という致命的な問題に対して、既存のデータセットを拡張して日本語のデータセットを確実に増やすことを目的として取り組みました 本記事で紹介するデータセットはaya-ja-evol-instruct-calm3-dpo-maskedです 上記の基となったaya-ja-nemotron-dpoも公開します 選好データセットとは ユーザーが入力したと想定する質問文に対して、好ましい応答と、好ましくない応答がペアになったデータセットのことを、本記事では選好データセットと呼びます プロジェクト当時の
日本語LLMにヒンディー語も学習させてみた。①事前学習・知識転移編
はじめに こんにちは。松尾研 GENIAC LLM開発プロジェクト、Team JINIAC の佐野敏幸です。Team JINIACでは、日本語LLMの構築でヒンディー語のデータを学習させることにも取り組みました。その取り組みについて報告します。 そもそもの動機：日本語データ不足の補強 LLM学習に用いる日本語データが英語データに比べて少ないことが、日本語のLLMを構築する際の障害になっています。日本語データの大きさは、英語データの10分の1以下ほどです。LLM構築には大規模なデータが必要ですが、そのための日本語データが不足しており、日本語LLM構築のネックとなっています。 https://arxiv.org/pdf/2010.11934 より そこで目を向けたのが、日本語と類似した言語です。私が知っている中では、ヒンディー語が日本語と近い文法を持っています。基本的な文法は、日本語と同じ 「
[週次報告] 第1回 Team 甲
開発テーマ・概要 私たちは、日本語での大規模言語モデルの開発をしています。 テーマ：メンバー全員で作り上げるボトムアップ型開発 チーム全体の開発状況 メンバー全員と面談を行い、希望を聴取し、各チーム（全体統括チーム、データチーム、事前・事後学習チーム）へのチーム割りを行いました。以下の課題が浮き彫りとなり、解決策を検討しました。 課題と解決策 課題１：稼働時間の短いメンバーのキャッチアップの難しさ（1日2時間程度の稼働時間のうち、1時間はキャッチアップで溶けてしまう） 「ここを見てね」という場所を作る どこを見ればよいか？はslackのcanvasに記載 キャッチアップで見るべき場所は、slackのピン留めアイテムとnotionの更新履歴 課題２：他チームの動きが見づらい notionページのチームホームの記載の統一化（スケジュール、メンバー一覧、週次報告内容はここでわかるようにする） チ
![[週次報告] 第1回 Team 甲](https://cdn-ak-scissors.b.st-hatena.com/image/square/e142964d692ee86ee02a5aa9550e9480dc4628b9/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--28vlSv-N--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E9%252580%2525B1%2525E6%2525AC%2525A1%2525E5%2525A0%2525B1%2525E5%252591%25258A%25255D%252520%2525E7%2525AC%2525AC1%2525E5%25259B%25259E%252520Team%252520%2525E7%252594%2525B2%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3A%2525E6%25259D%2525BE%2525E5%2525B0%2525BE%2525E7%2525A0%252594%252520LLM%2525E9%252596%25258B%2525E7%252599%2525BA%252520GENIAC%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2Y5NDA0NzYwYjguanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3A%2525E6%25259D%2525BE%2525E5%2525B0%2525BE%2525E7%2525A0%252594%25257C%252520GENIAC%252520LLM%2525E9%252596%25258B%2525E7%252599%2525BA%252520%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252582%2525B8%2525E3%252582%2525A7%2525E3%252582%2525AF%2525E3%252583%252588%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzgwYjAyN2FmN2QuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
[週次報告] 第1回 Team たぬき
開発テーマ・概要 私たちのチームは、大規模言語モデル（LLM）の開発に取り組んでいます。具体的には、日本語に特化したLLMの開発を目指し、データセットの収集・加工、モデルの学習、推論システムの構築などを行っています。 チーム全体の開発状況 現在、各サブチームが並行して作業を進めています。データセットの収集・加工では、CommonCrawlやPMC OAなどの大規模データから日本語テキストを抽出し、クリーニングを行っています。モデルの学習では、0.3bモデルの学習を完了し、1Bクラスのモデルの学習に向けた準備を進めています。また、独自のパイプラインの構築や、カリキュラム学習の検討なども行っています。 サブチームからの情報共有 サブチーム1: 指示データセット やったこと インストラクションデータのタスク案をmiro上で作成し、タスク案をクラスタリング 評価データセットの確認 データ収集用のW
![[週次報告] 第1回 Team たぬき](https://cdn-ak-scissors.b.st-hatena.com/image/square/c97363593bf7e023e136a198cd2ed8444e783013/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--lcOnKh_n--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E9%252580%2525B1%2525E6%2525AC%2525A1%2525E5%2525A0%2525B1%2525E5%252591%25258A%25255D%252520%2525E7%2525AC%2525AC1%2525E5%25259B%25259E%252520Team%252520%2525E3%252581%25259F%2525E3%252581%2525AC%2525E3%252581%25258D%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3A%2525E6%25259D%2525BE%2525E5%2525B0%2525BE%2525E7%2525A0%252594%252520LLM%2525E9%252596%25258B%2525E7%252599%2525BA%252520GENIAC%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2Y5NDA0NzYwYjguanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3A%2525E6%25259D%2525BE%2525E5%2525B0%2525BE%2525E7%2525A0%252594%25257C%252520GENIAC%252520LLM%2525E9%252596%25258B%2525E7%252599%2525BA%252520%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252582%2525B8%2525E3%252582%2525A7%2525E3%252582%2525AF%2525E3%252583%252588%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzgwYjAyN2FmN2QuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
[週次報告] 第1回 Team kumagai
週次報告 チーム名: team_kumagai 日時: 3/26(火) 開発テーマ・概要 PR-MoEのような、MoEの構造のモデルの学習をする 商用利用可能な良質なデータセットの作成 チーム全体の開発状況 Huggingface登録までの一連の流れを実施 wiki40bを利用した、独自のトークナイザーの学習(3type) https://huggingface.co/geniacllm/ja-tokenizer-unigram-v1 https://huggingface.co/geniacllm/en-tokenizer-unigram-v1 https://huggingface.co/geniacllm/ja-en-tokenizer-unigram-v1 以下の条件でのモデルの学習、wandb,hugggingfaceの連携 データ: wiki40bja モデル: Mixtral
![[週次報告] 第1回 Team kumagai](https://cdn-ak-scissors.b.st-hatena.com/image/square/d99d7b194e6be19890b6acc0f02a10cbf6635150/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--H_5bbBTd--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E9%252580%2525B1%2525E6%2525AC%2525A1%2525E5%2525A0%2525B1%2525E5%252591%25258A%25255D%252520%2525E7%2525AC%2525AC1%2525E5%25259B%25259E%252520Team%252520kumagai%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3Akuma%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2Y5NDA0NzYwYjguanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3A%2525E6%25259D%2525BE%2525E5%2525B0%2525BE%2525E7%2525A0%252594%25257C%252520GENIAC%252520LLM%2525E9%252596%25258B%2525E7%252599%2525BA%252520%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252582%2525B8%2525E3%252582%2525A7%2525E3%252582%2525AF%2525E3%252583%252588%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzM3NzAxMWY2YmEuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[週次報告] 第1回 Team ビジネス
[週次報告] 第1回 Team 天元突破
[週次報告] 第1回 Team Zoo
[週次報告] 第1回 Team JINIAC