はてなブックマーク

目次 はじめに LLM-jp-13B とは インストラクションチューニング データセット 入力プロンプト 比較実験の設定 ハイパーパラメータ 学習 評価 DPO データセット 入力プロンプト ハイパーパラメータ 学習 評価 おわりに はじめに 京都大学 言語メディア研究室の児玉（個人ページ，X アカウント）です． LLM-jp では 2023年10月20日に LLM-jp-13B v1.0 を公開しました． 当時事前学習済みモデルとチューニング済みモデルの両方を公開しましたが，チューニング済みモデルについては時間上の制約もあり，十分に性能を高めることができていませんでした． 今回はインストラクションチューニングの設定の見直しや DPO (Direct Preference Optimization) の追加によって，性能を改善したチューニング済みモデル v1.1 とその際に使用したデータと

2023年11月29日（水）に国立情報学研究所にて第６回 LLM 勉強会を開催しました。 プログラム LLM-jp 状況報告（黒橋） [資料] LLMの安全対策サーベイと日本語データ（理研AIP 鈴木久美） [資料] ビジネスのドメインや最新情報に対応した130億パラメータの日本語事前学習モデルの開発（ストックマーク 近江） [資料] 医療における大規模言語モデルの可能性と進歩（東大 小寺） [資料] コーパス構築WG（河原） [資料] モデル構築WG（鈴木） [資料] 評価・チューニングWG（宮尾） [資料] 安全性WG（関根） [資料] 参加者 現地26名・オンライン150名程度

LLM-jp （LLM 勉強会）は、日本語と英語を中心に事前学習した130億パラメータの大規模言語モデルをオープンなライセンスで公開しました。また、インストラクションデータでチューニングしたモデルや訓練・チューニングに用いたソフトウェアも公開しており、今後データセット等も順次公開していきます。詳細は以下のページをご覧ください。 プレスリリース（国立情報学研究所） 公開しているモデル・コーパス・ツール LLM-jp-13B 構築・公開に貢献した方々

LLM-jp で開発したモデルやツールを公開しています。コーパスを含む各種データは今後順次公開していく予定です。 公開プラットフォーム モデル: https://huggingface.co/llm-jp ツール: https://github.com/llm-jp 事前訓練済みモデル 13B v1.0 LLM-jp-13B-v1.0 1.3B v1.0 LLM-jp-1.3B-v1.0 チューニング済みモデル 13B v1.1 LLM-jp-13b-dpo-lora-hh_rlhf_ja-v1.1 LLM-jp-13b-instruct-full-dolly_en-dolly_ja-ichikara_003_001-oasst_en-oasst_ja-v1.1 LLM-jp-13b-instruct-lora-dolly_en-dolly_ja-ichikara_003_001-oass

2023年6月19日（月）に国立情報学研究所にて第2回 LLM 勉強会を開催しました。 プログラム 勉強会の運営に関する議論（黒橋） NII からの話題提供（相澤） [資料] NICT の活動報告（鳥澤） [資料] ABCI トライアルの報告（坂口） [資料] レトリバからの話題提供（西鳥羽） [資料] サイバーエージェントからの話題提供（石上・佐々木） mdx プロジェクトに関する議論（ポリシー、各WGの進捗報告、mdx 利用方法）（河原・空閑） [資料1] [資料2] 参加者 現地15名・オンライン50名程度

勉強会で使用されたサーベイ・発表資料を公開しています。 日本語LLMまとめも公開しています。 2024-01-22 観測データからのLLMの学習及び自己改善ループについて、因果推論手法との接地（京大 三内） ichikara-instructionを使ったLLMの人間による評価とGPTによる評価の比較分析 （理研 関根） Kotoba Tech.の状態空間モデルと音声能力開発 （Kotoba Tech. 小島） 大規模言語モデルSwallow （東工大 岡崎、水木） 安全性WG （関根） コーパス構築WG （河原） 評価・チューニングWG （宮尾） モデル構築WG （鈴木） 2023-11-29 LLM-jp 状況報告（黒橋） LLMの安全対策サーベイと日本語データ（理研AIP 鈴木久美） ビジネスのドメインや最新情報に対応した130億パラメータの日本語事前学習モデルの開発（ストックマーク

2023年5月15日（月）に国立情報学研究所にて初回となる LLM 勉強会を開催しました。 プログラム 勉強会の趣旨、国の動向など [資料] 黒橋禎夫（国立情報学研究所） 現状の LLM のサーベイ [資料] 河原大輔（早稲田大学） 菅原朔（国立情報学研究所） 栗田修平（理化学研究所） 各機関での試みの紹介 河原大輔（早稲田大学）[資料] 坂口慶祐（東北大学） 佐藤敏紀（LINE） 高村大也（産業技術総合研究所） 参加者 乾健太郎（東北大学・オンライン参加） 鈴木潤（東北大学・オンライン参加） 坂口慶祐（東北大学） 高村大也（産業技術総合研究所） 石垣達也（産業技術総合研究所・オンライン参加） 栗田修平（理化学研究所） 吉野幸一郎（理化学研究所・オンライン参加） 鶴岡慶雅（東京大学）（資料提供のみ） 宮尾祐介（東京大学） 谷中瞳（東京大学・オンライン参加） 吉永直樹（東京大学・オンライン参

LLM 勉強会 本勉強会では、自然言語処理および計算機システムの研究者が集まり大規模言語モデルの研究開発について定期的に情報共有を行っています。 具体的には、以下の目的で活動しています。 オープンソースかつ日本語に強い大規模モデルの構築とそれに関連する研究開発の推進 上記に関心のある自然言語処理および関連分野の研究者によるモデル構築の知見や最近の研究の発展についての定期的な情報交換 データ・計算資源等の共有を前提とした組織横断的な研究者間の連携の促進 モデル・ツール・技術資料等の成果物の公開 詳細は趣旨説明をご覧ください。 News