「ELYZA-japanese-Llama-2-70b」開発における、大規模モデル学習ノウハウの解説
はじめに こんにちは。ELYZAの研究開発チームのSam (@SamPassaglia)、佐々木 (@hikomimo)です。 今年の3月に我々は、日本語に特化した700億パラメータの大規模言語モデル「ELYZA-japanese-Llama-2-70b」を開発し、日本語タスクにおいてグローバルモデルに比肩する性能を達成することに成功しました。 この際の知見は、今年6月にリリースした「Llama-3-ELYZA-JP」にも活かされています。 700億ものパラメータを持つ大規模言語モデルを開発することは国内でも前例が少なく、開発を通して多くの学びがあった一方で、思わぬ対応に迫られる場面も少なくありませんでした。 本記事では国内における大規模言語モデル開発のコミュニティに貢献するべく、「ELYZA-japanese-Llama-2-70b」の開発の過程で得られた知見を紹介いたします。 取り組み
GPU最適化
はじめに こんにちは、松尾研GENIACプロジェクト、チームビジネスの前河利治です。 東京大学松尾研究室にて、経済産業省によるGENIACの国産大規模言語モデル（Large Language Model: LLM）開発に参加しています。 私たちの開発チームは、ビジネスに有用なLLMの開発を目指し、ビジネスの現場で活躍するメンバーが数多く集まっています。 本稿ではビジネスに有用なLLMの開発に向けて私たちのチームがとったアプローチについて、主にGPU最適化についての側面から解説します。 採用したモデル構造 精度の高さで定評のあるLLaMAモデルを採用した。 パラメータサイズは、LLaMA2のものを参考にした。 また、計算効率を挙げるため、LLaMA3で使われているGQAを採用した。 ・LLaMA2で使われているパラメータサイズ Our Model 12.3B { "hidden_act":
[GENIAC 採択プロジェクト] 多様な日本語能力の向上を目指した公開の基盤モデル開発 | 東京大学松尾研究室 - Matsuo Lab
本プロジェクトは、大規模言語モデル講座の修了生を含む、松尾・岩澤研究室講座の修了生および一般公募によって集まった有志の開発者(⺠間企業・研究者・学生で構成)約250名が7チームに分かれ、各チーム10BクラスのLLMをコンペティション形式で開発を行い、優勝チームが50BクラスのLLMを作り、これらのモデルやコード開発で得た知見を共有する事を目的に行われます。 国立研究開発法人新エネルギー・産業技術総合開発機構(以下「NEDO」)の「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発(助成)」に係る公募に採択されており、経済産業省が主導する基盤モデルの開発に必要な計算資源に関する支援や関係者間の連携を促す「GENIAC」プロジェクトの一環として行われます。 GENIACの詳細はこちら:https://www.meti.go.jp/press/2023/02/202
![[GENIAC 採択プロジェクト] 多様な日本語能力の向上を目指した公開の基盤モデル開発 | 東京大学松尾研究室 - Matsuo Lab](https://cdn-ak-scissors.b.st-hatena.com/image/square/97aa0df798ab85c07c4b8fa20c0d53d279251254/height=288;version=1;width=512/https%3A%2F%2Fweblab.t.u-tokyo.ac.jp%2Fwp-content%2Fuploads%2F2024%2F02%2F0_8-copy.jpg)
Azure Cognitive Search のベクトル検索とハイブリッド検索の比較デモネタ - Qiita
はじめに Azure OpenAI Developers セミナー第2回でも語らせていただきました、Azure Cognitive Search のベクトル検索、ハイブリッド検索、セマンティックハイブリッド検索のデモネタについて紹介します。 Azure Cognitive Search がベクトル検索に対応したことで、クラシカルなキーワード検索と組み合わせたハイブリッド検索が可能になりました。今回はいつもの戦国武将データセットを例に、それぞれの機能を比較していきましょう。 ベクトル検索 text-embeddings-ada-002 で生成した Embeddings を格納します。 「源実友のお歌にはどのような特徴があったのでしょうか？」というわざとスペルミスを入れたり和歌をお歌と言い換えたりしたクエリーで検索をかけます。ja.lucene というスタンダードな日本語アナライザーに搭載され
トークナイザーの重要性と継続事前学習の可能性 3名の専門家が語る日本語LLM開発の最前線
LLM開発の意義と課題 南野充則氏（以下、南野）：では、パネルディスカッションを始めていきたいと思います。本日1発目のパネルディスカッションなので、ちょっと盛り上げていきたいなと思っています。 私は、先ほど開会の挨拶もさせていただきましたが、南野と申します。モデレーターをさせていただきます。よろしくお願いします。 このセッションでは、ここでしか聞けない話をしっかり話していただこうということで、大規模言語モデルを作っている方々にいろんな質問を問い掛けていきたいと思っています。よろしくお願いします。 まず最初に登壇者のご紹介をさせていただきまして、その後、パネルに移っていきたいと思います。では、岡崎先生、よろしくお願いします。 岡崎直観氏（以下、岡崎）：ご紹介ありがとうございます。東京工業大学の岡崎です。スライドをめくっていただいてよろしいでしょうか。 私は東工大という大学にいますので、研究と
GitHub - llm-jp/awesome-japanese-llm: 日本語LLMまとめ - Overview of Japanese LLMs
[ English | Français | 日本語 ] 日本語LLM・英語LLMのパラメータ数の推移。日本語モデルの情報は本記事、英語モデルの情報は LifeArchitect.ai の Models table を参照しています（ただし、図のスペース上一部のモデルは省略。また、英語モデルのパラメータ数は推測値を含む）。修正・追加等ありましたらお知らせ下さい。 この記事は、一般公開されている日本語LLM（日本語を中心に学習されたLLM）および日本語LLM評価ベンチマークに関する情報をまとめたものです。情報は、有志により収集されており、その一部は論文や公開されているリソースなどから引用しています。 ⚠ 以下の点について、あらかじめご理解とご了承をお願いいたします： 本記事の内容は、完全性や正確性を保証するものではありません。これらの情報は予告なく変更されることがあり、また最新の情報を常に提
GitHub - vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs
| Documentation | Blog | Paper | Discord | Latest News 🔥 [2024/04] We hosted the third vLLM meetup with Roblox! Please find the meetup slides here. [2024/01] We hosted the second vLLM meetup in SF! Please find the meetup slides here. [2024/01] Added ROCm 6.0 support to vLLM. [2023/12] Added ROCm 5.7 support to vLLM. [2023/10] We hosted the first vLLM meetup in SF! Please find the meetup slides he
The Llama 3 Herd of Models | Research - AI at Meta
概要Modern artificial intelligence (AI) systems are powered by foundation models. This paper presents a new set of foundation models, called Llama 3. It is a herd of language models that natively support multilinguality, coding, reasoning, and tool usage. Our largest model is a dense Transformer with 405B parameters and a context window of up to 128K tokens. This paper presents an extensive empirica
Mixture-of-Agents Enhances Large Language Model Capabilities
Recent advances in large language models (LLMs) demonstrate substantial capabilities in natural language understanding and generation tasks. With the growing number of LLMs, how to harness the collective expertise of multiple LLMs is an exciting open direction. Toward this goal, we propose a new approach that leverages the collective strengths of multiple LLMs through a Mixture-of-Agents (MoA) met
大規模言語モデルによる視覚・言語の融合/Large Vision Language Models
大規模言語モデルによる文書画像理解の最新動向/Recent Trends in LLM-based Visual Document Understanding
大規模言語モデル (LLM) の技術と最新動向
マルチメディア，分散，協調とモバイル（DICOMO2024）シンポジウムでの招待講演の資料です。 https://dicomo.org/
[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜
この記事は "What We’ve Learned From A Year of Building with LLMs" という記事を著者の一人である Eugene Yan さんから許可を得て翻訳したものです。 https://applied-llms.org/ Thank you for giving me a permission to translate this wonderful article! 著者の方々 Eugene Yan Bryan Bischof Charles Frye Hamel Husain Jason Liu Shreya Shankar 原文の公開日 2024/６/8 今は大規模言語モデル（LLM）を使った開発がとってもエキサイティングな時期です。この1年間で、LLMは実世界のアプリケーションに対して「十分に良い」ものになりました。そして、年々良くなり、安く
![[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜](https://cdn-ak-scissors.b.st-hatena.com/image/square/3636c7c8e7c838018a6e006d55b3f4b8d18f34cc/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--7VM-vHg9--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E7%2525BF%2525BB%2525E8%2525A8%2525B3%25255DLLM%2525E3%252581%2525A71%2525E5%2525B9%2525B4%2525E9%252596%252593%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252581%252597%2525E3%252581%2525A6%2525E5%2525AD%2525A6%2525E3%252582%252593%2525E3%252581%2525A0%2525E3%252581%252593%2525E3%252581%2525A8%2525E3%252580%25259CLLM%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252583%252580%2525E3%252582%2525AF%2525E3%252583%252588%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252582%252592%2525E6%252588%252590%2525E5%25258A%25259F%2525E3%252581%2525AB%2525E5%2525B0%25258E%2525E3%252581%25258F%2525E3%252581%25259F%2525E3%252582%252581%2525E3%252581%2525AE%2525E5%2525AE%25259F%2525E8%2525B7%2525B5%2525E7%25259A%252584%2525E3%252582%2525AC%2525E3%252582%2525A4%2525E3%252583%252589%2525E3%252580%25259C%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aseya%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2QzODg4YjM0MzEuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
GitHub - karpathy/LLM101n: LLM101n: Let's build a Storyteller
!!! NOTE: this course does not yet exist. It is current being developed by Eureka Labs. Until it is ready I am archiving this repo !!! What I cannot create, I do not understand. -Richard Feynman In this course we will build a Storyteller AI Large Language Model (LLM). Hand in hand, you'll be able to create, refine and illustrate little stories with the AI. We are going to build everything end-to-e
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - lightblue-tech/japanese_llm_eval: A repo for evaluating Japanese LLMs ・ 日本語LLMを評価するレポ
Code the Cloud
松尾教授が座長を務める、AI戦略会議の資料が公開されました。（第9回資料：「生成AIの産業における可能性」） | 東京大学松尾研究室 - Matsuo Lab
A zero-inflated endemic-epidemic model with an application to measles time series in Germany
最近のLLMの学習法のまとめ - SFT・RLHF・RAG｜npaka
GitHub - langchain-ai/rag-from-scratch
大規模言語モデルの開発
