Year in Review: Deep Learning Papers in 2023 | Hippocampus's Garden
Year in Review: Deep Learning Papers in 2023January 27, 2024 | 12 min read | 471 views enmachine-learningdeep-learningAs we step into 2024, let’s take a moment to look back at the significant progress made in deep learning throughout the past year. In this year-in-review post, I’ll share my 10 favorite papers from 2023. I hope you enjoy it! If you’re interested in this post, you can also check
Accelerating Generative AI with PyTorch II: GPT, Fast
by Team PyTorch This post is the second part of a multi-series blog focused on how to accelerate generative AI models with pure, native PyTorch. We are excited to share a breadth of newly released PyTorch performance features alongside practical examples to see how far we can push PyTorch native performance. In part one, we showed how to accelerate Segment Anything over 8x using only pure, native
DeepSpeed, vLLM, CTranslate2 で rinna 3.6b の生成速度を比較する
はじめに 言語モデルを用いたテキストの生成にはtransformersライブラリが広く使われていますが、transformersライブラリは幅広いモデルに対応する一方で、テキスト生成の速度やメモリ効率には十分に最適化されていません。そこでこの記事ではテキスト生成の効率を上げるためのツールを紹介します。 今回はPyPIから簡単にインストールできるDeepSpeedとvLLM、CTranslate2を比較します。 モデルはrinna/japanese-gpt-neox-3.6b-instruction-ppoを使います。プロンプトのフォーマットやトークナイザ等の使い方についてはモデルカードをご覧ください。 この記事ではColabのT4 GPUタイプを利用してテキスト生成の速度を測定しています。それぞれのツールを試すノートブックと、Colabで開けるリンクを載せているので参考にしてみてください。
ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (3) 英語での性能評価編
ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (3) 英語での性能評価編 はじめに こんにちは！ELYZA の沖村です。本日は2023年8月29日に弊社株式会社ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての深掘り記事の第三弾を公開します。 この記事では、英語モデルの日本語化にあたって失われる能力についての分析記事になっております。 記事の中であわせて、弊社内で開発していた複数の事前学習設定のモデルの性能についても公開します。 ※なお、ELYZAでは2023年12月27日に130億パラメータの日本語LLM「ELYZA-japanese-Llama-2-13b」も公開しています。こちらの開発も今回の分析と並行して実施していました。ぜひご覧ください。 問題意識 ELYZA-japanes
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
The capacity of a neural network to absorb information is limited by its number of parameters. Conditional computation, where parts of the network are active on a per-example basis, has been proposed in theory as a way of dramatically increasing model capacity without a proportional increase in computation. In practice, however, there are significant algorithmic and performance challenges. In this
みずほリサーチ&テクノロジーズ ： 自然言語処理モデルは人間の脳にどこまで近づいたか
人工知能の1つの分野である自然言語処理において、深層学習によるモデルの大規模化が加速している。GAFAをはじめとする大規模な資本が人的資源や計算資源に投入されていることの直接的な結果として、モデルに含まれるパラメータ数が2018年以降において2年で約1,000倍という驚異的な伸びとなっている。現状のパラメータ数が最大規模のモデルの例としては、人工知能を研究する米国の非営利団体であるOpen AIによるGPT-3がある。「長い間人間が作成したと考えられていたブログがGPT-3で生成されていた*1」「自然言語での記述からある程度のプログラムのコードが生成可能となった*2」といった記事にみられるように、、現在進行形で話題となっているのでご存じの方は多いであろう。 自然言語処理モデルのパラメータ数の変遷 ◆は計算環境としての許容パラメータ数、●は言語モデルのパラメータ数 出所：各種資料よりみずほリ
【DL輪読会】Mixtral of Experts | ドクセル
【DL輪読会】Evolutionary Optimization of Model Merging Recipes モデルマージの進化的最適化
MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts
State Space Models (SSMs) have become serious contenders in the field of sequential modeling, challenging the dominance of Transformers. At the same time, Mixture of Experts (MoE) has significantly improved Transformer-based Large Language Models, including recent state-of-the-art open models. We propose that to unlock the potential of SSMs for scaling, they should be combined with MoE. We showcas
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://arxiv.org/pdf/2110.02861
Spike No More: Stabilizing the Pre-training of Large Language Models
Knowledge Fusion of Large Language Models
What Exactly is High-Level Machine Intelligence?
Survey of 2,778 AI authors: six parts in pictures
NeurIPS-23 参加報告 + DPO 解説
GitHub - huggingface/datatrove: Freeing data processing from scripting madness by providing a set of platform-agnostic customizable pipeline processing blocks.
Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy
http://arxiv.org/pdf/2401.06080
Spike No More: Stabilizing the Pre-training of Large Language Models
AI Discovers New Antibiotics, OpenAI Revamps Safety, Researchers Define AGI, and more
GitHub - unslothai/unsloth: Finetune Llama 3.2, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memory
