大規模言語モデルに追加学習で専門知識を教える試み (2023, arXiv:2312.03360) | ドクセル
大規模言語モデルに 追加学習で専門知識を教える試み Teaching Specific Scientific Knowledge into Large Language Models through Additional Training Kan Hatakeyama • arXiv:2312.03360, 2023/12/7 • https://github.com/KanHatakeyama/Additional-training-Llama2 • https://huggingface.co/datasets/kanhatakeyama/nature-family-CCpapers 1 https://arxiv.org/abs/2312.03360 https://github.com/KanHatakeyama/Additional-training-Llama2 https:/
GitHub - lm-sys/FastChat: An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena.
| Demo | Discord | X | FastChat is an open platform for training, serving, and evaluating large language model based chatbots. FastChat powers Chatbot Arena (https://chat.lmsys.org/), serving over 10 million chat requests for 70+ LLMs. Chatbot Arena has collected over 500K human votes from side-by-side LLM battles to compile an online LLM Elo leaderboard. FastChat's core features include: The trai
Flash-Decoding for long-context inference
Micro-benchmark of the multi-head attention, run-time in us. Flash-Decoding achieves almost constant run-time as the sequence length scales to up to 64k. The up to 8x speedup end-to-end measured earlier is made possible because the attention itself is up to 50x faster than FlashAttention. Up until sequence length 32k, the attention time is roughly constant, because Flash-Decoding manages to fully
GitHub - Xwin-LM/Xwin-LM: Xwin-LM: Powerful, Stable, and Reproducible LLM Alignment
Step up your LLM alignment with Xwin-LM! Xwin-LM aims to develop and open-source alignment technologies for large language models, including supervised fine-tuning (SFT), reward models (RM), reject sampling, reinforcement learning from human feedback (RLHF), etc. Our first release, built-upon on the Llama2 base models, ranked TOP-1 on AlpacaEval. Notably, it's the first to surpass GPT-4 on this be
225行のコードでGPTの仕組みを理解する
概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下で、225行しかなくとても読みやすいです。 また短いですがtransformerのエッセンスが詰まっていて勉強になりそうです。 このコードを読み解くことでGPTやtransformerがどのように動いているのか、ざっくり理解してみようと思います。 ちなみに完成するとこんな感じの文字列が生成されます。ぱっと見文章っぽいですね。 first Scitizen: He's enough; but he cannot give his friends. MARCIUS: Do yo
Introducing Code Llama, an AI Tool for Coding | Meta
Code Llama is an AI model built on top of Llama 2, fine-tuned for generating and discussing code. It’s free for research and commercial use. Today, we’re releasing Code Llama, a large language model (LLM) that can use text prompts to generate and discuss code. Code Llama is state-of-the-art for publicly available LLMs on coding tasks. It has the potential to make workflows faster and more efficien
Giraffe - Long Context LLMs - The Abacus.AI Blog
Following up on the work from our previous blog post, we are releasing today an arXiv paper titled “Giraffe: Adventures in Expanding Context Lengths in LLMs”. Giraffe is a new family of models that are finetuned from base LLaMA and LLaMA2 that we release. We include a 4k Giraffe and 16k Giraffe finetuned from LLaMA, and a 32k Giraffe finetuned from LLaMA2 and release their weights on HuggingFace.
AgentBench: Evaluating LLMs as Agents
Large Language Models (LLMs) are becoming increasingly smart and autonomous, targeting real-world pragmatic missions beyond traditional NLP tasks. As a result, there has been an urgent need to evaluate LLMs as agents on challenging tasks in interactive environments. We present AgentBench, a multi-dimensional evolving benchmark that currently consists of 8 distinct environments to assess LLM-as-Age
日本語画像言語モデル「Japanese InstructBLIP Alpha」をリリースしました — Stability AI Japan
Stability AIは日本語向け画像言語モデル「Japanese InstructBLIP Alpha」を一般公開しました。入力した画像に対して文字で説明を生成できる画像キャプション機能に加え、画像についての質問を文字で入力することで回答することもできます。 Japanese InstructBLIP Alpha「Japanese InstructBLIP Alpha」は、先日公開された日本語向け指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を拡張した、画像を元にしたテキストが生成されるモデルです。 「Japanese InstructBLIP Alpha」は、高いパフォーマンスが報告されている画像言語モデルInstructBLIPのモデル構造を用いております。少ない日本語データセットで高性能なモデルを構築するために、モデルの一部を大規模な
LLM Powered Autonomous Agents
Date: June 23, 2023 | Estimated Reading Time: 31 min | Author: Lilian Weng Building agents with LLM (large language model) as its core controller is a cool concept. Several proof-of-concepts demos, such as AutoGPT, GPT-Engineer and BabyAGI, serve as inspiring examples. The potentiality of LLM extends beyond generating well-written copies, stories, essays and programs; it can be framed as a powerfu
Japanese MiniGPT-4: rinna 3.6bとBLIP-2を組み合わせてマルチモーダルチャットのモデルを作る
はじめに LLMの応用先の一つに，テキストに加えて画像や音声といった複数のモーダルの入出力を行うマルチモーダル情報処理があります．例えば，2023年3月に発表されたGPT-4の論文では，テキストと画像から構成されるプロンプトを入力することで，画像の内容に関して高度な対話を実現できることが報告されています．GPT-4のように，テキスト以外の情報を考慮して対話を行うタスクはマルチモーダルチャットと呼ばれています． マルチモーダルチャットを実現する方法として，テキストの情報のみで事前学習されたLLMを改良し，マルチモーダル情報を扱えるようにする手法が多数提案されています．例えば，テキストと画像を入力可能なタスクであれば，画像データで学習された画像のエンコーダとなるモデルをLLMに接続することで，画像とテキストを同じ枠組みで処理する手法（BLIP-2やMiniGPT-4）が提案されています． 今回
大規模言語モデル時代のHuman-in-the-Loop機械学習
画像の認識・理解シンポジウム（MIRU2023）チュートリアル
はじめての自然言語処理 DeepSpeed-Chat による RLHF の紹介 | オブジェクトの広場
今回は DeepSpeed-Chat による RLHF のご紹介です。正直、データセットや計算資源の都合もあり、とりあえず動かしてみました！的な話にはなりますが、RLHF の効果が実際に確認できるか見てみたいと思います。 1. はじめに 今回は DeepSpeed-Chat1 を使って RLHF を試してみたいと思います。RLHF は Reinforcement Learning from Human Feedback の略で文字通り「人からのフィードバックを用いた強化学習」ということですね。OpenAI が InstructGPT(ChatGPT の元になったモデル)2 で使ったことで注目された手法になります。 LLM がらみで何か記事にしたいと思いつつ、日々新たな LLM が発表されている昨今に、隔月＆内容が実時間から月単位で遅れ気味wの本連載です。 「どうしたもんかな。。。」と悩みに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBIS2023チュートリアル「大規模言語モデル活用技術の最前線」
LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models
Responsible Use Guide for Llama 2
h2oGPT
A simple guide to fine-tuning Llama 2
GitHub - hppRC/llm-lora-classification: LLMとLoRAを用いたテキスト分類
unilm/retnet at master · microsoft/unilm
