自分の癖にあったファインチューニング用データセットをLLMで作ろう！【Calm2】
まとめ LLMのファインチューニングにおいて、データセットは重要なものとなりつつある 以前までは人力で作る必要があったが、プロンプトが効く7Bモデル（Calm2-chat）を用いることで、LLMでファインチューニング用データセットを作ることができる データセットを作成しつつ、動的にプロンプトを修正していく手法が相当よかった 導入 LLMのファインチューニングには、大量のデータセットが必要です。良く言われているのは「少なくとも数百～数千はあった方が良い」というものです。翻訳など、皆が使うであろうようなタスクのデータセットは存在する一方で、「女の子の日記をLLMで作りたい」のような、完全に自分の癖に従ったようなデータセットは基本的には存在しません。一から自分で作っても良いのですが、人間の時間とやる気は有限なため、かなり無謀な挑戦と言えるでしょう。 この作業にLLMを用いることで、労力を最小限ま
BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
Releasing 3B and 7B RedPajama-INCITE family of models including base, instruction-tuned & chat models
Releasing 3B and 7B RedPajama-INCITE family of models including base, instruction-tuned & chat models The RedPajama project aims to create a set of leading open-source models and to rigorously understand the ingredients that yield good performance. A few weeks ago we released the RedPajama base dataset based on the LLaMA paper, which has galvanized the open-source community. The 5 terabyte datase
GPTの仕組みをちゃんと勉強したい本 - きしだのHatena
やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
百花繚乱の大規模言語モデル その現状まとめ【2023年4月末版】
昨年末から急激に話題を呼んだChatGPT、その内部的なバージョンアップであるGPT-3.5とGPT-4はいずれもMicrosoftから強力な支援を受けた米OpenAIという企業が独占的に提供する大規模言語モデル（LLM）だ。 それに呼応するかのように、Meta社からはLLaMA（ラマ）がリリースされ、LLaMAをChatGPTとの1万3千回の会話データで微調整したAlpaca（アルパカ）、AlpacaをShareGPT（GPTとの会話を有志がオープンにしたもの）のデータで微調整したVicuna（ビクーニャ）といった派生モデルが次々と登場した。 しかし、LLaMAはMeta社の意向により「アカデミック用途限定」という縛りがある。またGPTの出力にはOpenAIの利用規定で「GPTの出力結果を元にGPTに対抗できる強力なAIを作ってはいけない」という制約があるため、AlpacaもVicuna
無料・商用利用可なオープンソースの大規模言語モデル Dolly 2.0(dolly-v2-12b) を試してみた - Qiita
概要 大規模言語モデル Dolly 2.0 を試してみました。 公式ブログ に詳しく書いてありますが、 Alpaca、Koala、GPT4All、Vicuna など最近話題のモデルたちは 商用利用 にハードルがあったが、Dolly 2.0 は自社で準備した 15000件のデータで学習させたデータを使っているためそのハードルがなくなったようです。 ありがたいですね。さっそく試してみました。 2023/04/18 コード更新 Dolly 2.0モデルの独自パイプライン処理が本稿公開時(2023/04/13)から変更されているため、それに対応するよう本稿ソースコードも修正しました。 該当コード（変更後）
【ChatGPT】これだけ覚えればOK？ゴールシークプロンプトが誰でも使えて最強すぎた｜Masaki KANAI
このnoteのターゲットChatGPTを使ってるけど、イマイチ使いこなせていない人 ChatGPTにどんな指示をしていいか迷っている人 このnoteで得られることゴールシークプロンプトの概要を理解できる ゴールシークプロントの使い方が分かる ゴールシークプロンプトとは聞き慣れない単語だと思うので、まずはそれぞれの言葉を説明しますね。 ■ ゴール：AIを使ってユーザーが達成したい目標 ■ シーク：探す, 探し求める ■ プロンプト：AIに指示するために入力する文章 つまり、ゴールシークプロンプトとは「ゴールを自ら探しに行ってくれるプロンプト」のことです。 ゴールシークプロンプトがすごい理由ゴールシークプロンプトがすごい理由は、以下の３点。 1. 曖昧なゴール設定でも、AIが明確なゴールを探してくれる 2. AIと対話しながらゴールを探せる 3. 汎用性のある形に変更もできる ChatGPTに
GPT-4のハルシネーション（幻覚）の研究｜IT navi
3月14日、OpenAIから大規模言語モデルGPTの最新バージョンであるGPT-4が公表され、すぐにChatGPT有料版でも利用できるようになりました。 GPT-4は、その抜きん出た性能で一躍話題になる一方で、まるで事実であるかのような嘘をつくというハルシネーション（AIの幻覚)の欠点は、まだ克服されていません。 今回は、このGPT-4のハルシネーションについて、これまでよりも深く調べてみました。 １．ハルシネーションが起こる理由AIのハルシネーションとは、AIが生成する情報や文章が実際の事実や知識とは異なる架空の内容になってしまうことを言います。 文章生成AIがハルシネーションを引き起こすのは、学習した知識やデータに基づいてAIが情報を生成する過程で、いくつかの理由により、現実とは異なる結果を生み出してしまうことがあるためです。 主に以下の理由により、AIのハルシネーションが発生します。
ChatGPTなどのチャットAIがどんな風に文章をトークンとして認識しているのかが一目で分かる「Tokenizer」
OpenAIが開発したChatGPTをはじめ、さまざまなAIが人間レベルの会話を行ってくれるようになりました。AIは文章を読み書きするとき「トークン」という単位で認識を行うのですが、普通の文章がトークン的にはどのように分解されるのかを一目で教えてくれるツール「Tokenizer」がOpenAIのページ上で公開されています。 OpenAI API https://platform.openai.com/tokenizer Tokenizerの画面はこんな感じ。テキストを入力する必要がありますが、いったん「Show example」をクリックして例を見てみます。 英語の場合、252文字の文章で64トークンとなる模様。下部にて文字がトークンのまとまりごとに色分けして表示されています。 「TOKEN IDS」をクリックするとそれぞれの数値も確認できます。人間が見てもなにがなんだか分かりませんが、G
「プロンプトエンジニアリング」の“教科書”、日本語版が登場 無償でAIの上手な使い方を解説
資料を和訳したのは、HRテック事業などを手掛けるギブリー（東京都渋谷区）の取締役を務める新田章太さん。翻訳作業にもGPT-4を活用したとし「日本語翻訳をよりナチュラルにできるよう、プロンプティングしながら作業したので、実質の翻訳作業はたった1日で終わった」と説明している。 関連記事 東大松尾教授が答える、ChatGPTとは何なのか？ 一問一答 国内におけるAIの権威である東京大学の松尾豊教授は、ChatGPTをどう見ているのか？ ChatGPTは、一時的なトレンドか技術的転換点か、AI研究者から見てChatGPTは？ 日本もLLMを作ったほうがいいのか？ といった問に答えた GPT-4にGPT-4の発表を要約させてみた 人間よりも良い記事になるか？ 超長文をChatGPTに読ませる方法も 米OpenAIの大規模言語モデル「GPT-4」。言語処理性能がずば抜けているというが、ではGPT-4は
TransformerをAI進化の流れと共にわかりやすく解説！Attention層に至るまで｜スタビジ
「Transformer（トランスフォーマー）」の概要をザックリ解説Transformerとは、「Attention Is All You Need」という論文で2017年に発表されたディープラーニングのモデルです。 以下、「Attention Is All You Need」の引用になります。 The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose
Prompt Engineering Guide – Nextra
Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル（LMs）を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル（LLMs）の能力と限界をより理解することができます。 研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。 プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること
【GPT】プロンプトエンジニアリング手法まとめ - Qiita
はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 単発のプロンプトテクニックについてはこちらご覧ください。 これだけは知っとけ用語 各手法の説明を読む前に、これらの用語を読んでおくと各手法がわかります。知っている人は飛ばしてください。 プロンプトエンジニアリング 入力(プロンプト)を工夫して性能をあげようというアプローチ。 機械学習系で精度アップといえば、追加学習させたりモデルを拡張するのですが、LLMではモデルが大き過ぎてコストが洒落になりません。 そのような事情からプロンプト側を工夫することで、回答に直接影響を与えるという手法が発達しています。 ファインチューニング モデルを新たな学習データで追加学習させ、モデルのパラメータを更新し、精度を高め
グラボ非搭載の低スペックPCでも使える軽量チャットAI「GPT4ALL」の使い方まとめ
ChatGPTを代表に高性能なチャットAIが続々と発表されていますが、チャットAIの多くはオンラインで使う必要がある他、オフラインで動作するチャットAIも高性能PCを求めるものがほとんどです。そんな中、高性能GPUを搭載していないPCでも動かせる「GPT4ALL」が登場しました。実際に使ってみたところグラフィックボードを搭載していないモバイルノートPCでも動かせたので、使い方をまとめてみました。 GitHub - nomic-ai/gpt4all: gpt4all: a chatbot trained on a massive collection of clean assistant data including code, stories and dialogue https://github.com/nomic-ai/gpt4all GPT4ALLは、Nomic AIが開発したチャッ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今井翔太 / Shota Imai@えるエル on Twitter: "MPT-7Bというオープンソース大規模言語モデルが先ほど公開されたのですが，オープンソースの本命という気がします https://t.co/8BU5N4mCOG ・商用利用可能 ・6万5000トークン使用可能（GPT-4の2倍！） ・7Bと比較的小さいモデルながら,かなり高性能 ・日本語を扱え,性能もかなり高い（超重要）… https://t.co/3KVk8SDiQd"
Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs | Databricks
GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ
GitHub - nat/openplayground: An LLM playground you can run on your laptop
プロンプトエンジニアリング応用編｜ChatGPT研究所
プロンプトエンジニアリング基礎編｜ChatGPT研究所
