従来のBLEUscoreでは正しく評価できない！ 自然言語に最適な人間に近い評価基準BERTScore登場！
3つの要点 ✔️ 文章生成における新たな評価基準BERTScore ✔️ BERTの埋め込み(分散表現)を利用することで文章の類似性を評価 ✔️ 既存手法に比べ人間の判断と高い相関を示す評価基準 BERTScore:Evaluating Text Generation with BERT written by Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi (Submitted on 21 Apr 2019 (v1), last revised 24 Feb 2020 (this version, v3)) Comments: Published by ICLR2020 Subjects: Computation and Language (cs.CL) 機械翻訳や文章要約のような文章生成のタ
Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc.
Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました 本記事のサマリーELYZAが「Llama 2」ベースの商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開 性能は「GPT-3.5 (text-davinci-003)」に匹敵、日本語の公開モデルのなかでは最高水準 Chat形式のデモや評価用データセットも合わせて公開 既に社内では、130億、700億パラメータのモデルの開発も進行中 はじめにこんにちは。ELYZAの研究開発チームの佐々木、中村、平川、堀江です。 この度ELYZAは、Metaの「Llama 2」をベースに、日本語による追加事前学習を行なった日本語言語モデル「ELYZA-japanese-Llama-2-7b」と、そこにELYZA独自の事後学習を施した「
GPT-4の精度は悪化している？ 3月に解けた数学の問題解けず GPT-3.5にも敗北──米国チームが検証
「GPT-4の精度は時間とともに変わっている」──そんな研究成果を米スタンフォード大学と米カリフォルニア大学バークレー校の研究チームが発表した。3月と6月時点のGPT-4の精度を比較したところ、一部タスクでは精度が大きく悪化していたという。ただし、この論文は査読前のもので第三者によるレビューは受けていない。 GPT-4は、米OpenAIが提供する大規模言語モデル（LLM）。3月の発表後、チャットAI「ChatGPT」にも搭載され、性能の高さが大きな話題を集めた。LLMは、データのフィードバックや設計変更などをすると性能が変化する。しかし、OpenAIはLLMの更新について発表しておらず、公開以後の性能変化も明らかにしていない。そこで研究チームは、3月と6月時点でのGPT-4、前モデルであるGPT-3.5に精度の違いがあるのか検証した。 実験ではChatGPTに対して「数学の問題の回答」「機
1万種類を超える大規模言語モデル(LLM)をまとめてダウンロード数や類似性などを分かりやすく視覚化したデータライブラリが公開される
2022年後半から「ChatGPT」や「Bard」など数え切れないほどの大規模言語モデル(LLM)およびAIサービスが登場し、世界中のユーザーが生成AIを積極的に使い始めるようになりました。こうした大規模言語モデルの多くは機械学習モデルとデータセットのリポジトリであるHugging Faceに寄託されていますが、スタンフォード大学の研究者らがHugging Faceのデータをまとめて視覚化したものを新たに公開しました。 [2307.09793] On the Origin of LLMs: An Evolutionary Tree and Graph for 15,821 Large Language Models https://doi.org/10.48550/arXiv.2307.09793 Constellation https://constellation.sites.stan
【LangChain】Agentの仕組みを理解して, 任意のLLMを使用する
OpenAIの提供するGPT-3には何種類かある text-davinci-003 / text-curie-001 / text-babbage-001 / text-ada-001 特にLangChainでは最も性能の良いtext-davinci-003が使用されている． だが，APIは金が掛かるのでなるだけフリーのLLMが使いたい → transformers-openai-api等で偽サーバを建てて，APIのオリジンをすり替えると任意のLLMをLangChainで使用可能となる 例 (LangChain + GPT-index) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46
Prompt Engineering Guide – Nextra
Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル（LMs）を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル（LLMs）の能力と限界をより理解することができます。 研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。 プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること
ChatGPTで自前のドキュメントを利用できるプラグイン、「ChatGPT Retrieval Plugin」の概要 | DevelopersIO
2023年3月23日、OpenAI社はChatGPTでのプラグインの立ち上げを発表しました。 これにより、ChatGPTとさまざまな情報を組み合わせることができるようになり、ChatGPTが利用できるシーンはさらに多様になっていくと予想されます。 この発表と併せて、OpenAI社のGithubリポジトリで、「ChatGPT Retrieval Plugin」が公開されました。 このプラグインにより、ChatGPTで自前のドキュメントを利用する（つまり、自前のドキュメントの情報をもとにしたQ&Aなどができる）ようになるようです。 2023年3月24日現在、まだChatGPTのプラグイン自体は利用するにはWaitlistに登録して順番を待たなければいけない状態です。そのため、このプラグインをいまいま試すことはできないのですが、Github上のREADMEを読み解いて、どんなことができるかなどざ
LangChainのAgentがどのようにToolを選択しているかを確認したメモ
LangChain の Agent がどのように Tool を選択しているかを確認したメモ TL;DR LangChain の Agent を利用すると、単独の言語モデルだけでは実現できない計算や最新の情報を考慮した上での回答をすることができます。 LangChain の Agent がどのように Tool を選択しているかを確認してみました。 前提条件 langchain==0.0.92 Agent を利用した質問応答の例 Tool として Google 検索、計算用のプロンプトを設定してあるllm_math_chainを使用します。今回は日本語で回答を得るために、Tool のdescriptionを個別に設定しています。 from langchain import LLMMathChain from langchain.utilities.google_search import Go
LangChainのAgentをLlamaIndexのインデックスでカスタマイズしてみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 LangChainのAgentのカスタムツールとして、LlamaIndexのインデックスを使用する方法を紹介します。 LangChainとは LlamdaIndexと同様、大規模言語モデル(LLM)をカスタマイズして使用するためのライブラリです。 カスタムされたチャットボットやエージェントを作成することが可能で、以下のような様々な外部リソース・サービスと連携可能です。 OpenAIのChatCompletion（要するにChatGPT） Google検索やOpenSearchなどの検索サービス Hugging Faceのエコシステム Pythonのコーディングをするツール 例：PyTorchでhogehogeな構成のサンプルコードを教えて、など SQLデータベースなどのリソース 例：hogehog
【Prompt Engineering】LLMを効率的に動かす「ReAct」論文徹底分解！😎
ReActとは？ LLMのpromptingの方法の一つです。LLMに質疑応答させたり、意思決定させたりという場面で力を発揮するほか、外部データベースや外部APIとLLMを組み合わせる場合にも使えます。 また、LangChainでもReActの考え方は多く活用されています（エージェントなど） 今回はReActが提案された論文REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELSを細かくチェックしていきます！ 論文のソースはこちら： この記事を見て分かること CoT、ReActのノリが分かる ReActの限界と能力の向上方法について理解できる Let's Go! 元の論文の各章の内容要約＋一言コメントでまとめています。ちょっとLangChainとか齧った方なら理解できる程度のものだと思います。（内容要約が分からなかったら所感だけ見
大規模言語モデルで変わるMLシステム開発
GPTはじめ大規模言語モデルの登場により、MLシステム開発にもパラダイムシフトが起こっています。流れが速すぎてやや混沌としてきたので、プロンプトエンジニアリングの考え方をはじめとした新しい概念について有用な引用と共に交通整理をしてみました。 今から始めたい人はまずこれを読むと、どんな点に配慮すべきかが…
【徹底解説】これからのエンジニアの必携スキル、プロンプトエンジニアリングの手引「Prompt Engineering Guide」を読んでまとめてみた | DevelopersIO
【徹底解説】これからのエンジニアの必携スキル、プロンプトエンジニアリングの手引「Prompt Engineering Guide」を読んでまとめてみた こんにちは。CX 事業本部 Delivery 部のきんじょーです。 ここのところChatGPT と戯れてアプリを作ったり、様々なプロンプトの検証をしていましたが、言語モデルの性能を最大限に引き出すために、体系的にプロンプトエンジニアリングを学びたいと考えていました。 GitHub に「Prompt Engineering Guide」という素晴らしいリポジトリがあったので、読んで検証した内容をブログにまとめていきます。 本記事は、執筆時点の上記リポジトリの内容を元にしていますが、意訳や独自に検証した日本語のプロンプトを含みます。 上記リポジトリも絶賛開発中の段階のため、最新情報や原文が気になる方はリポジトリを直接参照してください。 目次 プ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ell: Simplify your LLM programming
Tavily AI
LLMの開発は難しい？簡単？Stability AIの現場から (2023/10/11, W&B Fully Connected)
大規模言語モデルの驚異と脅威