大規模言語モデル (LLM) は日進月歩で進化しており、日本語の理解能力についても多くの言語モデルがしのぎを削っています。先日PFNからも、日英2言語を併せた能力で世界トップレベルの性能を示す言語モデルPLaMo-13Bを公開*しました。 一方で、LLMを実際のタスクに適用する場合には、事前学習モデルやファインチューニングによる改善もさることながら、プロンプトの違いが性能を大きく左右します。本稿ではプロンプトを自動的にチューニングすることによって、LLMの能力を最大限に引き出し、与えられた課題の精度をどこまで高められるのかを検証します。 * 本稿で解説するプロンプトチューニング技術は、PLaMo-13B公開時の性能評価には用いていません。 プロンプトエンジニアリングについて LLMを使ったチャットシステムでは、ユーザーからの問い合わせ内容を改変してLLMに入力することがあります。例えば、図
Micro-benchmark of the multi-head attention, run-time in us. Flash-Decoding achieves almost constant run-time as the sequence length scales to up to 64k. The up to 8x speedup end-to-end measured earlier is made possible because the attention itself is up to 50x faster than FlashAttention. Up until sequence length 32k, the attention time is roughly constant, because Flash-Decoding manages to fully
書籍はこちら:https://www.amazon.co.jp/dp/4297138395 === ■なぜLangChain? ChatGPTのAPIが公開されたころから、多くの組織が大規模言語モデル(LLM)を使ったアプリケーション開発に取り組むようになりました。 LLMを使ったアプリケーション開発で、最も注目されているフレームワークが「LangChain」です。 LangChainはLLMを使ったアプリケーション開発の幅広い分野を扱っており、論文などで発表された新しい手法も次々実装しています。 そのため、LangChainを学ぶことは、LLMを使ったアプリケーション開発の様々な工夫を学ぶことになるのです。 ■この勉強会のテーマ この勉強会では、LangChainからLLMを使ったアプリケーションの工夫の例を学んでいきます。 とくにRAG (Retrieval Augmented Gen
Gartner、「生成AIのハイプ・サイクル:2023年」を発表-2026年までに、企業の80%以上は生成AIのAPIを使用して、生成AIに対応したアプリケーションを本番環境に展開するようになる ガートナージャパン株式会社 (本社:東京都港区、以下Gartner) は、2026年までに、80%以上の企業が生成AIのAPIやモデルを使用して、生成AIに対応したアプリケーションを本稼働環境に展開するようになるとの見解を発表しました (グローバルでは2023年10月11日に発表しています)。これは、2023年の5%未満からの大幅な増加になります。 ディスティングイッシュト バイス プレジデントのアルン・チャンドラセカラン (Arun Chandrasekaran) は次のように述べています。「生成AIはCレベル幹部の最優先課題となっています。ファウンデーション・モデルの範囲を超え、新たなツールに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く