はてなブックマーク

はじめに GPT-4oとは テキストの性能 日本語のRAGの性能 RAG（Retrieval-Augmented Generation）とは データソース AIアシスタント作成 モデルごとのRAGの性能確認 GPT-3.5 GPT-4 GPT-4o まとめ はじめに 当社では、ChatGPTのAPIを活用した「HEROZ ASK」というサービスを提供しています。この度、リリースされたばかりのGPT-4oに対応したことで、RAG（Retrieval-Augmented Generation）機能を大幅に強化しました。本記事では、GPT-4oの特徴や「HEROZ ASK」における具体的な活用方法、そして新しい機能がどのようにお客様の業務効率化に寄与するかについて解説します。 GPT-4oとは GPT-4oは、OpenAIが開発した最新の言語モデルであり、従来のGPT-4に比べて以下の点で改良さ

はじめに 知識抽出におけるRAGの役割 RAGの限界 LLMによるクエリ拡張 Multi Query Retrieverによるクエリ拡張 Multi Query Retrieverを利用したクエリ拡張時の性能とコストの評価 まとめ はじめに こんにちは、HEROZ ASK の開発チームです。 herozask.ai 今回のポストでは、このプロダクトの開発で活用している検索精度の向上技術についてお話します。 知識抽出におけるRAGの役割 そもそも現在公開されているLLMをそのまま用いて社内ナレッジについて質問すると、事実に基づかない文章を生成してしまう、いわゆる『ハルシネーション』が起きてしまいます。 このハルシネーションに対抗する手段のひとつがRAGです。RAG(Retrieval Augmented Generation)は、検索ベースのモデル(Retrieval)と生成ベースのモデル(

はじめに 『Azure OpenAI Service リファレンスアーキテクチャ』の賛同パートナーについて 『Azure AI Hub』について 『HEROZ ASK』アーリーアクセス版について 正式サービス開始に向けて 最後に はじめに こんにちは、HEROZ ASK の開発チームです。 herozask.ai 今回のポストでは、このプロダクトの開発で活用しているインフラ技術を紹介したいと思います。 『Azure OpenAI Service リファレンスアーキテクチャ』の賛同パートナーについて 日本マイクロソフト株式会社が公開する『Azure OpenAI Service リファレンスアーキテクチャ』に対し、賛同するパートナーを認定する新たなパートナープログラムです。 私たち HEROZ は、賛同パートナーとして参画しています。 heroz.co.jp www.microsoft.co

はじめに 評価対象 評価方法 プロンプトの中身 0.2: FintanPrompt 0.3: AlpacaPrompt 0.4: RinnaInstructionSFT 0.5: RinnaBilingualInstructionSFT 0.6: Llama2 評価結果 おわりに はじめに LLMの日本語に関する評価にはJGLUEデータセットを使用するlm-evaluation-harness というプログラムがあります。(提供してくださった方々、ありがとうございます) 弊社でもこのlm-evaluation-harnessを使用してファインチューニング用のLLMの評価や事後の劣化具合評価に使用しているのですが、lm-evaluation-harnessにはプロンプトのバージョンが0.2から0.6までの種類があります。プロンプトバージョンはtasksの「(タスク名)-(タスクバージョン)-