生成AIの推論精度向上を目的としてRAGの実装が進んでいますが、その性能を適切に評価することも重要です。複雑な評価プロセスに対応するために提案された「Auepora」と呼ばれる評価方法分析フレームワークを紹介します。

自己証明書（通称オレオレ証明書）の作成方法です 1. CA用の秘密鍵を生成 このコマンドは、2048ビットのRSA秘密鍵を生成し、localCA.key というファイルに保存します。 openssl genrsa: RSA 秘密鍵を生成するコマンド -out: 生成した秘密鍵の出力ファイル名 (例: localCA.key) 2048: 秘密鍵の長さ (ビット単位) (例: 2048ビット) 2. 秘密鍵と識別情報から証明書署名要求 (CSR) の作成 このコマンドは、以下の情報を設定した CSR を生成し、localCA.csr というファイルに保存します。 openssl req: 証明書署名要求 (CSR) を作成するコマンド -batch: 対話形式ではなく、バッチ処理で実行 -new: 新しい CSR を作成 -key: 秘密鍵ファイル (例: localCA.key) -out

Google、アプリ実行時に生成AIが適切なUIを構成し動的生成する「AI Generated UI」発表 基本的に、アプリケーションのユーザーインターエイス（UI）は開発時に設計され実装されて、その実装通りに実行時に表示されるものです。 しかしこのUIを開発時ではなく、アプリケーションの実行時に生成AIが適切に構成して動的に生成し表示する「AI Generated UI」という仕組みを、Googleがインドのバンガロールで行われたイベント「Google I/O Connect Bengaluru 2024」で発表しました。 現時点でAI Generated UIはFlutterフレームワークの上にアーリープレビューとして実装されており、ユーザーの意図に基づいてFlutterが動的にUIコンポーネントとレイアウトを構成し、ユーザーにパーソナライズされた最適なUIを表示すると説明されています

G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure

コンテナからホスト上のサービスにアクセスする コンテナから、ホスト上で起動しているサービスにアクセスする必要があったので、 備忘録として記事に残したいと思います。 ユースケース : ローカル環境でデバッグ中のサービスに、コンテナからアクセスしたい host.docker.internal を使用する ホスト上で内部の IP アドレスで名前解決できる、特定の DNS 名 host.docker.internal を使用することで、コンテナからホスト上のサービスにアクセスすることができます。

こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 この度 Gaudiy では LangSmith を使った評価の体験をいい感じにするライブラリ、langsmith-evaluation-helper を公開しました。 github.com 大まかな機能としては次のように config と、詳細は後で載せますが、LLMを実行する関数 or プロンプトテンプレートと評価を実行する関数を書いて description: Testing evaluations prompt: entry_function: toxic_example_prompts providers: - id: TURBO config: temperature: 0.7 - id: GEMINI_PRO config: temperature:

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、「Speculative RAG」という手法について、ざっくり理解します。 この記事は何 この記事は、複数の言語モデルを利用してRAGの回答精度を上げる手法である「Speculative RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー Speculative RAG は、複数の言語モデルで回答生成&最良の回答を選別する手法です。Google DeepMindの研究者らによって2024年7月に提案されました。Speculative RAGを使うメリットは、小さいモデルでも回答精度を高く保てること、それにより、回答

こんにちは。ベランダで育てていたバジルが虫に食べられてしまいました。ハヤトです。 しかし植物の生命力というのはすごいもので、残った茎から再び葉っぱが成長してきています。次はぜひ私が食べたいものです。 さて、成長著しいといえば生成AIアプリ開発の分野はまさに日進月歩ですが、 なかでも「Dify」は、LLMワークフローが特に便利で、注目度が急上昇中です。 今回はそんなDifyとKnowledge bases for Amazon Bedrockを連携させてRAGを構築してみます。 Difyとは？ Knowledge bases for Amazon Bedrockとは？ 今回作成するチャットボットについて AWS側の設定手順 ナレッジベースの作成 APIの作成 Lambdaの作成 API Gatewayの作成 Dify側の設定手順 カスタムツールの作成 チャットボットの作成 まとめ Difyと

はじめに こんにちは、数ヶ月ほど前からCTO室に異動した伊藤です。 今回はLangfuseを用いたLLMアプリケーションのモニタリングについて紹介いたします。 Langfuseとは Langfuseは、LLMアプリケーションの開発者がトレースや評価、プロンプト管理、メトリクス等を使用してアプリケーションのパフォーマンスを向上させるためのツールです。 公式サイト: https://langfuse.com/ 各機能の詳細については以下の通りです。 トレース: 各LLMの呼び出しと関連ロジックの詳細ログを取得し、処理の流れを追跡 プロンプト管理: プロンプトのバージョン管理と変更履歴の追跡 応答評価: 評価指標やユーザーフィードバックを用いてモデルの応答品質を評価 メトリクス収集: 応答時間や使用料金等を記録し、ダッシュボードにて可視化 また、Langfuseと同じような他のLLMアプリケーシ

やりたいこと ChatGPTっぽいことを業務に組み込みたくて、OpenAIのAPIを使ってみたいけど、curlとかpythonの実行環境がないってことあると思います。 そんなときのために、Postmanを使って実行する流れを記載していきます。 この記事では、OpenAIで用意されているAPIの中で、以下を試してみたいと思います。 テキスト生成 画像生成 事前準備 Postmanはインストールされている前提として、APIリクエストに必要なOpenAI側の事前準備をしていきます。 OpenAIのアカウントを作成し、リクエストに使用するSecret Keyを生成します。 コストについてですが、Free Trialが用意されており、3ヶ月間であれば、18USDまでAPIリクエストが試用できます。 アカウント作成 下記ページの[SIGN UP]をクリックして、OpenAIのアカウントを作成します。

Netflixが自社製ワークフローオーケストレーター「Maestro」をオープンソース化しました。MaestroはNetflix社内で現役稼働しており、データパイプラインや機械学習パイプラインといった大規模ワークフローの管理に使われているそうです。 Maestro: Netflix’s Workflow Orchestrator | by Netflix Technology Blog | Jul, 2024 | Netflix TechBlog https://netflixtechblog.com/maestro-netflixs-workflow-orchestrator-ee13a06f9c78 Netflixは「ユーザーが次に視聴する作品の予測」などを目的に機械学習を活用しており、記事作成時点では何千もの機械学習ワークフローインスタンスを起動し、平均して1日当たり50万のジョブを

こんにちはChoimirai Companyのサンミンです。 0  はじめにDifyがLangChainと決別し、独自の「Model Runtime」を採用したのが2024年の1月。 LangFlowやFlowiseなど複合AIシステムではLangChainに依存した設計が多い。DifyもLangChainベースの設計だったけど今年の1月に独自の「Model Runtime」を発表👏↓。当時は難しい判断だったと思う。が、変化のスピードとDifyが描いてる世界観を考えると正解だった。Difyを勧めるもう一つの理由、です。 https://t.co/AybwXRXkJ9 pic.twitter.com/n7d9aae76N — sangmin.eth | Dify Ambassador (@gijigae) April 24, 2024 LangChainの導入を慎重に考えるべきだとする声は

まとめ RAGにおける回答生成が必要か不要かに関して考えました。業務面・技術面・環境面を整理して判断するのが良さそうです。また、情報検索のみで良いのかという点について、回答生成以外の要素も含めて考えてみました。 はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、

In the ever-evolving landscape of AI, LLM + RAG (Retrieval Augmented Generation) is a typical use scenario. Retrieving accurate related chunked data from complicated docs and then improving LLM response quality becomes challenge. There is no a silver bullet RAG can address all requirements so far. Developers need to verify different advanced RAG techs to find out which is a proper one for their sc

【生成AI】知らないと後悔する、GPT-4oだけでシステム開発を300%効率化するハック【CodeAGI】Python生成AIChatGPTGPT-4CodeAGI 都内のIT企業に勤めている、ソフトウェアエンジニアの D̷ELL と申します。 本稿はQiita Engineer Festa 2024の参加記事です。 本日は生成AI（GPT-4o）のAPIキーだけで、システム開発を300%効率化するハックを共有したいと思います。 概要 生成AIによるアプリケーション開発自動化が実現しつつある時代になってきた 日本企業における「Excelドキュメント」は数多く、生成AIを実践投入しづらい GPT-4oのAPIキーさえあれば、社内のドキュメントからシステムを自動構築してくれる仕組みがあった はじめに みなさんはアプリケーション開発における生成AIの利用と言えば、何を想像しますか？おそらく大半の

2023年12月7日に開催されたStudyCoの勉強会で、AIについてお話した際の資料です。 スライドではお伝えしきれない部分もあるので、同じ内容を記事にしてます。こちらもぜひ！ https://qiita.com/segavvy/items/9e7e4ab4b253599ac58a 動画（ス…

This repository contains various examples of how to use LangChain, a way to use natural language to interact with LLM, a large language model from Azure OpenAI Service. You can discover how to query LLM using natural language commands, how to generate content using LLM and natural language inputs, and how to integrate LLM with other Azure services using natural language connectors. This repository