LLMアプリケーションの評価入門〜基礎から運用まで徹底解説〜
こんにちは。PharmaXの上野です。 今回はLLMアプリケーションを評価する上で知っておくべき評価の基本をきちんと整理したいと思います。 これまで何度かLLMアプリケーションの評価について語ってきました。 運用についても記事や発表の形でシェアを行ってきました。 ですが、まだまだ「評価とはなにか？」という基本的なところで躓いてしまっている方も多い印象なので、今回は前提から丁寧に評価の全体像をまとめていきたいと思います。 LLMアプリケーションを運用している方の参考になれば嬉しいです！ なぜLLMアプリケーションを評価する必要があるのか LLMをアプリケーションに組み込んでいると、LLMの出力を評価する必要が出てきます。 LLMの「出力は確率的である（毎回異なる）」ためです。 また、LLMの出力はハルシネーションを含む可能性がありますし、間違いではないにしてもサービス提供者の意図とは違った出
「Agentless」という最新手法。LLMの新しい使い方。
本記事では、最近流行りの「生成AIエージェント」に替わる「Agentless」（エージェントレス）という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、ソフトウェア開発自体を自動化する際の新しい手法「Agentless」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもAIエージェントとは？」については、知っている前提で進みます。確認する場合は、こちらの記事などをご参考下さい。 本題 ざっくりサマリー 最近、ソフトウェア開発で生成AIを使うことは当たり前になっています。（GitHub Copilot、Cursor、Devinなど、様々なツールがリリースされています。） 「AGENTLESS」は、ソフトウェア開発を自動化する、という文脈でLLMを使う際の、新しい手法
RAG技術の現状考察と2025年のトレンド予想
本記事では、現在流行している「RAG」技術について、2024年トレンドの振り返りと、2025年の予想をします。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 2024年は、RAGが大流行した年でした。この記事では、2024年の技術トレンドを振り返りつつ、2025年のRAGの進展を予想したいと思います。技術的トレンドはもちろん、普段、企業向けにRAGを提供している会社としての、僕の肌感覚も合わせて、お伝えできればと思います。 本題 ざっくりサマリー 結論として、RAGは、来年も変わらず流行し続けると予想します。 まず来年は、これまで以上に回答精度が向上するのは間違いないです。その理由は、LLMの価格低下トレンドと入力できるコンテキスト増大トレンドが、まだ続くためです。加えて、LLMが「視覚・音声」の入力手段を獲得したこと、ベクトルD
即席RAGを使用してLLMのコンテキストの限界を超える
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 今回は、リアルタイムRAGを使用して長大な文章から正しい解答を高速で取り出す手法MixPRについて解説します。 サマリー LLMの性能は向上を続けていますが、依然として長大なコンテキストには適切に対応できないケースが多いです。この問題に対応するためにRAGが提案されていますが、準備時間やQAタスク以外での性能に疑問が残ります。 この問題に対してMixPRはPageRankと質問をベースとした処理の最適化を組み合わせて、高速に重要なテキストを抜き出せるようになり、高速化と精度の向上に成功しています。 問題意識 高速に検証することの重要性 RAGは、関連ドキュメントさえアップロードしてしまえば、以降簡単にLL
LangChain の Agent Protocol の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Agent Protocol: Interoperability for LLM agents 1. Agent Protocol「LangGraph」はエージェントを構築する最良の方法ですが、他にも多くの方法があります。「LangGraph」を使用していない人の多くは独自の実装していますが、AutoGen、OpenAI の Assistant API、CrewAI、LlamaIndex などの他のフレームワークを使用している人もいます。 これは、多くのエージェントが異なるAPIを公開することを意味します。マルチエージェントの世界に移行すると、この統一性の欠如が問題を引き起こします。必要なのは通信だけですが、さまざまなAPIにより標準的な通信が困難になります。 これを変えるために、 エージェント通信の標準インターフェース「Agent Pr
GitHub Copilot Workspace：GitHub Copilotネイティブの開発環境へようこそ
GitHub Copilot Workspaceで開発環境を再定義します – どんな開発者でも自然言語でアイディアからコード、ソフトウェアまで作成できます。登録はこちら。 この2年間で、生成AIは開発環境の中に組み込まれたツールとして、開発者の状況を大きく変えました。2022年、私たちはエディタ内のオートコンプリートAIペアプログラマーとしてGitHub Copilotを発表し、開発者の生産性を最大55%向上させました。GitHub Copilotは現在、最も広く採用されているAI開発者ツールです。2023年、GitHub Copilot Chatをリリース、コーディング、デバッグ、テストにおける自然言語の力を引き出し、開発者がリアルタイムでコードと会話できるようになりました。 昨年GitHub Universeでその一端をお見せした後、本日GitHub Copilotネイティブの開発環境
Octomind社がLangChainをやめた理由｜Sangmin Ahn
こんにちはChoimirai Companyのサンミンです。 0 はじめにDifyがLangChainと決別し、独自の「Model Runtime」を採用したのが2024年の1月。 LangFlowやFlowiseなど複合AIシステムではLangChainに依存した設計が多い。DifyもLangChainベースの設計だったけど今年の1月に独自の「Model Runtime」を発表👏↓。当時は難しい判断だったと思う。が、変化のスピードとDifyが描いてる世界観を考えると正解だった。Difyを勧めるもう一つの理由、です。 https://t.co/AybwXRXkJ9 pic.twitter.com/n7d9aae76N — sangmin.eth | Dify Ambassador (@gijigae) April 24, 2024 LangChainの導入を慎重に考えるべきだとする声は
クラウドで動く生成AIアプリ、MicrosoftとGoogleが合計6種類もの開発ツール
大手プラットフォーマーが2024年5月から6月にかけて発表した生成AI（人工知能）に関する施策を比較しながら紹介する本特集。第3回は米Microsoft（マイクロソフト）と米Google（グーグル）が発表した、クラウドで稼働する生成AIに関する取り組みを紹介しよう。 本特集の第1回、第2回で取り上げたように、大手プラットフォーマーは生成AIの新しい選択肢として「オンデバイス」に力を入れ始めている。クラウドで推論を行うクラウドLLM（大規模言語モデル）ではなく、スマートフォンやパソコンなどのデバイス上で稼働するオンデバイスSLM（小規模言語モデル）を使う。 もっともオンデバイスSLMは、クラウドLLMを単純に置き換える存在にはならない。オンデバイスSLMはプロンプトを入力してから結果が表示されるまでのレイテンシー（遅延）が低い一方、モデルのパラメーター数が少ないため、性能ではクラウドLLMに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ガードレールによるLLMの安全性担保【開発者と読み解くAIの世界】
デザインパターンで理解するLLMエージェントの作り方 / How to develop an LLM agent using agentic design patterns
