AIを使ってコーディングをしていると、こんな風に感じたことはありませんか? 「大きなファイルを読み込ませるたびに、大量のトークンが消費されてしまう…💸」 「1つのバグを直してもらったら、別の3つのバグが生まれてしまった…😭」 「AIがコードの全体像を理解してくれなくて、何度も同じ説明を繰り返している…🌀」 これらの悩みは、AIがコードを「テキストの羅列」としてしか見られていないことに起因します。しかし、もしAIが人間のようにコードの「意味」や「構造」を理解してくれたら…? 今回は、そんな夢のような未来を実現するツール「Serena」について、その魅力と使い方を、AI技術に触れたことのある皆さまに向けて、じっくりと解説していきます! そもそも「Serena」って何者? なぜ必要なの?Serenaは、一言でいうと「AI(特にClaude)に、あなたのプロジェクトコードを深く理解させるため
本記事では、社内に散らばる非構造的なコミュニケーションデータ(暗黙知)を、AIを使って整理 し、RAGで活用しやすくする手法について、ざっくり理解します。 株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。 この記事は何 この記事は、メール文面・チャットログのような「非構造データ」を、RAGに使える知識ベース(構造化データ)に自動で変換するマルチエージェントシステムの論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 本題 ざっくりサマリー 今回の手法は、社内のサポートチケットやチャットログのような、整理されていない「暗黙知」 を、AIエージェントを使って RAGで使える「形式知」 に自動で
Toggle dark mode DuckDB を用いて日々のストック記事をハイブリッド検索する Apr 30, 2025 今回は、DuckDB を使って、日々ストックしている Web 記事などのハイブリッド検索(全文検索とベクトル類似度検索の組み合わせ)を実現する試みについてまとめます。 モチベーション 自分は普段、情報収集や後で読みたい記事の保存に Readwise Reader というサービスを利用しています。RSS フィードの購読や記事のアーカイブができ、非常に便利なツールです [1] 。 この Readwise Reader にも検索機能(全文検索)はあるのですが、どこか微妙さを感じていました。 特に日本語の記事を探す際に意図した記事が見つからないことが多々あり、不満ポイントでした (海外サービスあるある)。 そんな矢先、時雨堂さんの「DuckDB でハイブリッド検索」の記事を拝
VS Code の GitHub Copilot が MCP クライアントとして動作する仕組みが追加されたので、Copilot から気軽に自社製品の質問ができたら、快適ではないだろうか?考えた。 そこで、ハルシネーションをできるだけ少なくし、かつ安価で自社製品ドキュメントへの質問ができる仕組みを作ってみることにした。ちなみに LLM 系の知識はほぼ無い。 できあがった Sora Document MCP (Local) 0:00 /0:57 1× GitHub Copilot + Sora Document MCP デモ まぁまぁの速度で、質の高い回答を箇条書きで返してくれるようにはなった。 仕組みについて自社製品のドキュメントは Sphinx というフレームワークをを利用しており、reStucturedText (以降 rst) というマニアックなもので書かれている。この rst を L
この記事は間違いが含まれている可能性があります。 もともと自社のドキュメントでは Meilisearch で日本語全文検索を実現していましたが、ドキュメントに質問できるようしたいと思い、簡単な RAG を作りたい!と思っていました。 とりあえず、ドキュメントを分割し、ベクトル化してベクトルデータベースに突っ込んで、質問をベクトル化して結果を引っ張り、それを LLM に食べさせて解説させる、というのができればよいということがわかりました。 ベクトル化はよく使われている OpenAI Embeddings API を利用し、ベクトルデータベースは普段からよく使っている DuckDB に VSS (Vector Similarity Search for DuckDB) という拡張を使うことにしました。 自社のドキュメントをなんとかうまいこと分割して、あとは分割したドキュメントを API を叩い
はじめに 最近話題のMCP(Model Context Protocol)記事です。MCPに関しては、同僚の李さんが素晴らしい記事を書いてくださいましたので、MCP自体の概要に関しては以下記事参照ください(お約束)。 今回は、LLMの代表的なユースケースとも言えるRAG(Retrieval-Augmented Generation)です。RAGはドキュメントから関連情報を検索し、AIの回答生成に活用する技術で、専門知識や最新情報を必要とするタスクに使われます。以前にTanuki-8BとOllamaとDifyを使って日本語ローカルRAG構築という記事でローカルRAGの構築について説明したので詳しくはそちらを参照してください。簡単なRAGの構成図としては以下となります(記事より引用)。 今回は、このRAGをMCPを使って実現します。つくるMCPサーバの中身としてはPostgreSQLでベクトル
Implementing semantic cache to improve a RAG system with FAISS. Authored by:Pere Martra In this notebook, we will explore a typical RAG solution where we will utilize an open-source model and the vector database Chroma DB. However, we will integrate a semantic cache system that will store various user queries and decide whether to generate the prompt enriched with information from the vector datab
While Retrieval-Augmented Generation (RAG) dominated 2023, agentic workflows are driving massive progress in 2024. The usage of AI agents opens up new possibilities for building more powerful, robust, and versatile Large Language Model(LLM)-powered applications. One possibility is enhancing RAG pipelines with AI agents in agentic RAG pipelines. This article introduces you to the concept of agentic
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? RAGの精度向上に有効な施策としてGraphRAGという手法があります。 インプットされた文章をノードとエッジと呼ばれる要素に分解し、ノード間の関係性をグラフデータとして表現する手法になります。 例えば文章中に出てくる人物をノードとし、人物間の関係性をエッジで表現する、といったイメージです。 ベクトル検索を使ったRAGの場合「ドキュメント内の離れた箇所に登場するけれども、関係性の強い情報」といったものを扱う際に課題がありました。 GraphRAGの活用により、そういった情報を関連のある情報として拾えるようになり、生成AIによる文脈理解の
Extraction and interpretation of intricate information from unstructured text data arising in financial applications, such as earnings call transcripts, present substantial challenges to large language models (LLMs) even using the current best practices to use Retrieval Augmented Generation (RAG) (referred to as VectorRAG techniques which utilize vector databases for information retrieval) due to
株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「HybridRAG」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGシステムを専門用語に強くするための手法「HybridRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー HybridRAGは、通常のRAG(Retrieval Augmented Generation)で用いられる「ベクトル検索」の弱みを補い、回答精度を向上するための手法です。BlackRockとNVIDIAの研究者らによって2024年8月に提案されました。 ベクトル検索の弱みはいくつかあります
株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「MoGG」という手法について、ざっくり理解します。 この記事は何 この記事は、社内用語が多く含まれるドキュメントでもRAGの性能を高くするための手法「MoGG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー MoGG(Mix-of-Granularity-Graph)は、RAGの精度を上げるための、新しいチャンク分割の手法です。MoGGでは、チャンクとグラフ構造を上手く組み合わせることで、専門用語・社内用語が多いドキュメントでも回答精度を向上させることができます。上海人工知能研究所と北京航空
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く