近年のAI技術の進歩により、従来の検索エンジンを超える、より高度な検索体験を提供することが可能になりました。本記事では、その中核技術であるベクトル検索を、LanceDB と LlamaIndex を用いて実装する方法を、初心者の方でも理解できるように丁寧に解説します。 この記事で学べること ベクトル検索の基本 LanceDBとLlamaIndexの概要 LanceDBとLlamaIndexを用いたベクトル検索の実装 Pythonコードと詳細なコメントによる解説 参考資料 LanceDB公式ドキュメント LlamaIndex公式ドキュメント ベクトル検索とは? ベクトル検索は、テキストや画像などのデータを多次元ベクトルに変換し、そのベクトル間の類似度に基づいて検索を行う技術です。従来のキーワード検索では不可能だった、意味的な類似性に基づいた検索を可能にします。 例えば、「美味しいラーメン屋」
Home Quick start Concepts Guides Managing Embeddings Integrations Examples Studies API reference LanceDB Cloud LanceDB LanceDB is an open-source vector database for AI that's designed to store, manage, query and retrieve embeddings on large-scale multi-modal data. The core of LanceDB is written in Rust 🦀 and is built on top of Lance, an open-source columnar data format designed for performant ML
AI時代における競争と経営の基本原理、変化の本質とは何か。企業や産業のDXが専門分野の世界的有識者に聞いた。 「AI(人工知能)は企業のゲームチェンジャーだ」 こう語るのは、デジタルトランスフォーメーション(DX)を専門とするハーバード・ビジネス・スクール教授のマルコ・イアンシティだ。『AIファースト・カンパニー:アルゴリズムとネットワークが経済を支配する新時代の経営戦略』(共著カリム・R・ラカーニ、吉田素文・監訳、渡部典子・訳、英治出版)の著者であり、米コンサルティング会社「Keystone(キーストーン)」の共同創業者・取締役会長でもある。 数々の現場も見てきた彼が、AI変革を成功させるための原則などを語る。 ──AIは「企業の本質と経営方法」を変えるそうですね。「AI主導型企業」を目指すことが、なぜそれほど重要なのですか。 マルコ・イアンシティ(以下、イアンシティ): この5~10年
テクノロジー業界は依然としてチャンスに満ちた分野であり、米国労働統計局は、コンピューターおよび情報技術関連の職業に対して、平均を上回る成長を予測している。2033年までにはこの分野で年間35万6700人の新規雇用が見込まれるという。 こうしたテック人材への旺盛な需要は、企業間の競争を激化させ、給与の上昇と革新的な報酬戦略につながっている。 特にスタートアップ企業においては、株式報酬やストックオプションが給与パッケージに含まれることが多い。こうした報酬は、企業が成功した場合には非常に有利になり、従業員の報酬総額が大幅に増える可能性がある。 大規模な上場テック企業では、一般的に株式報酬が付与され、多くの場合、譲渡制限付株式ユニット(RSU)という形式をとる。これは、優秀な人材を引きつけ、維持すると同時に、従業員の利益と企業の業績を一致させる役割を果たす。テック業界、特に上級職の多くにとって、株
マイページに保存最終更新日:2024/09/23 本記事は、研究者が自ら著書の論文を解説する特別企画です。AIDBの通常記事とは異なり、本企画の記事は会員以外のすべてのユーザーも全文閲覧できます。皆様ぜひお楽しみください。また、本企画への応募は以前からXで募集しており、これが3記事目の公開となります。本企画は継続開催中です。研究者の方はこちらからご応募ください。 今回は、東京大学のIrene Li氏ら研究グループによる”KG-Rank: Enhancing Large Language Models for Medical QA with Knowledge Graphs and Ranking Techniques”の解説です。当メディアでも紹介している多くの研究でも言及されているように、LLMの出力は時として事実と異なる情報を含む場合があり、これは医療などの専門分野で特に深刻な問題とし
マイページに保存最終更新日:2024/09/23 本記事は、研究者が自ら著書の論文を解説する特別企画です。AIDBの通常記事とは異なり、本企画の記事は会員以外のすべてのユーザーも全文閲覧できます。皆様ぜひお楽しみください。また、本企画への応募は以前からXで募集しており、これが3記事目の公開となります。本企画は継続開催中です。研究者の方はこちらからご応募ください。 今回は、東京大学のIrene Li氏ら研究グループによる”KG-Rank: Enhancing Large Language Models for Medical QA with Knowledge Graphs and Ranking Techniques”の解説です。当メディアでも紹介している多くの研究でも言及されているように、LLMの出力は時として事実と異なる情報を含む場合があり、これは医療などの専門分野で特に深刻な問題とし
相続における土地の評価額と、実際に売買される価格は違います。 相続財産の大半を占める土地。これをどう評価するかで、相続税額は大きく変わります。不動産広告などを見て実勢価格を知り、相続税の心配をする人も多いはずです。 しかし土地には、実勢価格を含めて4つの評価額があるのです。 不動産の価格を決める4つの基準と 路線価方式による計算方法 倍率方式による計算方法 家屋の評価額を求める計算方法 不動産の価格を決める4つの基準 ①実勢価格(取引価格) 実際の市場で売買されている価格のこと。 ②地価公示価格(標準価格) 地価公示法に基づいて、毎年1月1日における全国の標準地を選定して国土交通省が「正常な価格」を判定し公示するものです。この地価公示によって公表された公示地価は、適正な土地取引価格の指標となっています。 ②路線価(相続税評価額) 「路線価」とは、ある地域の路線(道路など)に面した標準的な宅
※ この記事は「From Local to Global: A Graph RAG Approach to Query-Focused Summarization」の要約になります。 この記事を読んでわかること GraphRAGアプローチを提案し、LLMsとグラフ技術を組み合わせてコーパス全体からの質問回答を向上させる方法について解説 GraphRAGは、エンティティ知識グラフとコミュニティ要約を用いて、部分的な回答を統合し、グローバルな回答を生成 実験結果によると従来のRAG手法に比べて包括性と多様性の面で大幅に改善された この記事を読むと嬉しい人 データサイエンティストやリサーチャー:大規模なテキストデータセットから効率的に要約を生成し、グローバルな質問に回答する方法に興味がある人。 自然言語処理(NLP)エンジニア:LLMsとグラフ技術を組み合わせた新しいアプローチを学び、実践に応用
Editor’s note, Apr. 2, 2024 – Figure 1 was updated to clarify the origin of each source. Perhaps the greatest challenge – and opportunity – of LLMs is extending their powerful capabilities to solve problems beyond the data on which they have been trained, and to achieve comparable results with data the LLM has never seen. This opens new possibilities in data investigation, such as identifying them
👉 Microsoft Research Blog Post 👉 GraphRAG Accelerator 👉 GitHub Repository 👉 GraphRAG Arxiv Figure 1: An LLM-generated knowledge graph built using GPT-4 Turbo. GraphRAG is a structured, hierarchical approach to Retrieval Augmented Generation (RAG), as opposed to naive semantic-search approaches using plain text snippets. The GraphRAG process involves extracting a knowledge graph out of raw text
初めまして。経営企画本部AI推進室の鏡味、窪田、小林と申します。当社は本年度、AI推進室という新組織を発足させ、主に生成AIについての社内の利用促進、およびユーザーへ生成AIを活用したソリューションの提供を進めるべく、新技術の展開や検証を行っています。 今回は、最近話題となっている、Microsoftが発表したRAG(Retrieval Augmented Generation)技術であるGraphRAG ⧉について、元となる論文やブログ記事、GitHubのコードを元に内部の構造を解析し、さらに現時点でどの程度実用的かを考察していきます。 GraphRAGとは GraphRAGは、ナレッジグラフと生成AIの技術を組み合わせることで、従来のRAGでは対応が難しかった問い合わせに回答できるようになったRAGです。2024年2月にMicrosoftによって発表 ⧉され、その後、2024年7月にリ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く