生成AIのRAG構成を大手3社（AWS、Azure、Google Cloud）で徹底比較してみた - G-gen Tech Blog
G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure
RAG (Retrieval-Augmented Generation)とは ● 外部データをRetrieval（検索）して ● プロンプトをAugument（拡張）し ● クエリに対する回答をGeneration（生成） ○ クエリ := ユーザからの問合せ ・・・する技術 ※本講義では「インプット＝クエリ＋プロンプト」と定義 4 RAG (Retrieval-Augmented Generation)とは 登場人物＿＿＿＿＿＿＿＿＿＿＿＿＿＿ ビジネスでの応用先はLLMが大多数＿ ❶検索アルゴリズム ● ・ベクトル検索、全文検索、及びその組合せ （Hybrid検索）がよく使用される ・…が、それに限るものではない ● ビジネスでは”言語”の基盤モデル （LLM）への応用が多い ○ 本講義も LLMに注力 一方、言語以外のモーダル （画像・音声等）も研究開発中 ❷拡張処理アルゴリズム ・
最近、SQL アンチパターンという本を読んでいたら、MySQL、 PostgreSQL、SQLite などのデータベースでも拡張機能を利用することで全文検索を実装できることを知りました。[1] SQLite で構築されている Cloudflare D1 についても調べてみたところ、制限はあるものの全文検索の拡張機能が使えるということがわかりました。 Export is not supported for virtual tables, including databases with virtual tables. D1 supports virtual tables for full-text search using SQLite’s FTS5 module. 今回は個人ブログの全文検索 API を D1 を利用して実装してみたので、その方法について書きたいと思います。 作成した AP
はじめに 今回のDeveloper Siteリデザインの目的は英語のコーポレートサイト（https://nulab.com/ ）とのUIを合わせることでした。旧Developer Siteのヘッダーやフッターなどの共通パーツは古いデザインのままだったため刷新する必要がありました。 旧Developer Siteのトップページ Developer Siteのトップページ 使用した技術 今回使用した技術は、静的サイトジェネレータであるAstroとユーティリティファーストのCSSフレームワークであるTailwind CSSです。 旧サイトはHugoとSCSSを用いて構成されており、今回はコンテンツはそのままで見た目のみを変更する制作だったため仕様の変更は不要でした。しかし、パフォーマンスの向上を目指し、かつ新しい技術に挑戦するためAstroとTailwind CSSを採用することにしました。 A
RAG (Retrieval-Augmented Generation)とは ● 外部データをRetrieval（検索）して ● プロンプトをAugument（拡張）し ● クエリに対する回答をGeneration（生成） ○ クエリ := ユーザからの問合せ ・・・する技術 ※本講義では「インプット＝クエリ＋プロンプト」と定義 4 RAG (Retrieval-Augmented Generation)とは 登場人物＿＿＿＿＿＿＿＿＿＿＿＿＿＿ ビジネスでの応用先はLLMが大多数＿ ❶検索アルゴリズム ● ・ベクトル検索、全文検索、及びその組合せ （Hybrid検索）がよく使用される ・…が、それに限るものではない ● ビジネスでは”言語”の基盤モデル （LLM）への応用が多い ○ 本講義も LLMに注力 一方、言語以外のモーダル （画像・音声等）も研究開発中 ❷拡張処理アルゴリズム ・
超大規模分散RDBのGoogle Cloud Spannerにグラフ処理、ベクトル検索、全文検索など新機能。実質的に無制限のスケールで処理
Google Cloudは、大規模分散データベース「Cloud Spanner」の新機能としてグラフ処理、ベクトル検索、全文検索をプレビュー版として追加したと発表しました。 Cloud Spannerは超大規模分散RDB Cloud Spannerは地球規模で大規模分散処理を行うスケーラブルで高速なリレーショナルデータベースであり、マネージドサービスとして提供されています。 強い一貫性とトランザクション処理を備え、99.999％という高可用性、秒間10億以上の強力なリクエスト処理能力を実現し、クエリ言語としてANSI SQLをベースにした方言が利用可能です。 2022年には、PostgreSQL互換インターフェイスの提供も開始しました。 参考：Google Cloud SpannerのPostgreSQL互換インターフェイス、正式版に Cloud Spannerはマルチモデルデータベースへ
AWSがCloud9、CodeCommit、他いくつかのサービスで、新規利用受付を終了したと、チーフエヴァンジェリストのJeff BarrがX（旧Twitter）に投稿しました。これらのサービスをすでに利用開始しているAWSアカウントでは現時点で引き続き利用できますが、未利用のAWSアカウントでは新規利用開始ができないようです。 終了されるサービスの代替情報などを（私見ですが）まとめます。 終了すると言及されたサービスは？ 以下です（Jeff Barrの投稿での記載順）。 S3 Select CloudSearch Cloud9 SimpleDB Forecast Data Pipeline CodeCommit いくつかはすでに類似サービスがあり、そちらが主流になっていて、影響が小さいかと思います。ですがCloud9とCodeCommitはいまでも利用者が多く、後継サービスがAWSになく
「Gemini in BigQuery」「Spanner Graph」など、Google Cloudが多数の新機能を発表（アスキー） - Yahoo!ニュース
Google Cloudは2024年8月2日、データベースやデータレイクハウス、アナリティクス、AI/ML、BIといった同社“Data Cloud”領域のサービスについて、多数の新発表を行った。 【もっと写真を見る】 Google Cloudは2024年8月2日、データベースやデータレイクハウス、アナリティクス、AI/ML、BIといった同社“Data Cloud”領域のサービスについて、多数の新発表を行った。 メディア向けの説明会では、AIおよびデータ分析関連の新発表をプラットフォーム＆テクニカル インフラストラクチャ VP兼GMのブラッド・カルダー氏が、データベース関連の新発表をデータベース VP兼GMのアンディ・ガットマンズ氏が、それぞれ紹介した。 本記事では「生成AI」「モダナイズ」「開発者」という3分類で、主な新発表をまとめる。なお、今回の新発表には一般提供開始（GA）となったもの
Contents 顧客体験の改善 ● チャットボット / バーチャル アシスタント KDDI株式会社 株式会社スリーシェイク ● エージェント アシスト / 会話分析 The Wendy's Company 日本情報通信株式会社 ● パーソナライゼーション Estée Lauder Companies Inc. Spotify 従業員の生産性向上 ● 対話型情報収集 イオンフィナンシャルサービス株式会社 エイチ・ツー・オー リテイリング株式会社 クラウドエース株式会社 シスメックス株式会社 ソフトバンク株式会社 株式会社WFS 東洋建設株式会社 日本テレビ放送網株式会社 中外製薬株式会社 日本特殊陶業株式会社 Ubie株式会社 株式会社LIXIL ● コード生成 住友ゴム工業株式会社 ● 自動レポーティング 株式会社QTnet 株式会社ソニックス 3 ● 検索 TieUps株式会社 For
はじめに こんにちは、エンジニアの長谷です。 最近社内でPostgreSQL拡張をRustで実装しているのですが、世の中でもRust製のPostgreSQL拡張がいろいろと開発されているようです。 今日はその中の1つParadeDBをご紹介します。 ParadeDBとは ParadeDBとはElasticsearchのような機能を持つPostgreSQL拡張で、Rustで実装されています。 似たような拡張としてはZomboDBがありますが、こちらはあくまでElasticsearchの導入が前提でPostgreSQLとElasticsearchを連携するような機能であるのに対し、ParadeDBはPostgreSQLのみで完結できるという特徴があります。 機能としては主にSearch（pg_search）とAnalytics（pg_lakehouse）を提供しており、さらにSearchに関し
Cloud SpannerでグラフDB機能「Spanner Graph」、ベクトル／全文検索を合わせて発表、日本で完結する構成も可能に
Google Cloudは2024年7月31日（米国時間）、日本における年次カンファレンス「Google Cloud Next Tokyo 2024」の開催に合わせ、データ関連の発表をグローバルで行った。 今回、特にスポットライトが当てられたのは、ゲーム、オンラインストア、金融などさまざまなサービスに使われている分散データベースの「Google Cloud Spanner」（以下、Cloud Spanner）。グラフ、ベクトル、全文検索対応などを一挙に発表した。マルチモデルで多様な用途に使えるデータベースに進化させたという。 「ユーザー企業は、Cloud Spannerのスケーラビリティと高可用性を従来通り生かしながら、インテリジェントなAIアプリケーションをサービスに組み込む必要がある」（Google Cloudデータベース担当ゼネラルマネジャー兼バイス プレジデント、アンディ・ガットマ
pixivコミックストアの作品検索機能をMySQLの全文検索からElasticsearchに移行しました - pixiv inside
こんにちは！ピクシブでバックエンドエンジニアとして働いているこのぴーです。 今回はpixivコミックストアの作品検索機能をMySQLの全文検索からElasticsearchに移行したときの手順と移行後の効果についてお話していこうと思います。 背景 pixivコミックストアのバックエンドはRuby on Railsで作成していて、今回Elasticsearchへ移行する作品検索機能はMySQLの全文検索を使用して実装されていました。 作品数が少なかった実装当時は問題なく動いていたのですが、取り扱う作品数が数十万作品となった現在、スロークエリの大部分を検索クエリが占めるほど性能が劣化してしまう事態となっていました。 さらに、インクリメンタルサーチによりクエリが大量に発行されたことが引き金となる障害が発生したため今回Elasticsearchへと移行することとなりました。 Elasticsear
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実務におけるRAG 〜学びと現場のノウハウ〜 | ドクセル
Cloudflare D1 を使った日本語の全文検索を実装する
AstroとTailwind CSSを使ってDeveloper Siteをリデザインした話 | 株式会社ヌーラボ(Nulab inc.)
実務におけるRAG 〜学びと現場のノウハウ〜 | ドクセル
AWSが2024年7月25日に新規利用終了したサービスと代替 - Qiita
[PDF] Google Cloud 生成AI 活用事例集
PostgreSQLだけでElasticsearchのようなキーワード検索！ParadeDB触ってみた