「現場で実践！RAG活用術 Lunch LT ― 運用して分かった"つらみ"とその対策」で登壇してきました＆質問の回答 #RAG_Findy - スタディサプリ Product Team Blog
こんにちは。@chaspyです。 先日こちらのイベントで登壇してきました。 findy.connpass.com 発表資料はこちらです。 概要については以下の @aoi1 さんの以下のブログも参照ください。 blog.studysapuri.jp 内容は資料を見ていただきたいですが、ポイントとしては以下になります。 基本的には検索システムと捉えている AI Search がクエリの生成と検索結果から回答生成を行っている そのため、E2E で評価しないと実際のアプリと同様の回答が得られない 若干高コストにはなるが、E2E で簡易的はリグレッションテストを行っている とにかく素早くフィードバックサイクルを回すことが重要（ソフトウェア開発と同じ） ユーザに使ってもらい、評価する、自分でテストを回して、修正する、を繰り返す 評価手法にこだわるよりは改善を繰り返す方が大事 また、アーキテクチャの補足
オープンソースのRAG UI「kotaemon」を試す
2024/09/03追記 ちょっとX経由で見に来ていただいた方が増えているようなのであらかじめ注意。 kotaemonで普通のRAGをやる場合は、OpenAI/Ollamaどちらの場合でも多分問題なくできるんじゃないかと思います。 kotaemonでGraphRAGをやる場合（多分ここに期待している人が多いと推測）は、以下の注意が必要です。 OpenAIならGraphRAGが動作しますが、モデルがgpt-4-turbo限定になると思います、つまりコストが高いです OllamaでGraphRAGは現状の実装だとちょっと難しそうです 公式にIssue上げてます（どっちかというとGraphRAG側の問題かなと思います）ので、kotaemonのGraphRAG対応については今後のリリースに期待するほうが良いかなと個人的には思います。 ここで知った。 GitHubレポジトリ kotaemon ドキュ
データベースの値をちょっとだけ書き換えたら検索に数十分かかる様になって障害になった裏話 - STORES Product Blog
はじめに 2024年1月にリテール(ネットショップ・レジ)部門からサービス(予約)部門に異動になった @ucks です。 異動してからはスマートリストという機能の開発を行っていて、5月6日に無事リリースできたのと、開発途中で障害に至ってしまった部分があるので、裏側を少し紹介しようかなと思います。 はじめに スマートリストとは スマートリストの設計 検索の仕様変更 高負荷時のハンドリング そして障害へ 見逃した点 DBの実行計画確認時の見逃し 動作確認時の漏れ 監視先の漏れ ログの損失 おわりに スマートリストとは スマートリストの開発についての話を行う前に、まずはスマートリストについて簡単に説明しておきます。 スマートリストとは、特定の条件の顧客をラベリングする機能です。 早い話、最終予約日がいつ、予約回数が何回以上等の顧客の検索条件を保存しておいて、閲覧時にラベリングして、視認しやすくし
社内文書検索&QAシステムの RAG ではないところ - Algomatic Tech Blog
こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。 構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。 実際こんな記事も話題になりましたね。 本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。 誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。 また Retrieval-based LM の技術的な話は、以下で触れておりますので併せてご覧ください。 RAG とは RAG (Retrieval-Augmented Generation) とは、社内文書・長期記憶に該当する対話履歴・API 仕様書などの 外部知識資源 を、言語モデルが扱えるよう入力系列に挿入する手法です。もともと Lewis+'
なぜ、最悪の業績なのに年商の20％にもあたる1億円の売上を手放してまで楽天市場から退店するのか｜鷲尾 岳 / ワシオ株式会社 3代目社長
【はじめに】・自己紹介こんにちは。 今年の1月にワシオ株式会社（以下ワシオ）の代表取締役社長に就任しました、三代目の鷲尾 岳（ワシオ タカシ）と申します。 鷲尾家の次男坊として1991年2月10日に生まれ、小学校5年生までは地元の公立、小６から私立の学校に転校し、中３までは福井県、高校は和歌山県にある姉妹校にて寮生活をしていました。 ここで詳しくは書きませんが、その学校の特徴として、「義務教育は最低限」「校則は生徒が主になって話し合って決める」「1年を通して大半のコマを占める”プロジェクト”という授業で目標を決め、達成に向けて何をするか生徒が決める」「やりたいことは大概やらせてもらえる」などなど、おそらくかなり一般的な学校からかけ離れた環境で多感な時期を過ごしました。 高校を卒業した後、大学で中国語を学んだので、卒業してからは父の伝手を頼って入社後すぐに中国で駐在させてくれる会社さんにご縁
検索ボリュームではなく、「検索ジャーニー」でコンテンツを考える方法 - ブログ - 株式会社JADE
こんにちは！JADEの垣本です。 最近一気読みしたマンガは『ダンジョン飯』、今いちばん続きが気になるマンガは『忍者と極道』です。 前回の記事「私がSEOのコンテンツプランニングで大切にしていること」では、「コンテンツを作るときに考えるべきことは？」という話を書きました。今回は、その手前の段階である「そもそもどんなコンテンツが必要？」という点を掘り下げたいと思います。 特に「検索クエリってどうやって洗い出すの？」「検索クエリをピックアップしてみたけど、優先順位の付け方が分からない……」という悩みをお持ちの方へ。私なりの回答をご提案します。 ※前回の記事に引き続き、当記事におけるコンテンツは、自然検索流入を増やすことをKPIとしたものを念頭に置いています。 よくある質問「月5本の記事を作りたいのですが、何から着手すべきですか？」 よくある質問への答え「検索ジャーニーから考えましょう」 実践：し
RAGの性能を高める「Self-RAG」を3分で理解する
本記事では、よく聞く「Self-RAG」についてざっくり理解します。軽めの記事です。 はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、RAGの新手法として昨年発表された「Self-RAG」の論文[1]について、日本語で簡単にまとめたものです。 この論文は「CRAG」[2]など、最近出ている別のRAGアーキテクチャにも影響を与えているので、理解する価値がありそうです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー RAGの性能を高めるための新しい手法です。ワシントン大学などの研究者によって2023年10月に提案されました。Self-RAGという手法を使うメリットは、回答品質を上げられること、ハルシネーション（幻覚）を減らせるこ
Hexoで構築したサイトに検索機能を実装したい
Hexoで構築したサイトに検索機能を実装したいThu, 15 Nov 2018 10:10:04 GMTHexo サイト 静的サイトジェネレーター という要望は普通にあると思ってまして、ツイッタとかでたまにhexoで検索すると、どうやって実装しようとしているのか迷っている人とかがいるので、自分の知ってる範囲でいくつか方法を紹介します。また、下記の方法の一部はHexo以外の静的サイトジェネレータでも可能です。 Googleカスタム検索 一番手っ取り早いです。ただし、控えめに言って見た目がダサいので、見た目にこだわる人には向かないです。 Algoliaを使う Algoliaという全文検索サービスがあります。これを利用することで静的サイトジェネレータで生成したサイトでも検索機能を付与することが可能です。以前書いたのですがVue.jsのサイトも今のところHexoで構築させており、検索はAlgoli
AWSの生成AIで社内文書検索！ Bedrockのナレッジベースで簡単にRAGアプリを作ってみよう - Qiita
生成AI、流行ってますね！ 今みんながやってる「社内文書検索」アプリ、いわゆるRAGアーキテクチャをAWSで簡単に作ってみましょう。1時間程度でサクッと試せるハンズオンです。 そもそもBedrockって何だっけ？ こちらの資料で紹介していますので、お時間ある方はご覧ください！ 0. 事前説明 このハンズオンで実施することは以下です。 今回作成するアプリケーションの構成イメージ 1. 環境準備 以下の部分を作成していきます。 1-1. AWSアカウント作成 以下の手順でAWSアカウントを新規作成してください。 クレジットカード情報が必要です。ログイン用のEメールアドレスとパスワードをお忘れなく！ ※アカウント作成を複数名で同時に実施する場合、同じネットワークを利用すると不正検知に引っかかり、SMS認証から先にうまく進めない可能性があります。20名を超える場合は、会場Wi-Fiとテザリングを使
RAGの性能を改善するための8つの戦略 | Fintan
近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ
家の中にあるいろいろなモノを記録し在庫・位置・保証期限などを管理・検索しやすくしてくれる「Homebox」レビュー
家の中に色んな製品があってそのすべてを記録したい、というときに使えるサービスが「Homebox」です。GIGAZINE編集部にはスマートフォンやカメラなど多種多様な製品が100種類以上あり、その製品名やシリアル番号、保管場所、さらには保証期限など製品に関するあらゆる情報を記録しているのですが、それぞれの情報を一目見ただけで把握でき、検索などをスムーズに行えるようなしっくりくる記録方法を見つけられていませんでした。そんなときに発見したのが無料で使えてシリアル番号や保管場所などを製品ごとに記録できるHomebox。このサービスを使って色んな製品を記録・管理してみました。 GitHub - hay-kot/homebox: Homebox is the inventory and organization system built for the Home User https://github
RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
戦国武将クイズに答えるRAGを構築して評価を自動化したら爆速でした | IIJ Engineers Blog
九州支社で技術リサーチやビジネス開発などの業務を行っています。将棋が好きで、棋力はウォーズ二段ぐらいです。 こんにちは。暖冬と言われていたのに毎日寒いのは年齢のせいでしょうか。しゅっちんです。久しぶりのエンジニアブログへの投稿となります。今回は、話題の生成AIに関連してRAGの検証を行いたいと思います。 RAGについて 昨年は生成AI元年と言ってよい年でしたが、その生成AIに関連する注目技術の一つがRAGです。RAGとは Retrieval Augmented Generationの略で、日本語で検索拡張生成となります。訳すと余計に意味が分からなくなりますが、要はGPTなどの会話応答AIに関連情報を渡して、その情報を元に質問に回答させる仕組みです。 GPTなどの言語モデルは学習した情報が古かったり、専門知識が不足していたりしますが、RAGによって新しい知識や情報を得ることができ、専門的な質
法律のデータ構造と検索
デジタル庁は、法令標準 XML スキーマに準拠した、現行の法令データをe-Gov法令検索というサイト上で公開しています[1]。今回、この法令XMLをパースするPythonライブラリ ja-law-parser をつくり、法令データの全文検索をしてみました。 この記事では、日本の法令とそのデータ構造、法令XMLパーサについて解説し、最後に、それらを使った法令データの全文検索システムを実装する方法をご紹介します。法令検索の実装についても、GitHubリポジトリで公開しています。 この記事は、情報検索・検索技術 Advent Calendar 2023の16日目の記事です。 法律と法令 法律とは 法律の制定と公布 法律と法令の違い 法律の改正 法令のデータ構造 e-Govの法令データ 法令標準XMLスキーマ 法令番号と法令ID 題名 本則と附則 条・項・号 編・章・節・款・目 法令XMLパーサ：
静的サイトに特化した検索ライブラリ Pagefind を試す | grip on minds
Pagefind は静的サイトであれば（HTML ファイルさえあれば）、基本的にどのようなサイトであっても以下の 2 ステップで導入できます。 Pagefind をインストールし、検索用ファイルを生成する Pagefind の UI を読み込み、インスタンスを作成する まず、検索用のインデックスファイルを生成します。本サイトのフレームワークは Astro を使用しているので、Astro のビルドと連携させるために npm パッケージをインストールします。 Pagefind の npm パッケージをインストールするコマンド npm install pagefind 次に、Astro のビルド後に Pagefind CLI を実行するように、npm-scripts を記述します。 package.json に記述する npm-scripts の例 { "scripts": { "build":
GPTが単純に回答するだけでなく、動的に振る舞えるようになる Groundingを使ったプロンプティング「ReAct」の流れ
ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。次に、ReActについてと、ReActにおけるプロンプトの流れについて話します。前回はこちらから。 外部情報を取得して文脈として与える考え方「Grounding」 蒲生弘郷氏（以下、蒲生）：時間的にはあと5分しかないんですが、すみません、延びるのを前提でやらせてもらいます。 外部情報を取得して文脈として与える考え方に「Grounding」というものがあります。いきなり出てきて何なのかという話になってくるんですが、いわゆるBing Chatに近いものです。 Bingは基本的
notionと本気で向き合ってみた - Qiita
はじめに 最近ドキュメントを Notion で管理する人たちも多い今日この頃 弊社でもドキュメント管理はNotionを使っているところが多いのですが、 意外と何も考えず使ってるーみたいな感じでした。 今回、管理しているNotionのドキュメントを整理する機会があって 「どうせ整理するなら、本気で向き合ってみよう！」 ということでNotionについて色々試行錯誤したのでそれのアウトプット。 その1: いろんな人のnotionをたくさん調べる まずは他のNotionユーザーさんがどんな使い方をしているのか調べてみました。 そして意外とそういう記事？あんまりなく記事探しから悪戦苦闘..... そこである記事に「日本国外のユーザーの使い方がめっちゃオシャレ！Pinterestで画像検索すると良いよ！」というのを見つけて早速検索。 私は「https://www.pinterest.jp/search
GPT-3.5-turboの新機能を使ってCVPRの論文を良い感じに検索・推薦・要約するシステム
はじめに 5月からTuringに中途入社した棚橋です。リクルートで広告配信システムの開発や量子アニーリングに関する研究開発に関わっていました。現在、Turingのリサーチチームで完全自動運転システムの研究開発に取り組んでいます。 3行でまとめ 今月開催されるCVPR2023では約2400本もの論文が発表されるため、見るべき論文を事前に検索しておきたい。 社内で行われた大規模言語モデル（LLM）ハッカソンをきっかけに、LLMのEmbeddingを用いて論文の「検索・推薦・要約」システムを作成し公開した。 検索クエリに文章を使った曖昧な検索が行えたり、類似論文の推薦ができる。6/13にアップデートされたGPT3.5の新機能であるファンクション機能を使うことで、複数観点に分けて研究内容の要約を出力させた。 ↓ 今回作成した、LLMを使ったCVPR論文検索システム 事の発端 Turingは、ハンド
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Reader API
GitHub - getshifter/wp-serverless-search: A static search plugin for WordPress.