SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
SQLiteを利用したハイブリッド検索対応の軽量RAGの実現 - Taste of Tech Topics
こんにちは、データ分析エンジニアの木介です。 RAG（検索拡張生成：Retrieval-Augmented Generation）では、よくベクトル検索を利用した構成が使われますが、 実務では、業界や企業独自の用語や、IDのような識別子によるドキュメントの特定が必要になることがあり、 このようなケースでは、ベクトル検索だけでは、十分な検索精度が得られない状況があります。 そのような課題を解決するためには、キーワード検索／全文検索を合わせたハイブリッド検索の利用が効果的です。 そこで今回は、SQLiteを利用したハイブリッド検索に対応した、軽量RAGの実現方法を紹介します。 alexgarcia.xyz aws.amazon.com 1. はじめに 2. SQLiteによるハイブリッド検索の実現 2.1 他のRAG検索エンジンとの比較 3. RAG構成の実装 3.1 テーブル構成 3.2 s
日本語の全文検索ぜんぶんけんさく (full-text search, FTS) を、高速に実行する Python コード例です。 Python の標準モジュール sqlite3 を使用しました。 sqlite3 から、SQLiteエスキューライト の全文検索 (FTSエフティーエス) を使ってみました。 試したのは、FTS4エフティーエスフォー と FTS5エフティーエスファイブ の２種類です。 ところで、SQLite の読み方は色々ありました。YouTube では、エスキューライト、エスキューエライト、スィクライト、スィクエライト、などの発音を聞きました。 全文検索の使い方（FTS の使い方）ですが、テキストを N-Gram にして、FTS4 か FTS5 の仮想テーブルに INSERT するだけでした。 （2022年2月5日 追記）MeCab の使い方も書きました。 MeCab で
codex-sqlite-log-off.md Disabling Codex SQLite Diagnostic Logging on Windows Last updated: July 28, 2026 Warning This is an unofficial workaround, not an OpenAI-supported configuration. It disables local diagnostic records used for feedback and troubleshooting. Re-enable logging before collecting data for a support request. Scope This note explains how to stop the Windows Codex Desktop app from wr
ソーシャルメディアやウェブアプリケーションでは、ユーザーがコンテンツに対して「いいね」や「いいね」ボタンを押す機能が一般的です。これはユーザーエンゲージメントを向上させ、コンテンツの評価や共有を促進するための重要な機能です。今回は、Pythonを使用してシンプルないいね機能を実装する方法について説明します。 いいね機能の基本的な仕組み いいね機能の基本的な仕組みは、ユーザーがコンテンツに対していいねを押すと、その情報がサーバーに送信され、データベースに反映されるというものです。具体的には、各コンテンツに一意なIDがあり、ユーザーがボタンを押すとそのIDとユーザーIDがデータベースに保存されます。 データベースの設計 まず、いいね情報を格納するためのデータベースを設計します。以下は、SQLiteを使用した簡単な例です。 import sqlite3 conn = sqlite3.connec
参考文献 ※1 EDINET API機能追加に係る利用者向け説明会資料 ※2 EDINET API仕様書 Version2 ①会社名の選択 まず会社一覧及び、会社のEDINETコードが必要になってきます。 これについてはAPIで取得する方法はなく公式サイトからZIPを落としてくるか ここからプログラム的に自動でダウンロードする必要があります。 今回は手動であらかじめダウンロードしたものを使います。 公式サイトからダウンロードすると毎回リンクが変わる、上記の直接リンクだと固定という謎仕様のようです（ドキュメントにもそうかいてある） ZIPを展開するとShift-JISのCSVが手に入ります。文字コードに注意しましょう。EDINETからダウンロードするCSVはUTF16なのにこっちはShiftJISなのです。 中身は上記のようなもになっています。 末尾に0がついているものの証券コードも入ってい
RAGを自分の手で作って理解する(1)ベクトル検索の仕組みをvibe-localとSQLiteの300行で体験する #VibeLocal｜白井暁彦 aka しらいはかせ
RAGを自分の手で作って理解する(1)ベクトル検索の仕組みをvibe-localとSQLiteの300行で体験する #VibeLocal 「RAGとは何なのか」これを3万文字ぐらいのブログで解説してみたのだけど、あまりに長すぎるので分割します。 はじめに「RAG」という言葉をよく聞くようになった。Retrieval-Augmented Generation、検索拡張生成。LLM に外部知識を与えて回答精度を上げる技術だ。 しかし、多くの人にとって RAG は 「わかったつもり」 の技術ではないだろうか。「ベクトル検索で関連文書を取得してプロンプトに注入する」── 説明はできる。でも、ベクトルの中身を見たことがあるか？ SQLite を開いて embedding の BLOB を覗いたことは？ コサイン類似度を自分の手で計算したことは？ 商用サービス（Pinecone、Weaviate、Op
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
【Python】SQLite で日本語を全文検索するコード例【N-Gram, FTS4/FTS5】
Disable Codex SQLite diagnostic logging on Windows
Pythonでいいね機能を実装する方法 - ITエンジニアが仕事に対して思うこと
StreamlitでEDINETから有価証券報告書をダウンロードして分析するWEBアプリをサクっとつくろう