はてなブックマーク

DuckDB を利用してベクトル検索と日本語全文検索の両方を同時に利用できます。さらにこれらの結果をマージして Reranking を行うことでハイブリッド検索をサクサクっと実現する事が​できます。 Rerankerどうやらベクトル検索した結果と日本語全文検索した結果をマージして、クエリーとマージ結果を再度ランキング付けする仕組みのようです。 ここでは参考にした記事を共有する程度にしておきます。 日本語最高性能のRerankerをリリース / そもそも Reranker とは? - A Day in the Lifeリランキング モデルによる RAG の日本語検索精度の向上 - NVIDIA 技術ブログ今回は Reranker に hotchpotch/japanese-reranker-cross-encoder-large-v1 を利用しました。 以下は参考コードです。 [projec

DuckDB-VSS と PLaMo-Embedding-1B を利用することで、ベクトル検索を実現できますが、DuckDB-FTS (Full-Text Search) と形態素解析ライブラリである Lindera を組み合わせて日本語全文検索を実現できます。 DuckDB-FTS + LinderaDuckDB の全文検索拡張は日本語には対応していないないのですが、スペース区切りでトークン化することで、日本語の全文検索を利用する事が出来ます。トークン化には Meilisearch にも利用されている信頼と安心の Lindera を利用することにしました。 今回この参考コードを Lindera の作者であり検索の専門家でもある Minoru OSUKA 氏にレビューいただきました。本当にありがとうございます。 以下は参考コードです。 [project] name = "duckdb-ft

この記事は間違いが含まれている可能性があります。 もともと自社のドキュメントでは Meilisearch で日本語全文検索を実現していましたが、ドキュメントに質問できるようしたいと思い、簡単な RAG を作りたい！と思っていました。 とりあえず、ドキュメントを分割し、ベクトル化してベクトルデータベースに突っ込んで、質問をベクトル化して結果を引っ張り、それを LLM に食べさせて解説させる、というのができればよいということがわかりました。 ベクトル化はよく使われている OpenAI Embeddings API を利用し、ベクトルデータベースは普段からよく使っている DuckDB に VSS (Vector Similarity Search for DuckDB) という拡張を使うことにしました。 自社のドキュメントをなんとかうまいこと分割して、あとは分割したドキュメントを API を叩い

VS Code の GitHub Copilot が MCP クライアントとして動作する仕組みが追加されたので、Copilot から気軽に自社製品の質問ができたら、快適ではないだろうか？考えた。 そこで、ハルシネーションをできるだけ少なくし、かつ安価で自社製品ドキュメントへの質問ができる仕組みを作ってみることにした。ちなみに LLM 系の知識はほぼ無い。 できあがった Sora Document MCP (Local) 0:00 /0:57 1× GitHub Copilot + Sora Document MCP デモ まぁまぁの速度で、質の高い回答を箇条書きで返してくれるようにはなった。 仕組みについて自社製品のドキュメントは Sphinx というフレームワークをを利用しており、reStucturedText (以降 rst) というマニアックなもので書かれている。この rst を L

なぜ自分が MCP を追いかけているのかを雑にだらだらと書いて行こうと思います。 乱文です。 オープンなプロトコル追いかけている理由は Model Context Protocol がオープンなプロトコルにしたことです。これが ChatGPT Plugins とかのクローズドなプロトコルであれば全く追いかけていなかったと思います。 MCP は Anthoropic 以外でも MCP クライアントを実装しさえしていれば、多くの MCP サーバーと接続する事が出来ます。実際 MCP を公開した Anthropic が提供している Claude Desktop や Claude Code だけでなく Cline や Cursor などが MCP クライアントを実装したことにより、MCP サーバーさえ実装してしまえば、様々な環境で利用できる仕組みになっています。 そして VS Code も MCP

これはラムダノートの宣伝を含みます。 Web は専門ではないが、勝手にお勧めの本を書いておこうと思う。 ハイパフォーマンス ブラウザネットワーキング - O'Reilly JapanWebブラウザセキュリティ ― Webアプリケーションの安全性を支える仕組みを整理する – 技術書出版と販売のラムダノートReal World HTTP 第3版 - O'Reilly JapanWeb配信の技術 ―HTTPキャッシュ・リバースプロキシ・CDNを活用する - 技術評論社プロフェッショナルTLS＆PKI 改題第2版 – 技術書出版と販売のラムダノートいろいろなところで言っているがハイパフォーマンスブラウザネットワーキングを読んで欲しい。10 年以上前の本だが、古い部分は他の書籍でカバーすればよい。 セキュリティ関連は Webブラウザセキュリティがとてもわかりやすい。今や HTTPS ありきの時代にな

DuckDB にローカル用に UI が追加されたことが公開されました。duckdb -ui で呼び出せます。既に CLI を起動している場合でも CALL start_ui() で呼び出せます。 ローカルの DuckDB のデータを利用するこの仕組み、今まで CLI で「あれ？ちょっと列が省略されてて見づらいんだけど ...」というのがなくなります。 クエリーなどをノートブックとして DuckDB 自体に保存ができるようになるため、履歴から過去のクエリーを探す作業から解放されるのもとても良いです。 DuckDB を採用する理由が増えた気がします。 ただ、DuckDB UI の仕組みは ui.duckdb.org へのリバプロっぽい仕組みのようなので、オフラインでの利用は現時点ではできなさそうです。残念。 参考The DuckDB Local UI – DuckDBUI Extension

自社では自社パッケージ製品のクラウド版を提供しています。自社パッケージは大量の JSON Lines 形式のログを出力します。 この大量のログの利用者向けと管理者向けの解析をどうしたものかとずっと悩んでいたのですが、オブジェクトストレージと DuckDB を利用する事で低コストで実現できました。 オブジェクトストレージまず、とにかくオブジェクトストレージは安価な上に何も考えずスケールする仕組みなのがログ置き場としてとても良いです。自社では Akamai Connected Cloud のオブジェクトストレージを利用してますが、250 GB で月 5 ドル、転送量 1 TB 付きという安さです。 自作のログアップローダーを利用しており、 Zstd 圧縮してからオブジェクトストレージへアップロードしています。 自社サービス規模であれば圧縮済みのログのサイズが 10 TB 行ったとしても、月 2

DuckDuckGo のサービスに Email Protection というのがあります。 {好きな名前}@duck.com というメールアドレスを取得できて、それを自分のメールアドレスに転送してくれる機能です。 ここまでならよくある転送機能なのですが、DuckDcukGo Email Protection はさらにサービスのアカウント登録時に自動でメールアドレスを生成してくれます。{単語1}-{単語2}-{単語3}@duck.com といったメールアドレスをサービス毎に生成してくれます。 とても良い機能なのでお勧めです。 DuckDuckGo Email Protection Beta Now Open to All!DuckDuckGo Email Protection is a free email forwarding service that removes multiple k

立ち位置としては零細企業経営者かつ Erlang/OTP でミドルウェアを書いてる人。 Cline は VS Code で Claude 3.7 Sonnet を使って試してみた感想をざっくりと。主戦場である Erlang/OTP では試していない。 Cline によってコードを読み込む、コードを編集するを自動化するだけで結構な革命、コマンド実行は手動でやってみた。 かなり言うことは聞かないし、なんども指示しないと使い物にならない。とにかく優先順位が付けられない。例えば、コード修正したらビルドしてテスト実行してねって言ってるのに、いきなりコミットしようとする。 試した内容SDL の v3 がでたので自社の C++ SDK 向けサンプルで SDL v2 からの移行をやらせてみた。 移行ドキュメントとビルド方法を教えて、エラーが出ないところまでを目標にしてみた。結論としては移行はできなかったが

資料を渡して解説して貰うというのは ChatGPT を利用していたのだが、かなりの確率で嘘つかれるので、だんだん使わなくなってきた。 Google NotebookLM がどうやら、それに特化しているツールっぽいということで試してみたところ、かなり期待通りの挙動をすることがわかった。 Raft の論文を読ませてチョット解説して貰ったところ、ちゃんと何を参考にしたかを教えてくれる。これはスゴイ。複数のリソースも気軽に追加できる。 さらに Studio 機能でポッドキャスト（まだ英語のみ）を生成してくれる。二人で掛け合いながら解説してくれるのは個人的に凄く聞きやすい。 さらに Studio 機能のインタラクティブモード(ベータ版)を利用すると「自分がポッドキャストに参加して音声で質問（まだ英語のみ）」できるようになる。つまりポッドキャストを聞いていて「あーこれもうちょっと詳しく聞きたい」や「こ

Grafana で DuckDB が使えたらいいのに。ログは S3 に置いておくだけで、あとは JSONL や Parquet を DuckDB が引っ張ってきて解析した結果を Grafana で表示できたら。 この夢を実現する Grafana プラグインが最近公開されました。 MotherDuck が開発し OSS (Apache-2.0) で公開されています。 GitHub - motherduckdb/grafana-duckdb-datasourceContribute to motherduckdb/grafana-duckdb-datasource development by creating an account on GitHub.GitHubmotherduckdb 自社製品のログを Fluent Bit で MinIO (S3 または S3 互換オブジェクトストレージ

自社で開発する製品は徹底して依存ライブラリをできるだけ少なくするようにしている。 実際、時雨堂の主力製品である Sora の自社管理外の依存ライブラリは​かなり少ない。 Erlang/OTP と暗号化ライブラリである OpenSSL 。そして Erlang/OTP 特有のプロセス管理ライブラリである gproc 、RabbitMQ が開発している Raft ライブラリの ra 、あとは HTTP クライアントとサーバー。そしてメモリーリーク確認ライブラリだけ。 erlang/otpopenssl/openssluwiger/gprocrabbitmq/rarabbitmq/gen-batch-serverrabbitmq/atenrabbitmq/seshatninenines/cowboyninenines/cowlibninenines/ranchninenines/gunferd/r

自社で DuckDB 向けの Language Server (LS) を開発している。目的はシンプルに「ブラウザ」や「VS Code」で DuckDB を書く時に補完やエラー、ハイライトなどを利用したいから。 DuckDB 向けの LS は、特にブラウザでの利用を想定している。DuckDB は DuckDB-Wasm というブラウザ上で動作する DuckDB がある。つまりブラウザで SQL を書くタイミングが発生する。その際 DuckDB 向けの LS があれば、気軽に利用できるのではないか？と考えたからだ。 LSP 自体は Copilot などの AI とも相性が良く、エラーを気軽に確認できたりするのも気に入っている。 0:00 /0:13 1× DuckDB という名前は製品名に利用できないので LSP for DuckDB にする予定。パッケージ名には付けていいので duckdb