運用コストを低く抑えつつ全文検索機能を実現したい: SQLite3 で全文検索を実現する fts5 、ベクトル検索を実現する sqlite-vss
運用コストを低く抑えつつ全文検索機能を実現したい: SQLite3 で全文検索を実現する fts5 、ベクトル検索を実現する sqlite-vss 2024-02-22 ドキュメント数が 1 万件に満たない状況で全文検索をしたいドキュメントは頻繁に更新はされずに日時の更新で十分オンラインでのインデキシングを考えなくてよいので、バッチで十分みたいな状態でポータビリティが高く運用コストが低い状態で全文検索を実現したいなと調べていたら SQLite3 が良さそうだったというお話。 全文検索を実現する拡張機能: https://www.sqlite.org/fts5.htmlfts5 から relevancy による order by が使えるようになったらしく、version 4 以前は、relevance をチューニングして改善するのは難しそうだなと思った。この拡張機能が作成された経緯としては
pg_analytics: Transforming Postgres into a Fast OLAP Database - ParadeDB
We’re excited to introduce pg_analytics, an extension that accelerates the native analytical performance of any Postgres database1 by 94x. With pg_analytics installed, Postgres is 8x faster than Elasticsearch and nearly ties ClickHouse on analytical benchmarks2. Today, developers who store billions of data points in Postgres struggle with slow query times and poor data compression. Even with datab
Python: pytest-benchmark でベンチマークテストを書く - CUBE SUGAR CONTAINER
最近は Python のテストフレームワークとして pytest がデファクトになりつつある。 今回は、そんな pytest のプラグインの一つである pytest-benchmark を使ってベンチマークテストを書いてみることにする。 ここで、ベンチマークテストというのはプログラムの特定部位のパフォーマンスを計測するためのテストを指す。 ベンチマークテストを使うことで、チューニングの成果を定量的に把握したり、加えた変更によって別の場所で性能がデグレードしていないかを確かめることができる。 なお、チューニングする前のボトルネック探しについては別途プロファイラを使うのが良いと思う。 blog.amedama.jp blog.amedama.jp 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.4 BuildV
Flask-Caching で Flask の View をキャッシュする
ISUCON12 に向けて flask のキャッシュについて調べたメモ。 Flask-Caching とは？ Flask-Caching は Flask の View やその他関数にて容易にキャッシュ機能を実装するためのライブラリです。 キャッシュのバックエンドとして、Redis や Memcached、UWSGICache など、さまざまなミドルウェアを指定することができて、それぞれを統一したインターフェイスとして扱えるという特徴があります。 Flask の公式ドキュメントでも紹介されているので、Flask でキャッシュを使う際の第一選択肢として考えて良いと思います。 セットアップ 本記事では Redis でのセットアップを紹介します。 Flask の環境を作ったら、pip でライブラリをインストールします。Redis をバックエンドとして使うため redis-py も合わせて追加します
ChatGPTのCode Interpreterのコードリーディング能力は結構優秀 - laiso
Code interpreter のキラーソリューションは表データの可視化っぽいけど、入力テキストとファイルソースによってテキスト生成とファイル出力ができるという点に着目すると色々活用の幅が広がる。 中でも、今までは入出力トークンに含まれる必要があったソースコードデータを外部ファイル化できるので、「リポジトリを丸ごと食わせる」などの従来トークン制限上実現できなかったことが外部システム連携なしで簡単に可能になったのが嬉しいポイントだった。 この特性を生かして最近OSSの静的コード解析というかコードリーディングをChatGPTにやってもらっている。 以下のサンプルでは脆弱性診実習用アプリ（通称「やられサイト」）のSQLインジェクションを発見してもらうという会話をした。 chat.openai.com 以下ではaws-load-balancer-controller や openai-pr-re
20x faster than pgvector: introducing pg_embedding extension for vector search in Postgres and LangChain - Neon
20x faster than pgvector: introducing pg_embedding extension for vector search in Postgres and LangChainHNSW Index for approximate nearest neighbor search in Postgres Back when we wrote this, we were proud to bring HNSW indexes to Postgres. Since then, pgvector has added support for the HNSW index, and we've chosen to pause the development of pg_embedding and contribute to pgvector instead. We pla
Advanced Data Analysis（旧ChatGPT Code Interpreter）の活用方法を片っ端から試していく
Advanced Data Analysis（旧ChatGPT Code Interpreter）の活用方法を片っ端から試していく ChatGPT Code Interpreterをとにかく触ってみる 「Code Interpreterが凄い！」と、みんなが騒いでいるのでとりあえずネットで目についた活用方法を片っ端から試していきたいと思います。 試したら追記していきます。 Code Interpreterのセットアップ 以下3ステップです。簡単ですね。よく分からなかったら別のサイトみてください。 ChatGPT Plusに課金 Setting Beta featuresでCode interpreterのトグルをオン ChatGPTのGPT4でCode Interpreterを選択 以下参考のスクリーンショットです。 Code Interpreterの活用例 ここから活用例を載せていきます
「ChatGPT Plus」のウェブブラウジング機能、いったん停止に
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「ChatGPT」を提供するOpenAIは米国時間7月3日、有料版の「ChatGPT Plus」でベータ版として提供しているウェブブラウジング機能「Browse with Bing」を一時的に無効化したと発表した。同社の意図に反する形でコンテンツが表示されてしまう場合があることが分かったためだという。 例えば、「ユーザーが明示的にあるURLの全文テキストを求めた場合、その要求が満たされてしまうことがある」という。 Windows Centralによると、Redditでは一部のユーザーが、有料ウェブサイトのサブスクリプションに加入せずにChatGPTを使ってコンテンツを閲覧する方法についてやり取りしているという。 OpenAIは発表の中で
日本初の挑戦〜食べログによるChatGPTプラグイン開発の舞台裏 - Tabelog Tech Blog
はじめに 食べログのメディア領域でサービス開発のエンジニアリングマネージャーをしている関戸です。 2023年5月8日のプレスリリースの通り、食べログの新たな取り組みとして2023年5月6日にChatGPTプラグインの提供を開始しました。さまざまなメディアで日本初の試みとして取り上げられています。 ChatGPTプラグイン提供の前提として、プラグイン開発をするためには、（当時は）ウェイトリストに登録し、開発者として招待される必要がありました。招待が届いたアカウントでは、プラグインの動作確認や開発ができるようになります。ウェイトリストに登録後、いつ招待が届くか分からない状況でした。 食べログではアカウントに招待が届いた当日に動作確認して、公開申請を提出しました。 OpenAI社によるChatGPTプラグインの発表後、どこよりもいち早くプラグインを提供することを目指して、必要な調整を事前に進めて
YouTube Summary with ChatGPT & Claude
Summarize YouTube videos, web articles, and PDFs to save time, powered by ChatGPT (OpenAI) and Claude (Anthropic). YouTube Summary with ChatGPT & Claude is a free Chrome Extension that lets you quickly summarize YouTube videos, web articles, and PDF you're consuming. Use this extension to save time and learn more quicker. YouTube videos, web articles, and PDF summarization functions are powered by
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Video Speed Controller
GitHub - huggingface/llm.nvim: LLM powered development for Neovim
Reddit - Dive into anything
pluggy — pluggy 0.1.dev137+g2efd28e documentation
datasette-scraper - a plugin for Datasette
Google Issue Tracker
GitHub - pgvector/pgvector: Open-source vector similarity search for Postgres
https://llama-hub-ui.vercel.app/l/qdrant
Save to Notion
GitHub - openai/chatgpt-retrieval-plugin: The ChatGPT Retrieval Plugin lets you easily find personal or work documents by asking questions in natural language.
