タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
運用コストを低く抑えつつ全文検索機能を実現したい: SQLite3 で全文検索を実現する fts5 、ベクトル検索を実現する sqlite-vss
運用コストを低く抑えつつ全文検索機能を実現したい: SQLite3 で全文検索を実現する fts5 、ベクトル検索を実現する sqlite-vss 2024-02-22 ドキュメント数が 1 万件に満たない状況で全文検索をしたいドキュメントは頻繁に更新はされずに日時の更新で十分オンラインでのインデキシングを考えなくてよいので、バッチで十分みたいな状態でポータビリティが高く運用コストが低い状態で全文検索を実現したいなと調べていたら SQLite3 が良さそうだったというお話。 全文検索を実現する拡張機能: https://www.sqlite.org/fts5.htmlfts5 から relevancy による order by が使えるようになったらしく、version 4 以前は、relevance をチューニングして改善するのは難しそうだなと思った。この拡張機能が作成された経緯としては
GitHub - asg017/sqlite-vss: A SQLite extension for efficient vector search, based on Faiss!
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Introducing sqlite-vss: A SQLite Extension for Vector Search
Software engineer, available for freelance work! • he/him/his
はじめに 最近 langchain を使うようになってきて、OpenAIのAPIをちょこちょこ叩くのですが、いかんせん遅い いや十分に早いのだけど、ドキュメントの量があると若干気になってくる速度です そこで、 ローカルLLMとしてrinna を使ってみたりしたのですが、まだまだ遅いです すでに先行して実装例を作ってくれていた RWKVでembedding vectorを計算 の記事と SQLiteでベクトル検索ができる拡張sqlite-vssを試す の記事を大いに参考にしながら RWKV と sqlite-vss を使って高速なベクトル検索を作ってみます RWKVのモデル 今回は学習済みのRavenモデル RWKV-4-Raven-3B-v12-Eng98%-Other2% を使っていきます OpenAI の text-embedding-ada-002 モデル では 1536次元と扱いや
プロセスのメモリ使用量に関する指標を学ぶ (VSS, RSS, PSS, USS) 2022 年 08 月 01 日 Linux 技術ネタ 目次 はじめに VSS, RSS, PSS, USS とは 2.1 VSS (Virtual Set Size) 2.2 RSS (Resident Set Size) 2.3 PSS (Proportional Set Size) 2.4 USS (Unique Set Size) VSS, RSS, PSS, USSはどうやって確認するの？ 3.1 VSS, RSSの確認方法(topやpsを利用する) 3.2 PSS, USSの確認方法(smemを利用する) まとめ 参考文献 1.はじめに 組込み Linux において、ユーザ空間で動作させているプロセスがどのぐらいメモリを使用しているか知りたくなることがあると思います（例えば Web ブラウザ
はじめに みなさんは動画編集をやったことはありますか？ 私は，頻度は低いものの動画編集をして動画投稿サイトに動画をアップロードした経験があります． 動画編集とは元来めんどくさく手間がかかるものではあるのですが，普段からWebアプリの開発をしている私は，以下のようなことを考えていました． HTML/CSSのように複数オブジェクトを一つのコンポーネントのように扱えたら，CSSのように統括して装飾を指定できたら，HTMLのレンダラー(ブラウザ)が相対値から計算して幅や高さを指定するように，動画のオブジェクトの時間長も編集アプリが計算して指定してくれたら，もっと楽に動画編集できるのになぁ，と． そこで私は，HTML/CSSをベースとした，動画の構成を記述する言語を記述することで動画編集を行えるという技術を開発しました． 元々OSSでやるか，未踏のようなイベントに持ち込むか悩んでいたのですが，大学4
回路図を見ていると電源の記号に「VCC」、「VEE」、「VDD」、「VSS」という記号が使われています。 「VCC」の「CC」、「VEE」の「EE」は何の意味かご存知でしょうか？「VDD」の「DD」、「VSS」の「SS」は何の意味かご存知でしょうか？この記事では「VCC」、「VEE」、「VDD」、「VSS」の意味・違い・使い分けについて説明します。 電源の記号に使われている「VCC」、「VEE」、「VDD」、「VSS」の意味・違い・使い分けを下記に示します。 VCCバイポーラトランジスタ(BJT)を用いている回路のプラス電源に「VCC」を用います。「VCC」の「C」はコレクタ(Collector)の頭文字となっています。「VCC」と「C」を2回繰り返すのは、コレクタ電圧VCと区別しているからであるという説が有力です。VEEバイポーラトランジスタ(BJT)を用いている回路のマイナス電源に「V
sqlite-vss入門
sqlite-vss 入門 本文章では、sqlite-vssの入門的な使い方と、関連した知識を解説します。 現在ドラフト相当の段階のため、後に記述が変更・追加になる場合があります。 https://github.com/asg017/sqlite-vss sqlite-vss とは sqlite-vss とは、SQLiteでFaiss(ベクトル検索ライブラリ)を使えるようにする、SQLiteの拡張モジュールです。 SQLiteは言わずとも知れた組込み用のRDBMSで、多くの言語にバインディング・ドライバーが存在するとてもメジャーなRDBMSの1つです。 もう一方のFaissはFacebookが開発・公開している、密なベクトルの効率的な類似性検索とクラスタリングのためのライブラリです。 平たく言うと、sqlite-vssはSQLiteに大規模なベクトルの検索機能を追加してくれる拡張モジュール
[アップデート] AWS BackupがWindows EC2のVSSスナップショットをサポートしました | DevelopersIO
しばたです。 本日AWS BackupのWindows Server EC2バックアップにおいてVolume Shadow Copy Services(VSS)を使ったスナップショットがサポートされました。 公式のアナウンスは以下となります。 VSSスナップショットとは？ AWS BackupにおけるEC2のバックアップの実体はEBSスナップショットであり、EBSスナップショットは通常ストレージデバイスとしての整合性を持つクラッシュ整合性となります。 このためアプリケーションとしての整合性を担保したい場合は何らかの調整をユーザーが行う必要があります。 (一番わかりやすい調整が「スナップショットを取る前にインスタンスを停止する」ですね。) Windows ServerではWindows Server 2003からVolume Shadow Copy Services(VSS)と呼ばれる機能が
![[アップデート] AWS BackupがWindows EC2のVSSスナップショットをサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b3ce3207ad57cd861d5c4322ea9ef360f5205213/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-backup.png)
ヴァージン・ギャラクティックの宇宙船｢VSS Unity｣、ニューメキシコ州から初めて熱圏へ飛ぶ2021.05.25 07:006,411 岡本玄介 SF映画みたいな絵面ですが、現実なんです。 5月22日のこと、Virgin Galactic（ヴァージン・ギャラクティック）の第2世代宇宙船｢VSS Unity｣が、ニューメキシコ州の離発着場｢スペースポート・アメリカ｣にて有人テスト飛行を行ないました。 母船ジェット機｢VMS Eve｣で高度15kmまで上昇した後に切り離され、ジェットを点火し熱圏である89kmまで飛ぶことに成功！ 記録動画では、地球を背景にした、クールな映像が見られます。 Video: Virgin Galactic/YouTubeたくさんの検証実験が並行された乗っていたのはパイロット2名と、NASAの｢フライト・オポチュニティー・プログラム｣の一環として積まれた研究用の荷
AWS Lambda Pythonでsqlite-vssによるベクトル検索を利用する - maybe daily dev notes
昨今LLMの台頭により、テキストをベクトル化して類似文書の検索に利用する手法が流行っています。 今回はAWSでこの検索を実現するための一方法として、SQLiteのプラグインであるsqlite-vssをAWS Lambda上で使う方法をまとめます。 github.com 意外とハマりどころや特有の考慮事項が多いので、必見です！ アーキテクチャ LambdaでSQLite？と思った方のため、このアーキテクチャの要点をまとめます。 このアーキテクチャのメリットは、完全なサーバーレスでベクトル検索を実行できる点です。OpenSearchやPostgres (pgvector)、Redisなどのインスタンスを管理する必要はありません。サーバーレスの利点はもはや言うまでもないでしょう。 また、SQLiteを使うため、ベクトルだけでなく他のリレーショナルなデータをあわせて格納できる点も便利でしょう。例え
困っていた内容 AWS BackupでWindows Volume Shadow Copy Services（VSS）のバックアップを試みたものの、ステータスが「問題ありで完了」と表示され、VSSスナップショットが取得できませんでした。 AWS Backupのバックアップジョブのエラー内容は以下の通りでした。 WindowsVSS Backup attempt failed because of insufficient privileges to perform this operation. 前提 プライベートサブネット内に配置されたEC2インスタンスが、VPCエンドポイントを介して各AWSサービスと通信する環境を想定しています。また、VSSに対応したアプリケーションがインストールされていることも前提とします。 VSSスナップショットの取得プロセスは、AWS Backupがバックアップ
ところてん on Twitter: "年老いた組織、かなー？ 「技術の創造と設計」から引用 https://t.co/ffiWQrtzVI https://t.co/vsS56VlLdl https://t.co/UScOMC35LF"
年老いた組織、かなー？ 「技術の創造と設計」から引用 https://t.co/ffiWQrtzVI https://t.co/vsS56VlLdl https://t.co/UScOMC35LF
VSSスナップショットを使用したSAP向けMicrosoft SQL Serverデータベースのバックアップ方法 | Amazon Web Services
Amazon Web Services ブログ VSSスナップショットを使用したSAP向けMicrosoft SQL Serverデータベースのバックアップ方法 はじめに ご存知かもしれませんが、AWSは最近、AWS BackupにVSSを介したアプリケーション整合性のあるバックアップ機能を統合しました。このブログ記事では、AWS Backupコンソール内からMicrosoft SQL Serverデータベースの整合性のあるスナップショットバックアップが実行できることをご紹介します。 VSS (ボリュームシャドウコピーサービス)は、Microsoft Windowsが提供する機能で、アプリケーション (この場合だと、SAPソフトウェアスタック)を停止しなくても整合性のあるバックアップ操作を保証しています。 AWS Backupコンソール内にVSS対応の整合性のあるバックアップを統合したこと
AWS Backup VSSスナップショットが有効の場合でも、VSS非対応のEC2 Windowsや別のOSはバックアップされます | DevelopersIO
AWS Backup VSSスナップショットが有効の場合でも、VSS非対応のEC2 Windowsや別のOSはバックアップされます 困っていた内容 AWS BackupのWindows Volume Shadow Copy Services(以降、VSS)を有効にしてバックアップを取得する際（静止点ありのバックアップ）、VSSがサポートされていないアプリケーションをもつWindowsやOSがLinuxのEC2は、静止点なしでのバックアップ処理されますでしょうか。 結論 AWS BackupでWindows VSSを有効化した場合でも、静止点なしのバックアップは実行されます。 ドキュメントには、以下の記載があります。 ステータスが Completed のバックアップジョブは、VSS 部分が成功することを保証するものではありません。VSS の組み込みはベストエフォート方式で行われます。次の手順
ギンギラギンで眩しい！ ヴァージン・ギャラクティックが第3世代の宇宙船｢VSS imagine｣を発表2021.04.03 12:0016,209 岡本玄介 やっぱ宇宙船はこの色じゃないとね！ ヴァージン・グループ会長のリチャード・ブランソンが設立した、宇宙旅行ビジネスVirgin Galactic（ヴァージン・ギャラクティック）から、第3世代の宇宙船｢VSS imagine｣が発表されました。 デザインはかつての宇宙旅客機｢スペースシップ2｣とソックリですが、パっと見で大きく違うのがギンギラギンのカラーリング。これは熱に強く、地球から宇宙空間に出るときに、周りの景色をミラーリングする意図があるのだそうです。 Video: Virgin Galactic/YouTube機体はモジュラー式で、メンテナンスや交換が容易になるよう設計されている｢ SpaceShip III｣級という位置付けの乗
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
RWKVとsqlite-vssで高速なベクトル検索を作ってみる
プロセスのメモリ使用量に関する指標を学ぶ (VSS, RSS, PSS, USS) - リネオブログ
【VSML/VSS】動画を編集できる言語を作った話 - Qiita
【VCC、VEE、VDD、VSSとは？】『違い』と『使い分け』について！
ヴァージン・ギャラクティックの宇宙船｢VSS Unity｣、ニューメキシコ州から初めて熱圏へ飛ぶ
AWS BackupでVSSスナップショットに失敗した際に確認する点 | DevelopersIO
ギンギラギンで眩しい！ ヴァージン・ギャラクティックが第3世代の宇宙船｢VSS imagine｣を発表
x.com
search.app
animageplus.jp
hhtrust.jp
yonayonafreedom.net
www.asahi.com