A minimal distributed key-value database with Hashicorp's Raft library | notes.eatonphil.com
A minimal distributed key-value database with Hashicorp's Raft library When I wrote the "build a distributed PostgreSQL proof of concept" post I first had to figure out how to use Hashicorp's Raft implementation. There weren't any examples I could find in the Hashicorp repo itself. And the only example I could find was Philip O'Toole's hraftd. It's great! However, I have a hard time following mult
AWS Lambda Pythonでsqlite-vssによるベクトル検索を利用する - maybe daily dev notes
昨今LLMの台頭により、テキストをベクトル化して類似文書の検索に利用する手法が流行っています。 今回はAWSでこの検索を実現するための一方法として、SQLiteのプラグインであるsqlite-vssをAWS Lambda上で使う方法をまとめます。 github.com 意外とハマりどころや特有の考慮事項が多いので、必見です！ アーキテクチャ LambdaでSQLite？と思った方のため、このアーキテクチャの要点をまとめます。 このアーキテクチャのメリットは、完全なサーバーレスでベクトル検索を実行できる点です。OpenSearchやPostgres (pgvector)、Redisなどのインスタンスを管理する必要はありません。サーバーレスの利点はもはや言うまでもないでしょう。 また、SQLiteを使うため、ベクトルだけでなく他のリレーショナルなデータをあわせて格納できる点も便利でしょう。例え
背景・目的 AWSが2023年9月26日にAmazon DynamoDB(DDB)からAmazon S3(S3)へのインクリメンタルエクスポート機能を発表いたしました。この新機能により、どのようにデータ管理が変わるか、実際に手を動かしながら基本的な挙動を確認してみます。 まとめ AWSの増分エクスポート機能により、挿入、更新、または削除されたデータを少量ずつエクスポートでき、数メガバイトからテラバイトのデータ範囲に対応しています。 ポイントインタイムリカバリが有効なDDBテーブルが対象です。 指定した期間の増分データをS3バケットにエクスポートします。 この機能はフルマネージドであり、DDBの容量を消費せず、定期的なデータ更新が容易になります。 サポートされているデータ形式はDynamoDB JSONとAmazon Ionです。 これにより、テーブル全体を毎回エクスポートする必要がなく、変
InfluxDBへデータを登録する
かっこいい名前のInfluxDB、時系列(time series)データベースとして人気のようです。もちろん各種認証でアクセス制限をかけることができますが、HTTP APIを持っており特に作りこまなくてもデータを転送できるという手軽さがあります。そして速い（個人の感想です）。 今回はPython3とPowerShellでデータを投入するためのクライアントを作成してみます。InfluxDBのインストールは別記事で。検証環境はWindows 10 Pro + Python 3.6です。 もくじ： InfluxDBの基本的な使い方 PythonでのInfluxDBクライアントモジュール InfluxDBClientオブジェクト データベースの作成 データの投入 情報の表示 Seriesの表示 HTTP API Line Protocol サンプル PowerShellでHTTP APIを呼び出す
How we built a general purpose key value store for Facebook with ZippyDB
How we built a general purpose key value store for Facebook with ZippyDB ZippyDB is the largest strongly consistent, geographically distributed key-value store at Facebook. Since we first deployed ZippyDB in 2013, this key-value store has expanded rapidly, and today, ZippyDB serves a number of use cases, ranging from metadata for a distributed filesystem, counting events for both internal and exte
NoSQLってなに？ Alibaba Cloud、AWS、Azure、Google CloudのNoSQLサービスを比べてみました | クラウドテクノロジーブログ | ソフトバンク
<span class=\"biz-smb-block\"><b>ビジネスに役立つ情報をメールでお届けします（無料） <br>\r\n </b><span class=\"biz-smb-fs-m2\">企業もしくは官公庁など、組織団体に所属している方を対象としています。</span></span></p>\r\n"}}" id="text-01c8049936" class="cmp-text"> ビジネスに役立つ情報をメールでお届けします（無料） 企業もしくは官公庁など、組織団体に所属している方を対象としています。
皆さまこんにちは(｡･ω･｡)！GMOクラウドの田(でん)です。今回の「突撃となりのエンジニア」は、なんと社内を飛び出しまして、FileMaker(ファイルメーカー)に特化したシステム開発会社さん、株式会社バルーンヘルプのエンジニアさんである佐藤さんにお話を伺いました！ ―佐藤さんについて教えてください。 田：佐藤さんの経歴を教えていただけますか？ 佐藤さん：現在、株式会社バルーンヘルプで、開発エンジニアをやらせていただいておりますが、実は26歳くらいまではずっとバンド活動していました。接客が好きで、お店の店長をしばらくやっていたのですが、3.11をきっかけに地元である大阪に戻りました。そのタイミングで、回線事業会社のテクニカルサポートとして働きだしたのが、ITに触れたきっかけでしたね。 田：すごいさまざまな業種を経験してきたんですね。 佐藤さん：そうなんです。なので、IT業界に入ったのが
悲観ロックと楽観ロックの違い
排他制御って何？排他制御とは、共有資源に対して同時にアクセスしても問題なく動作できる制御のことをいいます。 排他制御を行うことで共有資源のデータに不整合が起きることを防ぎます。 例えば、ショッピングサイトがあるとします。ショッピングサイトの商品（共有資源）を同時に購入した時、排他制御が行われていないとどうなるのでしょうか。 ① 共有資源の商品を同時に購入共有資源の同じ商品をタイミング的に2人同時に購入する事は、そこまで発生する事ではないかもしれません。ただ人気のショッピングサイトであればあるほど、その可能性は高くなります。 ② 在庫を確認するまず購入した商品の在庫が残っているか確認します。今回の例では在庫は残り"10"とします。 ③ 在庫を減らす次に在庫を減らします。在庫の残りは"10"なので、1つ減らして"9"にします。 スポンサーリンク ここで問題になるのは、排他制御をしていない為、同
The most advanced, open source, distributed SQL database
2019年に「データベース:: 論理の使い所は」という記事を書きました。タイトルに「データベース::」という接頭辞を付けたのは、一連の記事を検索しやすくするためです。一連の記事とは、次の意図で書かれる“はずだった”記事です。 ちゃんと書こうと思うと億劫になるので、ふと思い立ったときに、データベースと論理に関するラフなメモ書きを残すことにします。 ところが、接頭辞「データベース::」が付いた記事は2019年の記事一本だけ。続きはありませんでした。 最近（2023年6月）、「カーディナリティ〈多重度〉の“カラスの足”記法が分からない」という記事を書きました。この記事を書いた後で、「データベースに関連する記事になんか接頭辞を付ける気でいたような？」と思い出しました。“カラスの足”記事のタイトルを変える気はありませんが、この記事には接頭辞「データベース::」を付けました。4年ぶりの2本目の記事とな
現実の例を使用したデータをモデル化しパーティション分割する - Azure Cosmos DB for NoSQL
適用対象: NoSQL この記事では、データ モデリング、パーティション分割、プロビジョニング済みスループットなどの Azure Cosmos DB のいくつかの概念を基にして、現実世界のデータ設計に取り組む方法を示します。 通常、リレーショナル データベースで作業している場合は、データ モデルの設計方法についての習慣や直感が築かれているはずです。 Azure Cosmos DB に固有の制約のため (それは Azure Cosmos DB だけが持つ長所でもありますが)、それらのベスト プラクティスのほとんどはうまく流用できず、次善のソリューションになってしまうことがあります。 この記事の目的は、項目のモデリングからエンティティのコロケーションやコンテナーのパーティション分割まで、Azure Cosmos DB で現実のユース ケースをモデル化する完全なプロセスの手順を示すことです。 こ
Understanding DynamoDB Condition Expressions | DeBrie Advisory
If you're working with DynamoDB, you're likely to rely on Condition Expressions when manipulating items in your table. Condition Expressions can ensure you don't overwrite existing users, allow bank account balances to drop below \$0, or give Admin access to every user in your application. Yet despite their usefulness, I see Condition Expressions misunderstood quite often. My hunch is that this is
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DynamoDB の S3への増分エクスポートを試してみた - Qiita
FileMaker(ファイルメーカー)とは | 初心者向けにわかりやすく解説！
TiDB: The Advanced Distributed SQL Database
データベース:: テーブルのキーって何なのよ？ - 檜山正幸のキマイラ飼育記 (はてなBlog)