EleutherAIが60億パラメータGPT-3のクローンであるGPT-Jをオープンソース化
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
GitHub - surrealdb/surrealdb: A scalable, distributed, collaborative, document-graph database, for the realtime web
SurrealDB is an end-to-end cloud-native database designed for modern applications, including web, mobile, serverless, Jamstack, backend, and traditional applications. With SurrealDB, you can simplify your database and API infrastructure, reduce development time, and build secure, performant apps quickly and cost-effectively. Key features of SurrealDB include: Reduces development time: SurrealDB si
「初心者向けにNoSQLを徹底解説」に関する誤りについて
「初心者向けにNoSQLを徹底解説」に関する誤りについて 以下の元記事では，初心者向けにあやまった情報で解説を行っているように見受けられたため，その訂正を目的とした記事である． NoSQLのメリット 高速 処理を高速に行えるのはNoSQL最大のメリットと言っても過言ではない。トランザクションを必須とせず、データの厳密な一貫性を確保しないことで迅速にデータを処理できる。NoSQLはデータ量が増えてもRDBより処理速度が下がりにくい。 （中略） 完全一貫性を必要としない NoSQLでは、処理の結果が最終的に一貫性のある状態となれば可とする「BASE基準」を採用している。NoSQLは完全な一貫性を含む「ACID特性」を満たす必要はないので、高速処理の実現に大きく貢献している。逆を言えば、NoSQLはデータの一貫性が必要なシステムには不適である。 データの厳密な一貫性 や 完全一貫性 というものが
モバイル向けNoSQL「Firestore」で件数を数える「count()関数」、期限付きデータ「Time To Live」など新機能。Firebase Summit 2022
モバイル向けNoSQL「Firestore」で件数を数える「count()関数」、期限付きデータ「Time To Live」など新機能。Firebase Summit 2022 Googleは10月18日に米ニューヨークでモバイル向けのバックエンドサービスであるFirebaseにフォーカスしたイベント「Firebase Summit 2022」を開催し、モバイル向けのNoSQLデータベースFirebaseの新機能として、件数を数える「count()」関数や期限が来たら自動的にデータが消去される「Time To Live」などを発表しました。 クエリ結果の件数を返してくれるcount()関数 これまでFirebaseでクエリの結果何件のデータがマッチしたのかを数えるには、プログラマが検索処理の後になんらかの手法で件数を数える処理を記述する必要がありました。 件数を数えることは比較的ニーズの高
「Apache Cassandra 4.0」正式リリース。スループットが25％向上、データの一貫性も強化、監査ログ機能も
「Apache Cassandra 4.0」正式リリース。スループットが25％向上、データの一貫性も強化、監査ログ機能も 代表的なNoSQLデータベースの1つであるApache Cassandraが6年ぶりにメジャーバージョンアップを果たし、「Apache Cassandra 4.0」が正式リリースとなりました。 Apache Cassandra 4.0 is here! The most stable database release in history, already running in production in some of the world’s largest environments. Read @TheASF press release: https://t.co/iXzxWYRobp#nosql #databases #opensource #apache pic
こんにちは、GMOアドマーケティングのM.H.と申します！ 大量のデータを扱うとき、データベースを活用しよう。というのは自然な流れだと思います。MySQLやMariaDB…データ間に関連性のある場合にはとても強力な武器になりますが、今回はそのようなRDBMSではなく、NoSQLであるAerospikeについて簡単に書いていこうと思います。 Aerospike(NoSQL)とは NoSQLとは、ざっくりと言って関係モデルにならない形でのデータベースの管理システムのことです。ちなみにNoSQLはNot only SQLの略とされるのが普通らしいです。(最初何も考えずNo SQLだと思っていました) 基本的にNoSQLにおいてデータの取得や更新はかなり高速です。データの持たせ方には色々ありますが、たとえば1つのレコードをkeyとvalueとして保管する、いわゆるkey-value型のデータベース
Convert Notion databases into powerful apps • NotionApps
Convert Notion databases into Choose what data is shared with each user. Customize the app with lists, login, menus, forms, and 25+ components.Trusted by 2000+ Notion users
この本では、データベース構築経験が初心者・入門者の方々に向けて、データベース構築に必要な知識（SQLを中心）を1時間ほどでサクッと理解できるようにまとめました。※短時間での走り切りをゴールとしているため、細かい説明は省略されています。 【概要】 ・内容：データベース基本知識 / 用語、SQLとは、NoSQLとは、NewSQlとは、データモデル（概念モデル / 論理モデル / 物理モデル）、SQL命令言語（DML / DDL / TCL / DCL）、SQLの環境構築、SQLの基本文法、SQLによる絞り込み、SQLによるデータ加工、SQLによるテーブル処理・分析、SQLによる複数テーブルの処理、SQLによるトランザクション処理 ・所要時間：約1時間 ・必須条件：パソコン操作 ・推奨OS：なし ・レベル：★★☆☆☆
GitHub - HeyPuter/kv.js: ⚡️ Advanced in-memory caching for JavaScript.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
TechCrunch
"Number Go Up: Inside Crypto’s Wild Rise and Staggering Fall" by investigative reporter Zeke Faux has several chapters on FTX's founder, Sam Bankman-Fried, but it's also about crypto more broadly.
GitHub - cockroachdb/pebble: RocksDB/LevelDB inspired key-value database in Go
Pebble is a LevelDB/RocksDB inspired key-value store focused on performance and internal usage by CockroachDB. Pebble inherits the RocksDB file formats and a few extensions such as range deletion tombstones, table-level bloom filters, and updates to the MANIFEST format. Pebble intentionally does not aspire to include every feature in RocksDB and specifically targets the use case and feature set ne
GitHub - geohot/minikeyvalue: A distributed key value store in under 1000 lines. Used in production at comma.ai
Fed up with the complexity of distributed filesystems? minikeyvalue is a ~1000 line distributed key value store, with support for replication, multiple machines, and multiple drives per machine. Optimized for values between 1MB and 1GB. Inspired by SeaweedFS, but simple. Should scale to billions of files and petabytes of data. Used in production at comma.ai. A key part of minikeyvalue's simplicity
NoSQL NoSQLとは、従来の関係モデルに基づかずに構築されたデータベースシステムの総称であり、SQLを用いないことからNoSQL（Not only SQL）の略とされています。SQLを用いると大量データ、複数サーバに分散したデータを扱うクラウドサービスにおいては性能が低下する場合があることから、そうしたSQLでは対応できない領域を保管するために利用されることがあります。 CAP定理 CAP定理とは、クラウドサービスを始めとする情報システム（ネットワークでつながった、共通のデータを持つ、一連のノード群）において、「以下の3要素を同時に満たすことができない」というものです。
Amazon DynamoDB用 NoSQL WorkbenchがGAになったので使ってみた | DevelopersIO
こんにちは。サービスグループの武田です。 約半年ほど前にAmazon DynamoDB用 NoSQL Workbench（以下、Workbench）がプレビュー版として公開されました。先日このツールが一般公開（GA）となりましたので試してみました。 Amazon DynamoDB 用 NoSQL Workbench が一般公開されます。 NoSQL Workbenchとは DynamoDB用のクラスプラットフォームなデータベース開発ツールです。DynamoDBのテーブル設計や作成、クエリ実行だけでなくデータモデリングやデータ可視化、クエリ開発機能を提供します。 環境 次のような環境で検証しています。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.15.3 BuildVersion: 19D76 $ brew --version Hom
architecture notesより。 この記事は、「知っておくべきこと」というシリーズの最初の記事です。様々なテーマについて、基本原則からレベルアップするための入門書と考えて下さい。今日は、データベースについて説明します! BY マハディ・ユスフ データベースは、アプリケーションのほぼすべての状態を格納しているにもかかわらず、表面的にはどのように動作しているのかほとんど知られていないことに驚かされることがよくあります。しかし、これはほとんどのシステムで成功するための基礎となるものです。そこで今日は、RDBMSのインデックスとトランザクションを扱う上で最も重要な2つのテーマについて説明します。 データベース特有の癖に深く立ち入ることなく、RDBMSのインデックスについて理解すべきことを全て説明します。トランザクションと独立性レベルについても簡単に触れ、それらが特定のトランザクションに関
今までのインデックスについての自分の理解が、「インデックスを作ると検索スピードが上がる」くらいの理解でした。これではいけないと思い、ようやく真面目に勉強したのでそれをまとめるついでにクイズ形式にしてみました。 インデックスとは データベースにおけるインデックスは、データの検索速度を向上させるための機能です。一般的に、テーブル内のデータの特定の列に対して作成され、その列の値に基づいてデータにアクセスする際の効率を高めます。 よくある例でインデックスは本でいう索引に当たります。見たい項目を索引で探し、何ページかを確認してそのページを開けば一枚一枚ページをめくって探すより効率的に目当てのページに辿り着けますよね。 それをデータベースでも同じことをしているというイメージです。 第一問 以下 SQL 文でインデックスが使用される検索はいくつあるでしょうか？
Kubernetes 上で KVS をマネージドっぽく使いたい！ / Managed KVS on Kubernetes
Cloud Native Meetup Tokyo #10 の資料です。
AWSのNoSQLデータベースAmazon DynamoDBの特徴とベストプラクティス｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
2020.06.17 ｜ Writer：H.Mori AWSのNoSQLデータベースAmazon DynamoDBの特徴とベストプラクティス 多くのユーザーが頻繁に訪れて利用するオンラインサービスは、大量のデータを滞りなく処理し、さらに拡張していく必要があります。では、このようなデータ管理を効率的に行うにはどうすればいいのでしょうか？ AWSではそのひとつの答えとして、数ミリ秒台のパフォーマンスを実現するデータベースである「Amazon DynamoDB」を提供しています。本コラムではその特徴や利用例を紹介します。 大量データを高速に処理し、無限の拡張性を持つべく誕生したAmazon DynamoDB インターネット上で展開される、広告やゲーム、メディア配信、ショップ、金融、予約、IoTなど、非常に多くのユーザーの要求に対応しデータ処理を迅速に行うことが必要なビジネスが急成長しています。こ
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ etcdとは？OSSの分散KVSです。単純なkey-Value形式のデータを保存することができます。アーキテクチャーも単純で、構築もそれほど難しくはありません。詳細は以下のURLを御覧ください。 https://et
概要 大量の画像の中から類似画像を検索するソリューションを開発するとします。 類似画像を検索したいが、その都度ファイルを読み出したり、メモリに乗せて処理するのは速度やHWコスト面で大変です。 検索を容易にするためにはRDBMSを活用するのが楽です。 そのため今回は画像の形状パターンをハッシュ化して予めDBに登録しておき、検索したい画像のハッシュ値とSQLだけで類似画像を検索できるようにします。 画像の形状パターンをハッシュ化するには Avarage Hash(aHash) や Perceptual Hash(pHash) などの手法があります。 Avarage Hash 画像を8x8に縮小してグレースケール化した各点の輝度値の平均値を取り、その平均値と比べ各点大きいか小さいかで2値化して一列にすることで64bit値を取得します。 Perceptual Hash 画像を8x8より大きい適当な
SQL マイグレーション作成ツール prrn を公開しました。 利用すれば Go 等のプロジェクトでの SQL マイグレーションが楽に行えるようになるかと思います。 現状は MySQL のみの対応となっています。 通常 Go などの言語で RDB へのマイグレーションを行う際は、Up/Down ファイルを記述することが多いと思います。 しかしながら多くのALTER TABLEが記述された Up/Down ファイルから最終的なスキーマ定義を知ることは難しく、実際に適用するまで分かりにくい事が多いと思います。 また、マイグレーションのファイルを記述する際もそこそこ面倒で、常に Up/Down をセットで記述するべきですがミスも起こりやすいように思います。 今回作成したツールは、宣言的にテーブルを定義する SQL ファイルからマイグレーションファイルを自動生成します。 定義ファイルにはCREAT
Implementing the Raft distributed consensus protocol in Go | notes.eatonphil.com
As part of bringing myself up-to-speed after joining TigerBeetle, I wanted some background on how distributed consensus and replicated state machines protocols work. TigerBeetle uses Viewstamped Replication. But I wanted to understand all popular protocols and I decided to start with Raft. We'll implement two key components of Raft in this post (leader election and log replication). Around 1k line
Deno is designed to streamline web and cloud development with built-in modern tools, direct access to web platform APIs, and the capability to import modules via npm. Web apps very often require some persistent application state. Setting up a database involves numerous configuration steps and the subsequent integration of an ORM or other systems. What if you could access such a database without an
イミュータブルデータモデリングについて
どうもoreoです。 今回はWEB+DB PRESS Vol.130のイミュータブルデータモデル特集を読んだメモを記載します。主に自分用の記事ですが、データモデリングとは？どうやるの？といった方の参考になればと思います。 1 良いデータモデリングとは? 良いデータモデリングとは、モデリングの過程で考慮されていなかった要求の穴やエッジケースの発見につながるもの。データモデリングの本質的価値は、作成時により深く業務要求を分析し、顧客やチームとの対話を生むこと。その為、データモデルはソフトウェアエンジニアだけでなく関係者全員の理解のために、そこに隠れた曖昧さや要求を洗い出し、議論するために使う。 2 イミュータブルデータモデルとは? モデルが複雑になる要因はデータの更新処理(CRUDのU)である。システムで扱う情報はモノ(リソース)とコト(イベント)に分類することができる。このイベントを極限まで
DynamoDB の設計について考えてみる。 - Qiita
Amazon DynamoDB の特性 フルマネージド型の NoSQL データベースサービス 3つの Availability Zone に保存されるので信頼性が高い 性能要件に応じて、テーブルごとにスループットキャパシティを定義するキャパシティの Auto Scaling、オンデマンドキャパシティといった設定も可能 ストレージの容量制限がない DynamoDB のテーブル DynamoDB におけるテーブルはRDBMSにおけるテーブルと概念が異なります。 テーブルを作成する際に、Primary Key を指定する必要があります。 Primary Key はテーブルの各項目を一意に識別するために使います。Primary Key は、Partition Key および Sort Key で構成されます。(Sort KeyがなくPartition Keyのみの場合もあります) Item は R
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
volatile.wtf
volatile.wtf Something amazing will be constructed here... To change this page, upload your website into the public_html directory.
NoSQLのテクニックが書いてある「Advanced Data Modeling With Firestore by Example」を翻訳してみた - くらげになりたい。
オリジナルの記事は、こちら。 Advanced Data Modeling With Firestore by Example | AngularFirebase NoSQLのデータ構造や設計について、いろんな事例が書いてあってすてきだったので、 Google翻訳で翻訳した(´ω｀) 翻訳精度すごい。。 ちょっと整理した記事はこちら www.memory-lovers.blog Advanced Techniques in NoSQL Duplication: 複製 データ複製は、複数のDocumentを参照する必要性を排除するための非常に一般的な手法です。 簡単な例 ユーザードキュメントに対して二次クエリを行わないようにするために、 すべてのツイートドキュメントにユーザー名を複製または埋め込むことがあります。 または、ユーザープロフィールに表示するために、ユーザーDocumentに最近の
GitHub - zerotier/lf: Fully Decentralized Fully Replicated Key/Value Store
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - apache/kvrocks: Apache Kvrocks is a distributed key value NoSQL database that uses RocksDB as storage engine and is compatible with Redis protocol.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Introducing Pebble: A RocksDB-inspired key-value store written in Go
All Customer stories Industry leaders trust CockroachDB to run their most data-intensive, mission-critical applications. Since its inception, CockroachDB has relied on RocksDB as its key-value storage engine. The choice of RocksDB has served us well. RocksDB is battle tested, highly performant, and comes with a rich feature set. We’re big fans of RocksDB and we frequently sing its praises when as
mrkmyki.com
mrkmyki.com 2024 著作権. 不許複製 プライバシーポリシー
Databases have always fascinated me, and I have always dreamt of building a simple, hobby database for fun. I have read several blog posts about building redis, git, compiler, and interpreter, but none about building a database. This post is an outcome of a long and treacherous search of posts on making a database and eventually encountering the Bitcask paper. Bitcask Bitcask is a local key/value
SQLAlchemy とは SQLAlchemyは Python の ORM で、リレーショナルデータベースをオブジェクトとして扱うとこができるライブラリです。 SQLite、MySQL、PostgreSQL、Oracle などのデータベースに使用することができます。 導入するメリットとしては、 SQL を直接記述することなく、Python オブジェクトとしてデータベースを操作できる データベースの種類によらず、同一のソースコードで複数のデータベースを併用することができる SQL インジェクション対策がサポートされている などが上げられます。 今回は SQLAlchemy と MySQL を用いて、悲観的・楽観的排他制御を実装していきます。 環境 SQLAlchemy を使用するには、以下のインストールが必要です。括弧内は今回使用したバージョンです。 Python (3.7.3) データベ
A minimal distributed key-value database with Hashicorp's Raft library | notes.eatonphil.com
A minimal distributed key-value database with Hashicorp's Raft library When I wrote the "build a distributed PostgreSQL proof of concept" post I first had to figure out how to use Hashicorp's Raft implementation. There weren't any examples I could find in the Hashicorp repo itself. And the only example I could find was Philip O'Toole's hraftd. It's great! However, I have a hard time following mult
AWS Lambda Pythonでsqlite-vssによるベクトル検索を利用する - maybe daily dev notes
昨今LLMの台頭により、テキストをベクトル化して類似文書の検索に利用する手法が流行っています。 今回はAWSでこの検索を実現するための一方法として、SQLiteのプラグインであるsqlite-vssをAWS Lambda上で使う方法をまとめます。 github.com 意外とハマりどころや特有の考慮事項が多いので、必見です！ アーキテクチャ LambdaでSQLite？と思った方のため、このアーキテクチャの要点をまとめます。 このアーキテクチャのメリットは、完全なサーバーレスでベクトル検索を実行できる点です。OpenSearchやPostgres (pgvector)、Redisなどのインスタンスを管理する必要はありません。サーバーレスの利点はもはや言うまでもないでしょう。 また、SQLiteを使うため、ベクトルだけでなく他のリレーショナルなデータをあわせて格納できる点も便利でしょう。例え
背景・目的 AWSが2023年9月26日にAmazon DynamoDB(DDB)からAmazon S3(S3)へのインクリメンタルエクスポート機能を発表いたしました。この新機能により、どのようにデータ管理が変わるか、実際に手を動かしながら基本的な挙動を確認してみます。 まとめ AWSの増分エクスポート機能により、挿入、更新、または削除されたデータを少量ずつエクスポートでき、数メガバイトからテラバイトのデータ範囲に対応しています。 ポイントインタイムリカバリが有効なDDBテーブルが対象です。 指定した期間の増分データをS3バケットにエクスポートします。 この機能はフルマネージドであり、DDBの容量を消費せず、定期的なデータ更新が容易になります。 サポートされているデータ形式はDynamoDB JSONとAmazon Ionです。 これにより、テーブル全体を毎回エクスポートする必要がなく、変
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NoSQLのAerospikeをCentOS7でいじってみた
サクッと始めるデータベース構築【SQL / NoSQL / newSQL】
Amazon.co.jp: 詳説 データベース ―ストレージエンジンと分散データシステムの仕組み: Alex Petrov (著), 成田昇司 (翻訳), 小林隆浩 (監修): 本
SQL・NoSQL・NewSQLの違いは？【データベース言語】
「メタデータ」「NoSQL」「CAP定理」を理解する
データベースについて知っておくべきこと
クイズ形式で学ぶ DB インデックス - Qiita
分散KVS「etcd」の環境を世界最速で構築！！ | SIOS Tech. Lab
画像をハッシュ化しRDBMSに記録し、SQLで類似画像を検索する - Qiita
マイグレーション作成ツールprrnを作った
Deno KV internals: building a database for the modern web
MetaがマルチモーダルAIアルゴリズムのdata2vecをオープンソース化
Cloudflare。エッジ用のサーバレス・キーバリューストアWorkers KVをリリース
Build Your Own Fast, Persistent KV Store
SQLAlchemy で悲観的・楽観的排他制御 - Qiita
DynamoDB の S3への増分エクスポートを試してみた - Qiita