Introducing Amazon MemoryDB for Redis – A Redis-Compatible, Durable, In-Memory Database Service | Amazon Web Services
AWS News Blog Introducing Amazon MemoryDB for Redis – A Redis-Compatible, Durable, In-Memory Database Service Interactive applications need to process requests and respond very quickly, and this requirement extends to all the components of their architecture. That is even more important when you adopt microservices and your architecture is composed of many small independent services that communica
EngineeringOpen SourceGit’s database internals I: packed object storeThis blog series will examine Git’s internals to help make your engineering system more efficient. Part I discusses how Git stores its data in packfiles using custom compression techniques. Developers collaborate using Git. It is the medium that allows us to share code, work independently on our own machines, and then finally com
A database for 2022
WireGuard is a registered trademark of Jason A. Donenfeld. Hi, it’s us again, the ones who used to store our database in a single JSON file on disk, and then moved to etcd. Time for another change! We’re going to put everything in a single file on disk again. As you might expect from our previous choice (and as many on the internet already predicted), we ran into some limits with etcd. Database si
Advanced database monitoring in modern java
This slide is explaining how to monitor data store from java using JDK Flight Recorder and Jfr4JdbcRead less
エンジニアの業務効率をあげる！AWS CDKで作る本番Databaseを安全にクローンする方法 - AppBrew Tech Blog
こんにちは、AppBrewに業務委託で参加させてもらっているsnikiです。 本業ではヤフー株式会社でYahoo! JAPANアプリのバックエンド開発をやっています。 今回は、AWSのChatbot/Step Functions/CDK等を利用してAmazon Auroraをcloneするツールを作成したのでご紹介します。 背景 機能の説明 利用したAWSのサービスとシステム構成 この構成に至るまで slackのコマンドを受け付けるには cloneからmasking、instance class設定、通知まで Aurora Clone(Lambda) Aurora Masking(ECS) Modify Clone DB Instance Class(Lambda) Notify Slack(Lambda) 補足 なぜLamdaとECSが別れているのか インスタンスクラス変更のタスクは何？
GitHub - gogitdb/gitdb: Distributed Embeddable Database
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Read your data in milliseconds, worldwide. Enjoy seamless data consistency with ACID transactions. Develop and test locally using Deno CLI, where KV is built right in.
世界のAIツールを検索できる『AI Database』
2023年。ChatGPTの台頭で世界で次々と革命的なサービスが生まれました。そんなツールを網羅的に検索できる日本初のデータベースです。AIに搾取されない、AIを使える人材を目指しましょう。
Announcing Amazon Relational Database Service (RDS) Snapshot Export to S3
You can now export Amazon Relational Database Service (Amazon RDS) or Amazon Aurora snapshots to Amazon S3 as Apache Parquet, an efficient open columnar storage format for analytics. The Parquet format is up to 2x faster to export and consumes up to 6x less storage in Amazon S3, compared to text formats. You can analyze the exported data with other AWS services such as Amazon Athena, Amazon EMR, a
Clubhouse Data Leak - 1.3M SQL Database Leaked Online | Cybernews
So far, it seems like it’s been the worst week of the year for social media platforms in terms of data leaks, with Clubhouse seemingly joining the fray. Days after scraped data from more than a billion Facebook and LinkedIn profiles, collectively speaking, was put for sale online, it looks like now it's Clubhouse’s turn. The upstart platform seems to have experienced the same fate, with an SQL dat
Firebase Realtime Databaseの利用料増加問題をFirestore移行で解決した話 (年間数百万削減) - ABEJA Tech Blog
はじめに ある日、このようなIssueが起票されました。 背景を話すと、Insight for Retail の顧客管理システムは5年ほど前にFirebaseで作成されております。 事業を切り開いていった先人たちには足を向けて寝られないのですが、サービスの成長に伴いマイクロサービス化していった結果、この顧客管理システムのRealtime Databaseが足を引っ張っていて、その利用料金が月額40万円、年間になおすと480万円ほどになってしまいいました、、、 初期フェーズは問題なかったものの、事業成長とともに無視できない金額になっていました。 Insight for Retailのエンジニアの高木です。 Firebase Realtime DatabaseからFirestoreに一部移行して、最終的にはコストを1/10まで圧縮して年間利用料を400万円削減した事例のご紹介になります。 利用
はじめに データベースを扱う際に、データベースサーバがローカルネットワーク内に存在すれば直接接続できるのですが、時にはデータベースサーバが遠隔にあり ssh を介してしか接続できないケースもあります。そういった場合、ポートフォワーディング等を使って接続するなどしないといけません。 しかしながら、その為には事前に ssh コマンドでトンネルを掘る必要があり、バッチ的に遠隔のデータベースを操作するのは幾分手間が掛かります。 SSH を超えてデータベースに接続する database/sql にはドライバを自分で作る機能があります。そしてデータベースに接続する際のコネクタを自作する事ができる様になっています。crypto/ssh でサーバにログインし、その先で Dial を実行する事で、あたかもローカルのデータベースに接続しているかの様なコネクションを PostgreSQL のコネクションとして渡
Database Design and Implementation を Go で実装した - goropikariの備忘録
DBMS をフルスクラッチで作る Database Design and Implementation: Second Edition1 を読みながら、この本で作る DBMS(SimpleDB) を Go で実装しました。始めてからちょうど5ヶ月くらいかかりました。 去年も DBMS を自作していましたが、当時は DBMS の理論を学ばずに「この SQL が投げられたときにこういう結果を返すにはこういう実装にすればとりあえずそれっぽい動きをしてくれそう」という感じに実装していて理論的なところは何も学んでいませんでしたが、今回はちゃんと本に沿って実装したので理論・実装を体系だって学べました。 Database Design and Implementation: Second Edition (Data-Centric Systems and Applications) (English E
Oracle Database 21c正式版が登場。データベース内でJavaScript実行可能、改ざんできないブロックチェーンテーブルなど新機能
Oracle Database 21c正式版が登場。データベース内でJavaScript実行可能、改ざんできないブロックチェーンテーブルなど新機能 米オラクルは、最新のデータベースソフトウェアとなる「Oracle Database 21c」正式版を発表しました。 Oracle Databaseのバージョン番号は、2017年に発表された「Oracle Database 18c」から西暦を基にしたバージョン番号となりました。つまり今回発表された「Oracle Database 21c」の21は来年2021年の21から、cはクラウドのcから取られています。 オラクルはOracle Databaseにおいて、マルチデータモデルへの対応やマルチテナントへの対応など、さまざまな機能を集約したコンバージドデータベース（Converged Database）と呼ばれる方針で開発を進めています。 すでにOL
オラクル「Autonomous JSON Database」発表。クラウド上のスケーラブルなJSONデータベース
オラクルは、Oracle Cloud上の新たなデータベースサービスとして「Oracle Autonomous JSON Database」を発表しました。 Today, @Oracle announced the availability of Autonomous JSON #Database—a new cloud service built for JSON-centric developers. Let’s learn a little more about this new service. https://t.co/EMrdxePdRZ pic.twitter.com/qcuk0zxv5m — Oracle Database (@OracleDatabase) August 13, 2020 オラクルはクラウド上で自律的に動作するデータベースサービスとして、トランザクション処理
Published on 2021-04-14. Modified on 2023-02-16. The name SQLite is a nice name, but the "lite" part is misleading, it sounds like it is only useful for tiny things - which is very wrong. SQLite should be named AwesomeSQL, because that is what it is. SQLite is probably the only database you will ever need in most cases. SQLite is a relational database management system contained in a C library. It
Summary Log4j versions prior to 2.16.0 are subject to a remote code execution vulnerability via the ldap JNDI parser. As per Apache's Log4j security guide: Apache Log4j2 <=2.14.1 JNDI features used in configuration, log messages, and parameters do not protect against attacker controlled LDAP and other JNDI related endpoints. An attacker who can control log messages or log message parameters can ex
Thanks for joining! We'll be contacting you shortly.
Deep Dive into LINE's Time Series Database 'Flash'
Xuanhuy Do LINE Observability Infrastructure Team Senior Software Engineerhttps://linedevday.linecorp.com/jp/2019/sessions/B1-1
New to Baserow? Join our free 101 webinars to learn the basics—fast. Register here
Joining CSV and JSON data with an in-memory SQLite database
19th June 2021 The new sqlite-utils memory command can import CSV and JSON data directly into an in-memory SQLite database, combine and query it using SQL and output the results as CSV, JSON or various other formats of plain text tables. sqlite-utils memory The new feature is part of sqlite-utils 3.10, which I released this morning. You can install it using brew install sqlite-utils or pip install
GitHub - TomPrograms/stormdb: 🌩️ StormDB is a tiny, lightweight, 0 dependency, easy-to-use JSON-based database for NodeJS, the browser or Electron.
🌩️ StormDB is a tiny, lightweight, 0 dependency, easy-to-use JSON-based database for NodeJS, the browser or Electron.
最近、ANDPADでデータベース周りの技術顧問をさせて頂いています。ANDPADのエンジニアの皆さんから「データベースのロックまわりを詳しく知りたい！」というお話を受けて、先日、ロック周りの社内勉強会を開催しました。 SQLでは一般的なプログラミング言語と違って、ロックの制御を明示的に記述しません。ロックは暗黙的に（自動的に）データベースが必要なロックを獲得します。データベースのロックが わかりにくい・むずかしい と言われることが多いのはこういった背景があると思います。 MySQL のロック範囲は実行計画で変わる 更新対象の行がロックされるのは予測が付く方が多いと思います。 しかし、MySQL（InnoDB）では更新対象でなくても行がロックされることがあります。 このようなサンプルデータを使って説明します。 mysql> CREATE TABLE `lockt` ( -> `pk` big
GitHub - questdb/questdb: An open source time-series database for fast ingest and SQL queries
QuestDB is an open-source time-series database for high throughput ingestion and fast SQL queries with operational simplicity. QuestDB is well-suited for financial market data, IoT sensor data, ad-tech and real-time dashboards. It shines for datasets with high cardinality and is a drop-in replacement for InfluxDB via support for the InfluxDB Line Protocol. QuestDB implements ANSI SQL with native t
ATTENTION: ArcticDB has been renamed to FrostDB. Check out the blog post. End of last year we announced the Parca Open Source project and today we are excited to introduce arcticDB, an embedded columnar database written in Go building on top of Apache Parquet and Apache Arrow, powering Parca going forward. This blog post describes why we built it and what drove specific features and requirements,
GitHub - HexaCluster/pgdsat: PostgreSQL Database Security Assessment Tool
PGDSAT is a security assessment tool that checks around 70 PostgreSQL security controls of your PostgreSQL clusters including all recommendations from the CIS compliance benchmark but not only. This tool is a single command that must be run on the PostgreSQL server to collect all necessaries system and PostgreSQL information to compute a security assessment report. A report consist in a summary of
［速報］Oracle Database 23cが正式リリース。JavaScriptストアドプロシージャ、DBに自然言語で問い合わせなど新機能。Oracle CloudWorld 2023開幕
オラクルの年次イベント「Oracle CloudWorld 2023」が米ラスベガスで開幕し、同社CEOのサフラ・キャッツ（Safra Catz）氏、会長兼CTOのラリー・エリソン（Larry Ellison）氏の基調講演が行われました。 Oracle Database 23cは、昨年のOracle CloudWorld 2022でベータ版が発表され、今年4月には開発者向けの無償版「Oracle Database 23c Free」の提供が開始されています。 ［速報］Oracle Database 23cベータ版登場。JSONオブジェクトビュー、マイクロサービス対応のトランザクション機能など。Oracle CloudWorld 2022 オラクル、次期Oracleデータベースの開発者向け無償版「Oracle Database 23c Free - Developer Release」提供開
GitHub - GreenmaskIO/greenmask: PostgreSQL database anonymization tool
Deterministic transformers — deterministic approach to data transformation based on the hash functions. This ensures that the same input data will always produce the same output data. Almost each transformer supports either random or hash engine making it universal for any use case. Dynamic parameters — almost each transformer supports dynamic parameters, allowing to parametrize the transformer dy
GitHub - wesql/wescale: WeScale is a database proxy that cares about your application, the development experience, and supports OnlineDDL.
Connection Management: WeScale efficiently manages connections to your database, reducing the overhead on your application and improving performance. WeScale relieves you of the worry of the max_connection problem in your database. Read Write Split: WeScale simplify application logic by automatically routing read queries to read-only nodes and write queries to the primary node. This is achieved by
MySQL アメリカのサマータイムが恒久化されたらやることになる作業 - mita2 database life
サマータイムが終わらない？ アメリカでサマータイムを恒久化する動きがあるようです。 どれぐらい現実化する可能性があるのかわかりませんが、仮に、決定された場合、どのような作業が必要になるのか調べておきます。 下院を通過してバイデン大統領が署名すると、2023年の春に夏時間になったらずっとそのまま、秋になっても標準時には戻らなくなります。 news.yahoo.co.jp Linuxのタイムゾーンの管理 日本でも（結局、実現はしませんでしたが）「東京オリンピックの期間はサマータイムを採用しよう」という話があったように、時刻の定義は変遷します。 言い換えると、あるタイムゾーンにおける、「UTCからの時差」がタイミングによって変わるということです。 各タイムゾーンにおける時刻の定義の履歴は zoneinfo として定義されています。 この定義があるので、タイムゾーン間の時刻の変換が正しくできるわけ
Lightning Memory-Mapped Database（LMDB）について調べてみた - Qiita
はじめに これは データベース・システム系 Advent Calendar 2023 の12/23の記事である そして Nostr (2) Advent Calendar 2023 の12/2の記事である LMDBというDBMSについて調べてみた内容をつらつらと書く Discraimer 筆者はデータベースシステムの専門家ではないため、頓珍漢な記述をしている可能性あり。その点ご留意頂きたく。誤っている点があれば指摘頂ければ幸甚 一部、推測に基づいた内容あり。それらの箇所は推測に基づいている旨分かるように記述する （実装を確認するといったところまでは行えなかったため） LMDBについて調べようと思ったきっかけ nostrなる分散アプリケーションのための通信プロトコル・アーキテクチャがある 比較的自由度の高いものであるが、現状の主なアプリケーションが分散SNS（マイクロブログ）であるため、その
Migration Complete – Amazon’s Consumer Business Just Turned off its Final Oracle Database | Amazon Web Services
AWS News Blog Migration Complete – Amazon’s Consumer Business Just Turned off its Final Oracle Database Over my 17 years at Amazon, I have seen that my colleagues on the engineering team are never content to leave good-enough alone. They routinely re-evaluate every internal system to make sure that it is as scalable, efficient, performant, and secure as possible. When they find an avenue for impro
AIにフォーカスしたRDB「Oracle Database 23ai」正式リリース。AI用のベクトルサーチなど可能に
AIにフォーカスしたRDB「Oracle Database 23ai」正式リリース。AI用のベクトルサーチなど可能に オラクルはAIにフォーカスしたデータベース「Oracle Database 23ai」の正式リリースを発表しました。 Oracle Database 23aiは、昨年（2023年）9月にリリースされた「Oracle Database 23c」にAI関連をはじめとする新機能を追加した上で、「23c」の名前を変更したものだと説明されています。 参考：［速報］Oracle Database 23cが正式リリース。JavaScriptストアドプロシージャ、DBに自然言語で問い合わせなど新機能。Oracle CloudWorld 2023開幕 Bring #AI algorithms to where your data lives with Oracle Database 23ai
AWS Purpose-Build Database Week で Mackerel の時系列データベース内での ElastiCache について発表しました - Hatena Developer Blog
こんばんは。 Mackerel 開発チームの id:astj です。 8月24日から8月28日までの期間で、 AWS さんによるオンラインイベント AWS Purpose-Build Database Week が開催されています。その初日である8月24日に Mackerel における Amazon ElastiCache の利用事例について発表させていただきました。 aws.amazon.com 当日の発表資料はこちらです。 speakerdeck.com これまでも Mackerel の時系列データベースに関して Mackerel チームの面々が様々なイベントで発表してきていますが、今回はその中の Redis Cluster に焦点を当てて、 Redis Cluster の利用の意図や EC2 から ElastiCache への移行などをテーマに発表しました。 ElastiCache
Create an account and your first index in 30 seconds, then upload a few vector embeddings from any model… or a few billion. Perform low-latency vector search to retrieve relevant data for search, RAG, recommendation, detection, and other applications. Pinecone is serverless so you never have to worry about managing or scaling the database. from pinecone import Pinecone, ServerlessSpec # Create a s
MySQL 8.0.20 でHASH JOINが効くケースが拡大した - mita2 database life
TLDR; MySQL 8.0.20 から INNER JOIN だけじゃなくて、Semi joinや Left/Right outer join でも HASH JOIN が使えるようになったよ MySQL 8.0.20 では (EXPLAIN ANALYZEではなく）EXPLAIN でも、HASH JOINが使われているか、表示されるようになったよ MySQL 8.0.19 から、optimizer_switch で HASH JOIN の OFF/ON がコントロールできなくなったよ MySQL 8.0.20 Release Note Hash joins are now used any time a nested block loop would be employed. This means that hash joins can be used for the followi
オラクル、次期Oracleデータベースの開発者向け無償版「Oracle Database 23c Free - Developer Release」提供開始。JavaScriptストアドプロシージャなど
オラクル、次期Oracleデータベースの開発者向け無償版「Oracle Database 23c Free - Developer Release」提供開始。JavaScriptストアドプロシージャなど オラクルは、12カ月以内にリリースが予定されている次期Oracleデータベース「Oracle Database 23c」の開発者向け無償版「Oracle Database 23c Free - Developer Release」の提供を開始したことを発表しました。 これにより開発者は正式版のOracle Database 23cのアプリケーション対応などの準備を進めることが可能になります。 開発者向けの無償版「Oracle Database 23c Free—Developer Release」を発表しました。 Oracle Database 23cの主要な新機能やツールを新しいアプリケ
From Web SQL to SQLite Wasm: the database migration guide | Blog | Chrome for Developers
Required background The post Deprecating and removing Web SQL announced the deprecation of the Web SQL database technology. While the technology itself may be deprecated, the use cases addressed by the technology very much are not, so the follow-up post SQLite Wasm in the browser backed by the Origin Private File System, outlines a replacement set of technologies based on the SQLite database, comp
オラクル、標準のPostgreSQLより最大3倍速い「OCI Database with PostgreSQL」を正式サービスとして提供開始
オラクル、標準のPostgreSQLより最大3倍速い「OCI Database with PostgreSQL」を正式サービスとして提供開始 オラクルはOracle Cloud上でPostgreSQLをマネージドサービスとして提供する「OCI Database with PostgreSQL」の正式サービス化を発表しました。 同社はデータベースに最適化されたストレージ（DbOS：Database Optimized Storage）を用いることでトランザクション処理エンジンがストレージ層から切り離されており、これにより標準の PostgreSQL 構成と比較して最大3倍の性能向上が実現されているとのことです。 DbOSは、異なるアベイラビリティドメインに分散配置されたストレージで構成された仮想的な共有ブロックストレージです。ストレージ間でクオラムベースのレプリケーションが行われています。
GitHub - chartdb/chartdb: Free and Open-source database diagrams editor, visualize and design your DB with a single query.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Git's database internals I: packed object store
Deno KV - a global database for global apps
Go で SSH 超しに PostgreSQL に接続できる database/sql ドライバを作った。
SQLite the only database you will ever need in most cases
CVE-2021-44228 - GitHub Advisory Database
Nile Database — Serverless Postgres for modern SaaS
Baserow - Open source no-code database
MySQL のロック範囲は実行計画で変わるという話 - mita2 database life
Introducing arcticDB: A database for Observability
The vector database to build knowledgeable AI | Pinecone