先日開催された Microsoft Build 2023 では Azure Cosmos DB の新機能が数多く公開されました。ぶっちゃけかなり大規模な機能追加となっているので、気になる機能は個別に検証しつつまずは全体として NoSQL API に関連するアップデートをまとめることにします。 とはいえ基本は Cosmos DB Blog で公開された以下の記事を参照してもらえれば問題ないです。 この中で一番使われているはずの NoSQL API に関係するアップデートは以下になります。GA / Preview 合わせてかなり多く、しかもそれぞれがかなり重要度が高い機能になっています。特に Burst Capacity は今すぐ有効化する価値があります。 Burst Capacity が GA Hierarchical partition keys が GA 1TB Serverless C
AWS Security Hub の『基礎セキュリティのベストプラクティス』に追加された 16個のコントロールを見てみる【2021/05アップデート】 | DevelopersIO
はじめに 2021/05/10 に Security Hub の 『基礎セキュリティのベストプラクティス』に 新しくコントロールが追加されていました。 Added new controls for Amazon API Gateway (APIGateway.2 and APIGateway.3), AWS CloudTrail (CloudTrail.4 and CloudTrail.5), Amazon EC2 (EC2.15 and EC2.16), AWS Elastic Beanstalk (ElasticBeanstalk.1 and ElasticBeanstalk.2), AWS Lambda (Lambda.4), Amazon RDS (RDS.12 – RDS.14), Amazon Redshift (Redshift.7), AWS Secrets Manager
短い説明 Amazon RDS for MySQL は非同期レプリケーションを使用します。つまり、レプリカがプライマリ DB インスタンスに追いつけない場合があります。その結果、レプリケーションの遅延が発生する可能性があります。 レプリケーションラグを監視するには、Amazon RDS for MySQL リードレプリカとバイナリログファイルの位置ベースのレプリケーションを使用します。 Amazon CloudWatch で、Amazon RDS の ReplicaLag メトリックを確認してください。ReplicaLag メトリックは、SHOW SLAVE STATUS コマンドの [Seconds_Behind_Master] フィールドの値を報告します。 [Seconds_Behind_Master] フィールドには、レプリカ DB インスタンスの現在のタイムスタンプの違いが表示され
Amazon DocumentDB (MongoDB 互換) でのランプアップ | Amazon Web Services
Amazon Web Services ブログ Amazon DocumentDB (MongoDB 互換) でのランプアップ Amazon DocumentDB (MongoDB 互換) は、MongoDB のワークロードをサポートする高速でスケーラブル、かつ可用性に優れた完全マネージド型のドキュメントデータベースサービスです。ドキュメントデータベースである Amazon DocumentDB は、JSON データの保存、クエリ、およびインデックスを容易にします。Amazon DocumentDB には MongoDB 3.6 のドライバおよびツールとの互換性があります。現在すでに MongoDB データベースで使用しているアプリケーション、ドライバ、およびツールの多くは、変更なし、またはわずかな変更のみで Amazon DocumentDB で使用することができます。 このブログ記事で
Amazon Web Services ブログ Amazon Aurora MySQL3におけるバイナリログの最適化 本記事は、2024年5月17日に公開された Binary logging optimizations in Amazon Aurora MySQL version 3 を翻訳したものです。 MySQLのバイナリログ(binlog)は、MySQLサーバ上のデータベースの変更を”イベント”と呼ばれる論理フォーマットでキャプチャするために使用されます。これらのデータベース変更には、DCL(CREATE USERやGRANTなど)、DDL(CREATE TABLE、ALTER TABLEなど)、DML(INSERT、UPDATE、DELETEなど)が含まれます。そのような変更がMySQLでコミットされると、サーバは 2-phase commit(2PC)を用いてトランザクションのバ
AWS Backup adds support for continuous backup and point-in-time recovery of Amazon RDS instances
AWS Backup adds support for continuous backups and point-in-time recovery (PITR) of Amazon Relational Database (Amazon RDS) instances. You can now streamline your backup planning, management, and access control to Amazon RDS continuous backups in addition to the existing support of scheduled Amazon RDS snapshots. You no longer need to coordinate backup windows, retention periods, or access control
Is Amazon RDS for PostgreSQL or Amazon Aurora PostgreSQL a better choice for me? | Amazon Web Services
AWS Database Blog Is Amazon RDS for PostgreSQL or Amazon Aurora PostgreSQL a better choice for me? If you’re planning to move your self-managed PostgreSQL database or refactoring your commercial databases to PostgreSQL on AWS, you have to decide which database service best suits your needs. Amazon Relational Database Service (Amazon RDS) supports two types of Postgres databases: Amazon RDS for Pos
TL;DR; 殆の場合において論理削除は不要。素直にRDBの機能を使うかイベントソーシングパターンを導入する。 なんで今更論理削除の話を？ 散々議論されていて皆さん飽き飽きしている話題だと思いますが、今一度個人的にまとめたかったからです。 実際にできる/できないではなく、テーブル設計的にあるべき姿かどうか・実装運用時にどうなるかに重きを置きます。何度か論理削除を利用したプロダクトに関わった経験に基づく個人的な感想です。PostgreSQLベースです。 そもそも論理削除とは RDBのテーブルに「削除済み」を意味するカラムを追加することで、DELETEを発行せずに論理的に削除を表現する手法です。良くある実装には、Booleanのフラグで表現するものと、削除タイムスタンプ (削除されていない場合はNULL) で表現するものがあります。これに加えて、論理削除されたレコードが見えないようにしたVie
DynamoDB のデータを Amazon Ion 形式で S3 にエクスポートし Athena からクエリする | DevelopersIO
DynamoDBのエクスポート機能でAmazon Ion形式でエクスポートしAthenaからクエリして、集計バッチとして利用する様子をご紹介します ども、大瀧です。 先日DynamoDBはバッチ処理よりストリーム処理が得意という記事が話題になりましたが、本ブログではバッチのアーキテクチャを紹介します!! DynamoDBのエクスポート機能 DynamoDBには継続的バックアップ(PITR)で取得したスナップショットをAmazon S3にエクスポートする機能があり、ある時点のデータを元にしたバッチ処理をテーブルの読み込み容量を消費せずに実行できます。 S3にエクスポートするときのデータ形式はDynamoDB JSONとAmazon Ionテキスト形式の2つから選択できます。IonにはDynamoDBのデータ型を保持する仕組みが内包されているため、JSONやJavascript周りのデータ型変
バグの発見 原因解析 - RECOVERYHISTORYファイルとはなにか？- RECOVERYHITORYファイルのその後は？ まとめ 本バグの影響は？ 私自身PostgreSQL本体の開発やバグ修正を何度か行っているのですが、最近リカバリ機能周りで面白いバグを修正したので、バグの発見から原因の特定、修正まで実際に行ったことを紹介しようと思います。これからPostgreSQLに貢献していきたい、開発を始めたいという方に参考になると嬉しいです。 本バグはすでに修正されているため、再現したい方は9.5.19以前、9.6.15以前、10.10以前、11.5以前のどれかを使うか、開発用ブランチを使う場合は、コミットdf86e52cace2c413よりも古いコードを利用してください 本記事ではPostgreSQLの開発用ブランチ(materブランチ)を使用しています。PostgreSQLのソースコ
背景・目的 AWSが2023年9月26日にAmazon DynamoDB(DDB)からAmazon S3(S3)へのインクリメンタルエクスポート機能を発表いたしました。この新機能により、どのようにデータ管理が変わるか、実際に手を動かしながら基本的な挙動を確認してみます。 まとめ AWSの増分エクスポート機能により、挿入、更新、または削除されたデータを少量ずつエクスポートでき、数メガバイトからテラバイトのデータ範囲に対応しています。 ポイントインタイムリカバリが有効なDDBテーブルが対象です。 指定した期間の増分データをS3バケットにエクスポートします。 この機能はフルマネージドであり、DDBの容量を消費せず、定期的なデータ更新が容易になります。 サポートされているデータ形式はDynamoDB JSONとAmazon Ionです。 これにより、テーブル全体を毎回エクスポートする必要がなく、変
Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service is now available | Amazon Web Services
AWS News Blog Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service is now available Today, we are announcing the general availability of Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service, which lets you perform a search on your DynamoDB data by automatically replicating and transforming it without custom code or infrastructure. This zero-ETL integration reduces the
はじめに 久しぶりの投稿になりますが、2023年4月20日と21日に幕張メッセで開催されたAWS Summit Tokyoに行ってきました。 今回は、私が参加した4月20日の内容と雰囲気などについての感想記事を書きたいと思います 雰囲気 幕張メッセに入ると受付があり、事前に印刷した受講票で入場しました。 9時受付開始で、9時20分頃に入場しましたがその時点で結構な数の人が会場にいました。 5,6年前くらいに参加したAWSサミットより人が多く感じました。 それもそのはず、コロナの影響もあって4年ぶりの現地開催ということで、みなさん待ち望んでいたのかもしれませんね 会場はとてもムーディーな感じの照明になっていて、広さと相まってあらためて規模の大きさを肌で感じました。 最初のセッションの基調講演が10時半開始だったのですが、10時前くらいから基調講演開始までDJ 田中知之さんによる音楽が生で流れ
Backup/Restore Performance Conclusion: mysqldump vs MySQL Shell Utilities vs mydumper vs mysqlpump vs XtraBackup
A little bit ago, I released a blog post comparing the backup performance of different MySQL tools such as mysqldump, the MySQL Shell feature called Instance Dump, mysqlpump, mydumper, and Percona XtraBackup. You can find the first analysis here: Backup Performance Comparison: mysqldump vs. MySQL Shell Utilities vs. mydumper vs. mysqlpump vs. XtraBackup However, we know the backups are just the fi
We are creating our own Kubernetes operator for clustering MySQL instances for the following reasons: Firstly, our application requires strict-compatibility to the traditional MySQL. Although recent MySQL provides an advanced clustering solution called group replication that is based on Paxos, we cannot use it because of various limitations from group replication. Secondly, we want to have a Kuber
Archived 信頼性の柱 AWS Well-Architected フレームワーク 2020 年 4 月 This paper has been archived. The latest version is now available at: https://docs.aws.amazon.com/ja_jp/wellarchitected/latest/reliability-pillar/ welcome.html Archived 注意 お客様は、この文書に記載されている情報を独自に評価する責任を負うものとします。本書 は、(a) 情報提供のみを目的としており、(b) AWS の現行製品と慣行ついて説明していますが、 予告なしに変更されることがあり、(c) AWS およびその関連会社、サプライヤーまたはライセ ンサーからの契約上の義務や保証をもたらすものではありません。AWS
AWS Backup が Amazon RDS インスタンスの継続的なバックアップとポイントインタイムリカバリのサポートを追加
AWS Backup は、Amazon Relational Database (Amazon RDS) インスタンスの継続的なバックアップとポイントインタイムリカバリ (PITR) のサポートを追加します。スケジュールされた Amazon RDS スナップショットの既存のサポートに加えて、バックアップの計画、管理、および Amazon RDS 継続バックアップへのアクセス制御を合理化できるようになりました。 Amazon RDS と AWS Backup の間で、バックアップウィンドウ、保持期間、またはアクセス制御を調整する必要がなくなりました。AWS Backup から直接 Amazon RDS インスタンスのポイントインタイムリカバリを実行することもできます。 AWS Backup により、AWS のサービス全体でデータ保護を一元化および自動化できます。費用対効果の高い、ポリシーベー
GCP を試す$300 分の無料クレジットと 20 以上の無料プロダクトがある Google Cloud で構築を始めよう 無料トライアル ※この投稿は米国時間 2020 年 11 月 6 日に、Google Cloud blog に投稿されたものの抄訳です。 このたび、PostgreSQL、MySQL、SQL Server に対応したフルマネージド データベース サービスである Cloud SQL が、新たに PostgreSQL 13 をサポートすることとなりました。コミュニティでの一般提供のすぐ後に PostgreSQL 13 が利用できるようになるので、PostgreSQL の優れた最新機能にアクセスできることはもちろん、手間のかかる運用上の作業は Cloud SQL に任せて、チームはアプリケーションをすばやく配信することに注力できます。 PostgreSQL 13 が提供する数
Point-in-time recovery and continuous backup for Amazon RDS with AWS Backup | Amazon Web Services
AWS Storage Blog Point-in-time recovery and continuous backup for Amazon RDS with AWS Backup Today, AWS Backup is announcing support for continuous backup and point-in-time recovery (PITR) of Amazon Relational Database Service (Amazon RDS). This feature enables customers to recover Amazon RDS backup data from a specified time within their retention period. With this feature, database and backup ad
2024年5月22日紙版発売 2024年5月22日電子版発売 yoku0825，北川健太郎，tom__bo，坂井恵 著 B5変形判／232ページ 定価3,080円（本体2,800円＋税10%） ISBN 978-4-297-14184-4 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle honto この本の概要 「サーバー故障やヒューマンエラーに備えるには？」 「アクセス数の増加時にパフォーマンスを保つには？」 「異常検知をして復旧するには？」 運用・管理における長く役立つ視点を，実践経験豊富なエンジニアがどのように動いているのかをふまえて解説。 本書では，MySQLサーバーの稼働状況の確認方法といった基礎知識を始め，アカウントの権限の評価順序や認証プラグインなど，運用管理者として
EC2のバックアップ運用について思いを馳せる を語りました #jawsug #opsjaws | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 2024/3/11に「OpsJAWS Meetup#27 EC2の運用と監視」が開催されました。 直近でEC2のバックアップについて調査・検証していたこともあり、その知見をアウトプットするために登壇してきました。 登壇概要 「EC2を良い感じにバックアップして欲しい」という要望をいただいた際の要件整理や、バックアップ取得のサービス比較についてまとめました。 AMI取得時に再起動あり＆バックアップ失敗通知を簡単に設定したい、という点にフォーカスした場合、弊社が無料で提供しているopswitchも十分に採用候補になることが伝わるかと思います。 登壇動画 登壇資料 QAの補足 ありがたいことに、Meetup後にバックアップの質問を頂きました。 EC2とRDSのバックアップをBCP目的でバックアップする場合はどうしたら良いか、
痛快血みどろFPS『ULTRAKILL』が“性玩具”に公式対応。高い技術力の暴走が「振動機能」を爆速実現 - AUTOMATON
FPSゲーム『ULTRAKILL』公式Twitterアカウントは12月8日、公式Modによる外部デバイスへの対応を告知した。そのデバイスとは、性玩具である。ゲーム内の状況に連動して、人体に挿入したデバイスが動くようになるという。本稿に成人向け映像などは含まれないものの、性玩具単体の映像や文章描写が含まれるため注意してほしい。 『ULTRAKILL』は、Steamにて早期アクセス配信中の1人プレイ向けFPSゲーム。個人開発者のArsi “Hakita” Patala氏が中心となって手がけている。本作は“Devil may Quake”なるキャッチコピーを標榜しており、『デビル メイ クライ』シリーズのコンボメカニックと、『Quake』シリーズのスピード感を組み合わせたゲームプレイが特徴だ。プレイヤーは高い機動力でステージを駆け抜け、多彩な手段で敵を殺戮。敵の返り血を浴びて回復するシステムとな
Point-in-time recovery (PITR) overview | Spanner | Google Cloud
Send feedback Point-in-time recovery (PITR) overview Stay organized with collections Save and categorize content based on your preferences. Spanner point-in-time recovery (PITR) provides protection against accidental deletion or writes. For example, if an operator inadvertently writes data or an application rollout corrupts the database, with PITR you can recover the data from a point-in-time in t
これは、なにをしたくて書いたもの？ ちょっとTF-IDFをちゃんと見てみたくなりまして。 せっかくなので、1度自分で実装してみようかな、と。 TF-IDF TF-IDFは、文書中に含まれる単語の重要度を評価する手法のひとつです。 tf-idf - Wikipedia tf-idfについてざっくりまとめ_理論編 ｜ Developers.IO TF（Term Frequency ＝ 単語の出現頻度)とIDF（Inverse Document Frequency ＝ 逆文書頻度）の積で求められ、TFとIDFはそれぞれ 以下の定義です。 TF … 文書dにおける単語tの出現回数を、文書dにおけるすべての単語の出現回数の和で割ったもの IDF … 総文書数を単語tを含む文書数で割り、その常用対数（log）をとったもの 「ある文書中によく登場する単語」は重要度が上がり（TF）、また単語が出現する文書
【書き起こし】Cloud SpannerとMerpayの歩み – sinmetal / apstndb 【Merpay Tech Fest 2022】 | メルカリエンジニアリング
【書き起こし】Cloud SpannerとMerpayの歩み – sinmetal / apstndb 【Merpay Tech Fest 2022】 Merpay Tech Fest 2022 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2022年8月23日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「Cloud SpannerとMerpayの歩み」の書き起こしです。 @sinmetal：こんにちは。ここからは私と@apstndbさんで「Cloud SpannerとMerpayの歩み」についてお話しします。 自己紹介 @sinmetal：@sinmetalと申します。ソリューションチームに所属しております。元々Google
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Build 2023 で発表された Azure Cosmos DB のアップデート - しばやん雑記
MySQL 用 Amazon RDS による高いレプリカラグのトラブルを解決します
Amazon Aurora MySQL3におけるバイナリログの最適化 | Amazon Web Services
論理削除について再考、そしてイベントソーシングへ - 水底
PostgreSQLのリカバリ周りのバグを修正してみた - 問題発見編 -
DynamoDB の S3への増分エクスポートを試してみた - Qiita
AWS Summit Tokyo 2023に行ってみた感想 - Qiita
moco/docs/design.md at main · cybozu-go/moco
ARCHIVED: AWS Reliability Pillar
Cloud SQL が PostgreSQL 13 をサポート | Google Cloud 公式ブログ
MySQL運用・管理［実践］入門 〜安全かつ高速にデータを扱う内部構造・動作原理を学ぶ
TF-IDFを実装してみる（Java） - CLOVER🍀