こんにちは、菊池です。 個人的には待ちに待ったサービスです!AWSに新しいマネージドデータベースサービスである、Amazon DocumentDB(with MongoDB Compatibility)が登場しました。 New – Amazon DocumentDB (with MongoDB Compatibility): Fast, Scalable, and Highly Available Amazon DocumentDB Amazon DocumentDBは、MongoDBと同様にBSONフォーマット対応したドキュメント指向のデータベースです。 特徴 スケーラビリティ ストレージは最小10GBから、最大で64TBまで自動で拡張します。15.25 GBから488GBまでのメモリをもつインスタンスから選択可能で、最大で15台のリードレプリカ(合計16台)を構成できます。 信頼性 デ
AWS News Blog New – Amazon DocumentDB (with MongoDB Compatibility): Fast, Scalable, and Highly Available A glance at the AWS Databases page will show you that we offer an incredibly wide variety of databases, each one purpose-built to address a particular need! In order to help you build the coolest and most powerful applications, you can mix and match relational, key-value, in-memory, graph, time
こんにちは。開発部の廣瀬です。 本記事では、昨年障害が発生してしまったZOZOTOWNの福袋発売イベントについて負荷対策を実施し、今年の福袋イベント期間を無傷で乗り切った話をご紹介したいと思います。 大規模サイトの障害に関する生々しい話はあまり公開されていないように思いますので、長くなってしまいましたが詳細に書いてみました。尚、今回のお話は弊社のサービスで使用しているDBMSの1つである、SQL Serverに関する話題がメインです。 福袋イベント「ZOZO福袋2019」とは 年に1度、多数のブランドの福袋が一斉に発売される、ZOZOTOWNの年末の風物詩的イベントです。今年は450以上のブランド様にご参加いただきました。お客様からも毎年大変ご好評いただいており、年間を通して最も多くのトラフィックを記録するイベントの1つです。 アクセスが殺到するが故に、昨年は福袋の発売直後からエラーが多発
Ubiregi Advent Calendar 2018 の 18 日目です。 ユビレジではたくさんのお客様の大量の POS データをお預かりしており、様々なバッチ処理も実行されています。今回は特定のケースでバッチ処理の一部が 30 分以上かかっていた処理を 14 秒で終わるようにした話について書きたいと思います。前回の Ruby 2.5 の SEGV と闘った話 - @watson1978 の日記 に引き続き DTrace を使った話になります。 はじめに ユビレジでは CSV ファイルでお客様が特定のデータをダウンロードしたりアップロードできる機能があります。CSV ファイルにエクスポートしたり、CSV ファイルから DB に取り込む処理を Worker を起動してバッチ処理しています。 大量のデータを保有しているアカウントと同量のデータを用意して手元の環境で試したところ時間がかかるこ
AWS re:Invent 2018 においてフルマネージドの台帳データベースである、Amazon Quantum Ledger Database (QLDB) という新サービスが発表されました! Amazon Quantum Ledger Database (QLDB) Amazon QLDBはフルマネージドの台帳データベースで、組織内の経済活動や財務活動を記録するようなアプリケーションを開発している場合、変更履歴の管理をQLDBに任せることが可能になります。 利点は以下になります 不変かつ透過 : QLDBのジャーナルは追記のみ可能で削除も変更も不可。一方で変更履歴の参照は容易 暗号的に検証可能 : QLDBでは変更時にダイジェストが発行され、検証可能 スケーラブル : QLDBは一般的なBlockchainフレームワークと比べて2,3倍のトランザクションを処理可能 サーバーレス :
先程、公式ブログにてDynamoDBのトランザクションがネイティブでサポートされた事が発表されました!! DynamoDBトランザクションは、単一のAWSアカウントおよび領域内の複数のテーブルにわたって、原子性、一貫性、分離性、耐久性 (ACID)を提供します。 1つの論理的なビジネス操作の一部として、複数のアイテムに対するコーディネートされた挿入、削除、または更新を必要とするアプリケーションを構築するときに、 トランザクションを使用できます。DynamoDBは、複数のパーティションとテーブル間でトランザクションをサポートする唯一の非リレーショナルデータベースです。 新機能 TransactGetItems TransactWriteItems 各ドキュメント API TransactGetItems TransactWriteItems CLI transact-get-items tr
Amazon Web Services ブログ Amazon Aurora PostgreSQL によるフェイルオーバー レプリケーション、フェイルオーバー、レジリエンス、災害対策、バックアップ—従来の、または非クラウドベースのアーキテクチャでは、これらの一部またはすべてを実現するのはとても困難です。さらに、時にはかなりのリエンジニアリング作業が必要になることがあります。関係する実装やインフラストラクチャのコストが高いため、一部の企業では最も重要なアプリケーションのみが適切に保護されるようにアプリケーションを階層化せざるを得ません。 こうした懸念は、Amazon Aurora for PostgreSQL に移行すること軽減できます。AWS は、Oracle、MySQL、PostgreSQL、Aurora を含む (ただしこれらに限定されない) 幅広い種類のリレーショナルデータベースエンジ
By 禁书 网 日本時間で2018年7月16日の正午に始まったAmazonプライムデー2018では、セール開始直後にサーバーがダウンして約1時間にわたってアクセス障害が発生しました。Amazonが内部調査を行って作成した報告書によると、この問題は取引のデータベース(DB)を従来のOracle製から自社製に乗り換えたことが最大の理由である可能性が高まっています。 Amazon move off Oracle caused Prime Day outage in warehouse https://www.cnbc.com/2018/10/23/amazon-move-off-oracle-caused-prime-day-outage-in-warehouse.html Amazonプライムデー2018は同社にとって「史上最高」となるセールス記録を樹立しました。Amazonは売上高を公表しな
1. LINEのMySQL運用についてKentaro Kitagawa, IT service center - database department - db1 team DB Tech Showcase 2018 2018/09/20 2. l 北川 健太郎 / Kentaro Kitagawa l LINE株式会社 l IT Service Center - Database dept.- DB1 Team l データベースエンジニア l MySQL / Oracle Database / Redis l MySQL道普請: http://gihyo.jp/dev/serial/01/mysql-road-construction-news Introduction @keny_lala
こんにちは、エンジニアの大迫です。 Kaizen Platformでは、以前からGoogle BigQueryを利用して、ウェブサイトの行動ログや広告の配信レポートなど様々なデータを保存・活用できるような仕組みを整え、お客様のウェブサイトや広告クリエイティブの改善に取り組んできました。特にここ最近では、非エンジニア向けにBigQueryやSQLの社内勉強会が行われたり、 @ikedayu によりProduction以外のメンバーでも気軽にデータ分析ができる仕組みが作られたりして全社的にBigQueryの利用が広がっています。 その一方で、データを活用できる人が増えた結果として、BigQueryのクエリ料金も増えていく傾向になっています。 せっかくエンジニア以外でも分析できる仕組みがあるのに、クエリコストが気になってクエリ書くのが怖くなってしまってはもったいないので、こちらの記事にあるように
MySQL(MariaDB)には、レンジパーティションってものがありまして、うーなんでしょ?ある規則にしがったデータをおのおののデータファイルに振り分けてくれるストレージエンジン的なものです。 データ領域が分割されるため、大量のデータを処理することによる性能上のボトルネックの発生を抑えられる MyISAMなど、テーブルサイズに上限がある場合でもそれ以上のデータを格納することが可能になる といった点です。 MySQLでもMariaDBでも、古いバージョンからある機能ではありますが、数百万規模のデータですとSQLの条件によって、読み込む分母のレコード数が少なくなるため、パフォーマンスは向上するわけですね。 サンプルテーブル こんなテーブルを作ってみました。非パーティショニングテーブルですね。つまり普通のテーブルです。これをベースにパーティショニング化を検証してみます。 | sample_tab
Photo by Samuel Mann こんにちは。谷口です。 「SQLは何となく書けるけど、DB設計はしたことない…」「DB設計について一度ちゃんと学んでおきたい…」という人は多いですよね。 DB設計とは、DBのデータモデル(DBの構成など)を作成する作業です。 DBを一から作ったり、テーブルを追加したりする際は、当然ですが「今あるデータが何となく格納できればそれでOK」ではありません。 テーブルは正規化できていないといけませんし、データの整合性も取れないといけません。また、効率よくデータが取れる構造になっているかどうかも重要です。 一から設計に取りかかるようなケースは少ないかもしれませんが、DBを取り扱うことがあるなら、こうしたDB設計の基本は知っておいて損はありません。むしろ自分が扱うDBの構造はきちんと知っておかないと、「なんか適当にSQL投げたらデータ取れたけど、正しく取れてる
Amazon Web Services ブログ Amazon Dynamo DB グローバルテーブル 東京リージョン対応のお知らせ みなさん、こんにちわ。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 Amazon DynamoDBのグローバルテーブル機能が東京リージョンに対応しましたのでお知らせいたします。 DynamoDBはどのような規模でも信頼性が高いパフォーマンスを維持できる、完全マネージド型の非リレーショナルデータベースです。グローバルテーブルの機能により、マルチリージョン、マルチマスターのデータベースを構築することが可能となり、そのレイテンシーを 10 ミリ秒未満に維持できるようになります。選択した AWS リージョンにテーブルの更新内容を自動的にレプリケーションすることができ、また、グローバルテーブルを使用して、DynamoDB
Photo by Michael Mandiberg こんにちは。谷口です。 皆さんはSQLは得意ですか? 使えるようになりたいけど、どう勉強したらいいかわからない… なんとなく簡単なSELECT文なら書けるけど実は苦手… という方も多いかと思います。 最近はエンジニア以外の職種でも「SQLを習得したい!」という方が増えてきました。 SQLを学ぶにはデータベースが必要なため、かつては勉強したくても始めるまでのハードルが高いことが難点でした。ただ、最近はオンライン上でSQLを学べるコンテンツが増えてきています。 そこで今回はSQLの勉強&練習に役立つサイトを6件ご紹介します。 【目次】 SQLとは? Progate paizaラーニングの「DB/SQL入門編」 ProgrammingKnowledge:Beginners MYSQL Database Tutorial 1 Codecadem
VPoEの小笠原(@yamitzky)です。技術評論社出版「WEB+DB PRESS」の今月号の特集「実践サーバレス」にJX通信社のエンジニア3名で寄稿しました。WEB+DB PRESSで初めてのサーバレス特集とのことです。発売日は6月23日(土)です。 WEB+DB PRESS Vol.105|技術評論社 きっかけ 今年の春頃、デブサミ2018でNewsDigestのサーバレスに関して発表させていただいたのですが、資料をご覧になった技術評論社の担当者の方にお声がけいただきました。 www.wantedly.com 特集の構成と見どころ 前半は導入、中盤は実践、後半は運用、といった構成になっています。 第1章:サーバレスとは何か・・・メリットと制限を正しく知る 第2章:サーバレス環境の作り方・・・AWS LambdaでHello World 第3章:サーバレスなAPIを作ろう・・・APIの
MariaDB 10.3と、それをコアとするMariaDB TX 3.0がリリースされた。新機能としてOracle Database互換機能を搭載したのが目玉だ。今後もMariaDBはエンタープライズ向けに強化されていくと見られる MaridaDBは、オープンソースで開発しているリレーショナルデータベースの最新版「MariaDB Server 10.3」の正式リリースを発表しました。 Out of RC and onto GA. We're excited to announce that MariaDB Server 10.3 is available for download today. — MariaDB Corporation (@mariadb) 2018年5月25日 同社は同時に、MariaDB Server 10.3をコアデータベースとし、MariaDB ClusterやM
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く