ZOZOTOWNで最大級のトラフィックを記録する福袋発売イベントで実施した負荷対策 - ZOZO TECH BLOG
こんにちは。開発部の廣瀬です。 本記事では、昨年障害が発生してしまったZOZOTOWNの福袋発売イベントについて負荷対策を実施し、今年の福袋イベント期間を無傷で乗り切った話をご紹介したいと思います。 大規模サイトの障害に関する生々しい話はあまり公開されていないように思いますので、長くなってしまいましたが詳細に書いてみました。尚、今回のお話は弊社のサービスで使用しているDBMSの1つである、SQL Serverに関する話題がメインです。 福袋イベント「ZOZO福袋2019」とは 年に1度、多数のブランドの福袋が一斉に発売される、ZOZOTOWNの年末の風物詩的イベントです。今年は450以上のブランド様にご参加いただきました。お客様からも毎年大変ご好評いただいており、年間を通して最も多くのトラフィックを記録するイベントの1つです。 アクセスが殺到するが故に、昨年は福袋の発売直後からエラーが多発
なぜAWS LambdaとRDBMSの相性が悪いかを簡単に説明する - Sweet Escape
2020/01/20 Update: 本エントリの内容は2019年12月3日にアナウンスされた『Amazon RDS Proxy』のリリースにより完全に陳腐化しました。過去のアンチパターンがフィードバックをもとにした改善によってアンチパターンではなくなるという最高の事例です。 サーバーレス元年始まった！ 今年がサーバーレス元年な理由. それはLambdaに以下が揃ったから. ・カスタムランタイムで実質どんな言語でも利用可能 ・VPC利用時のコールドスタート改善 ・Provisioned Concurrencyでスパイク対応も可能 ・RDS ProxyでRDBとの接続が現実的に これまで5年で受けたフィードバックがついに結実. 強い— Keisuke Nishitani (@Keisuke69) 2020年1月19日 RDS Proxyの詳細はこちらからどうぞ。まだプレビューですがぜひ試して
#ronsakucasual DBの論理削除についてひたすら共有する 論理削除 Casual Talks #1 にいってきたまとめ - もぐめぽろぐ
名前 とりあえず削除フラグ 目的 エンドユーザから見るとデータがないことにしたいけど、実際のデータは消したくない 削除したデータを検索したい データを消さずにログに残したい 誤った操作をなかったことにしたい、直ぐに元に戻したい アンチパターン 例えばis_deletedというカラムがtrueの場合は削除されているとみなす メリット update文ならデータが簡単に元に戻せる気がするのでなんとなく安心 -> 俺のupdate文でなんとかなる！！ 起こること SELECTするときには常にWHERE句が追加で必要になり、コードが削除フラグだらけになる 全員テーブル設計に精通してるわけではないので、テーブルによって削除フラグの有無があったりした場合、認識の齟齬を生みやすい 例えばrubyでdefault_scopeを用いて、よかれとおもってコードレベルでデフォルトを変えたらバグがたくさん出てくる
ホーム | Let's POSTGRES
メインコンテンツに移動 お知らせ Let’s Postgres 運営管理についてのお知らせ コンテンツメニュー 導入検討 と 入門 インストール 運用管理 チューニング 新機能: 16 / 15/ 14 / 13 / 12 / 11 / 10 / 9.6 / 9.5 / 9.4 / 9.3 トラブルシュート サポートとFAQ 事例紹介 イベントレポート リンク集 レプリケーション / クラスタ構成 XML / PostGIS / 拡張モジュール パーティショニング / テキスト検索 Window関数 / 再帰SQL / 外部データ連携 文書: 15 / 14 / 13 / 12 / 11 / 10 / 9.6 / 9.5 Let's PostgreSQL は特定非営利活動法人日本PostgreSQLユーザ会が運営しています。 RSS feed
IBMもNoSQLデータベースを製品化へ。オープンソースを基に
オラクルがNoSQLデータベース製品をリリースしたのに続き、IBMも企業向けデータベースとしてNoSQLの製品化を明らかにしました。 IBMのデータベースサーバ担当CTOでバイスプレジデントのCurt Cotner氏は、10月23日にラスベガスで開催された同社のイベント「Information OnDemand 2011」で、NoSQLデータベース製品の提供を明らかにしました。来年登場予定で、DB2とInformixユーザーに無償で提供されるとのこと。 同氏の発言は、Information OnDemand 2011のインタビュー動画で参照できるほか、米SearchDataManagement.comの記事「IBM to unveil NoSQL technology inside DB2」が伝えています。 オープンソースのNoSQLデータベースがベース 米SearchDataManage
11/05/11 OTN セミナー資料（パフォーマンスチューニング －待機イベント－） | Insight Technology, Inc.
本日の OTN Evening Seminar 資料（パフォーマンスチューニング －待機イベント－）をアップします。 今後、より多くの待機イベント別の対処方法を追加し、リファレンスとして利用できるような資料に更新していければと思っています。 ダウンロードはこちら→ ※2011/5/12 16:42 一部、誤字を修正しました。 Ryo Matsuo の紹介 Exadata 使い。2009 年インサイトテクノロジー入社。メルマガから伝わってくるアットホームな雰囲気、高い技術力、探究心に惹かれて入社しました。入社後は色々な新しいチャレンジを経験させて頂き、刺激的な日々を送っています。この blog では、より多くの情報を発信していきたいと思っていますので、お気軽にコメント下さい！
http://landingpad.oracle.com/webapps/dialogue/ns/dlgwelcome.jsp?p_ext=Y&p_dlg_id=9575302&src=7027600&Act=54
Oracle Database 11g: Interactive Quick Reference Your Essential Guide to Oracle Database 11g Release 2 Oracle Database 11g Release 2 Enterprise Edition provides comprehensive features to easily manage the most demanding transaction processing, business intelligence, and content management applications. Now you have easy access to information that you need to administer your Oracle Database with o
NoSQL 時代のデータモデル
Masayoshi Hagiwara @masayh RDBMS対Hadoopという比較自体は適切ではない。正確には、RDBMSとHadoopにおける並列アルゴリズムやデータ管理技術の比較。すでにRDBMSのアルゴリズムはデータ管理技術は非RDBMS化していて、それはHadoopやその他のNoSQLにも適用可能となっている。 2010-11-05 14:09:34 Masayoshi Hagiwara @masayh たとえば、NoSQLでもスキーマや正規化の考え方を設計に取り入れた方がいいし、それを実装に入れて、現在のNoSQLの持つデータモデルの優位性を損なうことなく最適化することができるでしょう。 2010-11-05 14:12:20 Masayoshi Hagiwara @masayh 関係代数や関係論理といった技術的基盤をもっと参照して、現在のNoSQLやその他のデータ管理技術
信じられないDB文化「Join禁止」に「固定長DB」、、でも、合うんです。大規模コンシューマ向けサービスのRDB設計 - レベルエンター山本大のブログ
僕らが最近手がけているのは、とても大規模なコンシューマ向けサービスだ。 100万人の契約ユーザが使い、1テーブルに1億レコード以上のデータを貯め、24時間止めることが許されず、 要求から応答までのターンアラウンドタイムが1秒以内という厳しいSLAのサービスである。 中でも僕はRDBやフレームワークを担当している。 僕がこの現場に来て、驚愕した文化が2つある それは「Join禁止」と「固定長DB」だ。 ありえない。 とはいえ、正直に言えば「またか、、、」という感想でもある。 RDBを知らないレガシーな人たちが設計したDBではよくありがちな設計だからだ。 と僕は早々にこの文化と戦って、絶対に覆してやろうと考えてた。 過去の経験上それはたやすいハズだった。 しかし、この文化と戦うこと3ヶ月間。 屈した。初めて屈した。いや、屈したというよりは理解した。 大規模コンシューマ向けサービスのRDBという
第4回 スキーマレスで柔軟に扱えるMongoDB | gihyo.jp
はじめに 今回はドキュメント指向型データベースの代表としてMongoDBを取り上げます。ドキュメント指向型データベースはRDBMSと違って、スキーマ（テーブル定義）が必要ないことが大きな特徴です。 今回も利用したコードやプログラムはgithubに置いてあるので適宜参照してください。 MongoDBの特徴 前々回、前回と紹介したmemcachedやTokyoTyrantは基本的にRDBMSと組み合わせて、「RDBMSの弱い部分を補う」という使い方でした。しかしMongoDBは少し違っていて、JOINが行えないこととトランザクションをサポートしていないこと以外は、ほぼRDBMSと同じように扱うことができるため、「RDBMSの代替として使う」ことが可能です。 上述したようにMongoDBはRDBMSと違ってJOINはできませんが、代わりに基準となるオブジェクトに別のオブジェクトをあらかじめe
門外不出のOracle現場ワザ 第5章
目次 Part1 DB接続のパフォーマンスと管理性を最大化するコネクションプーリングの仕組み コネクションとは？ 接続するタイミング コネクションプーリングの構成要素 コネクションプーリングに付随する技術 共有サーバー構成 OCIコネクションプーリング Part2 Java ＆.NETで使えるコネクションプーリング究極の選択 Javaにおけるコネクションプーリング コネクションプーリングの選択基準 コネクションプーリングの実装の紹介 コネクションプーリングの切り替え .NETのコネクションプーリング おわりに Part1 DB接続のパフォーマンスと管理性を最大化するコネクションプーリングの仕組み コネクションとは？ コネクションプーリングについて解説する前に、まず「コネクションとは何か？」を説明しましょう。 アプリケーションがOracleを用いてSQLを実行するためには、OracleにS
キャッシュの大きいRDB vs インメモリデータベース、性能がどれだけ違うのか調べてみると
2週間ほど前に「インメモリデータベースがクラウド時代の主流になるという期待」というエントリを書きました。ハードディスクに代わり、メモリをデータベースの永続化手段とするインメモリデータベースは、超高速なアクセスとスケールアウトを実現する、クラウド時代のデータベースの主役になるのではないか、という内容です。 この記事に関して、TechVisorの栗原さんと次のようなやりとりをしました。 確かに、Oracle Real Application Cluster（以下、Oracle RAC）でデータベースが全部載るくらい十分にキャッシュ用のメモリを割り当てれば、メモリ上でデータベースを操作するインメモリデータベースと同じことではないのか、とも思います。 両者の違いは何かあるのでしょうか？ 調べてみることにしました。 インメモリデータベースは1000倍速い 調べてみるとすぐに、両者には明確な性能差があ
Oracle 11g R1新機能のPivotとUnPivot
はじめに Oracle 11g R1新機能のPivotとUnPivotについて、基本事項から使用例まで、SQLのイメージを交えて解説します。 対象読者 OracleのPivotとUnPivotを使いたい方 OracleのSQLの理解を深めたい方 必要な環境 本稿で扱うSQLは、Oracle 11.1.0.6.0で動作確認しました。SQL Server 2005以降でも応用が可能です。 1. PivotとUnPivotとは PivotとUnPivotはOracle 11g R1の新機能で、select文での行列変換を容易に行うことができます。ちなみにPivotとUnPivotは、SQL Server 2005以降でも使用できます。英和辞典によるとPivotの意味は、動詞では「旋回する」、名詞では「中心,軸,旋回軸,かなめ」です。 下記のOracleのselect文の評価順序において、Pivo
ある意味RACより使えるやん Oracle Streams - レベルエンター山本大のブログ
相変わらず大きいプロジェクトでばたばたと色々やってます。 ひょんなことから、システムの可用性設計に関わることになって 当初、めちゃくちゃ作りこみで何とかしようというアイデアしかなかったところへ、 頭をひねってOracle Streamsというのを導入しようということを提案したんです。 OracleStreamsというのは、OralceDataBaseに組み込まれている機能で、（9iから） DBのレプリケーション機能です。 で、お客さんが運よく食いついてくれて、さあ導入のために動き出せると言うことになりました。 で、Oracle Streamsというのを使って色々やってるわけです。 まぁこういう技術検証と方針設計が一番楽しいですね。 （付け焼刃の提案、、、とか色々批判はあるかもですが、まぁ事情が色々ありなのでその辺はご容赦。） OracleStreams仕組みをざっくり言えばこうです。 1.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Postgre sqlから見るnosql
Entity Framework Code First | densan-labs.net
http://japan.internet.com/busnews/20110909/6.html
O/R Mapperを支える技術
Developer Community
LiquiBaseでデータベースマイグレーションとリファクタリング
