SELECT文で本番環境を落としたお話 - Qiita
結果はすぐに帰ってきました。確か2行程度だったと思います。 続けてさらに SQL を実行しようとしました。しかし、ここで同僚から「ソースコードでわからないところがあるんですが…」と声をかけられました。 こちらは急ぎの作業ではなかったので、ターミナルをそのままにして同僚の質問に回答することにしました。 そして約10分後…。 $\huge{「システムがダウンしてるー！」}$ 本番障害となりました。 何が悪かったのか **「トランザクションをかけて SELECT 文を打ったお前が悪い」**ということになりました。 何が起きていたのか ログからシステムの動きを確認したところ、あるスレッドで user_setting テーブルをロックしようとしていたことが分かりました。具体的には、以下の SQL が発行されていました。 この SQL には、ロックモードの指定がありません。この場合、PostgreSQ
postgresのデータを盗まれた話 - のんびりやの日記
はじめに さっぶ。どうも、だーやまんです。 この記事は、本番環境でやらかしちゃった人 Advent Calendar 2019 - Qiitaの11日目の記事です。 これは、中途半端な知識でサービスを運用していた結果、タイトル通りの大失敗をしてしまったお話です。個人開発での出来事なので、業務で起きたことかと胃薬を握られていた方はご安心ください。 語るのもすごい恥ずかしいレベルですが、戒めのために晒しておきます。 この記事を読んでほしい人 初めてインターネット上にサービスを公開しようとしている人 喋太郎の利用者様(この場をお借りして、改めてお詫び申し上げます。本当に申し訳ございませんでした。) 背景とか Discord読み上げBot 「喋太郎」にてやらかしました www.dayaman.work 利用者が約10万人 さくらのVPSにてAppサーバ2台、DBサーバ1台で運用 各サーバの死活監視
ポート開放してたらDB破壊され身代金を請求されかけた話 - 素人エンジニアの開発日記
CA Tech Dojo/Challenge/JOB Advent Calendar 2019 の5日目のエントリーです。 この記事はツッコミどころ満載です。どうぞご自由にツッコんでくださいませ。 大学院休学中の怠け野郎です。 mooriii.com 11/7~11/29にAbemaTVのフロントエンドでCA Tech JOBに参加しました。 １ヶ月のインターン終わりました～！ほんと早すぎた…そしてたくさんアベマくんグッズをもらった😂未熟すぎて若干折れかけたけど最後まで楽しめました！#catechjob pic.twitter.com/10BLtAainu— もーりー⛅ (@_mooriii) 2019年11月29日 インターンでは新規ページの仕様策定〜実装までやらせてもらいました。 ディレクターの方やデザイナーの方と連携しながら仕事をさせてもらいとてもいい経験になりました。 今日は油断
インフラのボトルネックについて知る - ぺい
インフラのボトルネックを理解する コードはもちろん、リリースしてから安定して動かせるように面倒を見るまでが仕事というのが、弊社の開発スタイルなので、そこで最近学んだことについて、文献や自分の実体験からボトルネックに関する考え方をまとめてみた。 CPUボトルネック CPU使用率に対する基本的な考え CPU使用率が80％から90%をずっと推移している！と聞くと、自分のPCの感覚だと、「やばそう」という感覚に陥りますが、インフラにおいての使用率はそうとも限りません。 CPU使用率高い: うまくリソースを使い切っている CPU使用率低い: オーバースペック ただ、高いCPU使用率にも許容出来る度合いがあったりもするので、そこらへんの判断軸などを踏まえて、まとめてみる。 現実世界の例 CPU使用率が高い状態というのは、実世界に置き換えると、店員がみな忙しく働いているという状態です。利用者からすればオ
『データ指向アプリケーションデザイン』を読んだ - hydrakecat’s blog
『データ指向アプリケーションデザイン』を読んだ。たいへんおもしろかった。技術書でこんなにわくわくしながら一気に読んだのは『Androidを支える技術』以来かもしれない。 データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理 作者: Martin Kleppmann,斉藤太郎,玉川竜司出版社/メーカー: オライリージャパン発売日: 2019/07/18メディア: 単行本（ソフトカバー）この商品を含むブログを見る 本書はソフトウェアシステムの設計について「データ」という観点からまとめたものだ。もちろんデータベースは登場するが、それだけでなくJSONなどのデータ形式、RPC、メッセージキュー、全文検索インデクス、バッチ処理やオンライン処理も等しく「データ」という観点から扱っている。特筆すべき点は、理論だけでなく実際のミドルウェア製品を引き合いに出しつつ具体例を
世界中で攻撃を受けるMicrosoft SQL Server、パスワードの見直しを
Kaspersky Labは8月22日(米国時間)、「Agent 1433: remote attack on Microsoft SQL Server｜Securelist」において、Microsoft SQL Serverが世界中でサイバー攻撃のターゲットになっていると伝えた。調査結果によると、その多くはベトナムに存在しており、これにロシア、インド、中国、トルコ、ブラジルが続くとしている。 ベトナム (16%) ロシア (12%) インド (7%) 中国 (5%) トルコ (5%) ブラジル (5%) 2019年1月〜2019年7月 Microsoft SQL Serverへの攻撃頻度を可視化したマップ - 資料: Kaspersky Lab 主な攻撃方法はブルートフォース攻撃（総当り攻撃）とのこと。攻撃者はまずMicrosoft SQL Serverがインストールされたサーバであるか
db tech showcase Tokyo 2019｜EventRegist（イベントレジスト）
db tech showcase Tokyo 2019へご来場いただき有難うございました ■ 事後アンケートについて ■ システムに不備があり、お申し込み頂いた皆様へお送りしてしまい大変失礼いたしました。アンケートは当日ご来場頂いた方のみお答え下さい。 ■ 今後のセッション資料公開 ■ 事後の資料公開につきましては、db tech showcase Tokyo 2019公式ページより、随時公開を予定しております。資料公開の際には、別途メールにてご案内させて頂きますので、よろしくお願い致します。 本イベントは終了しました。ご来場頂きありがとうございました。 「Beyond data towards insight/データを超えて、Insightへ」 来場無料 2011年から始まり、データベースに携わる技術者へ「学び」「気づき」「変化」を提供する、国内最大規模のデータベース技術カンファレンスと
「NULL」というカスタムナンバープレートを取得したところ、大量の駐車違反切符を受け取る結果に | スラド idle
米国・カリフォルニア州でセキュリティリサーチャーが「NULL」という4文字のみが書かれたカスタムナンバープレートを取得したところ、大量の駐車違反切符を受け取る結果となったそうだ(Mashableの記事)。 「droogie」というハンドルで活動するこのセキュリティリサーチャーは、DEF CON 27でその顛末を発表した。droogie氏はナンバープレート読み取り装置を混乱させることができたら面白いと思って「NULL」を選んだという。安全運転を心がけるdroogie氏はナンバープレート取得後1年間、違反切符を一切受け取ることなく過ごしていた。しかし、登録をオンラインで更新しようとしたところ、情報が正しく入力されていないとして更新を拒否される。その後駐車違反をして違反切符を1通受け取ると、以降は無関係な駐車違反切符が多数郵送されてくることになる。 Hacker Newsでは2016年、「NUL
AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能
Amazon Web Services（以下AWS）は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。 下記はPartiQLを発表したブログからの引用です。 Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in
東芝、社会インフラなどで使われているNoSQL「GridDB」をオープンソースで公開。インメモリでビッグデータの高速処理が可能
東芝は、これまでGridStoreとしてエネルギー管理システムなどの社会インフラで利用されてきた商用のNoSQLデータベースを、「GridDB」としてオープンソース化したことを発表しました。 GridDBはキーバリュー型を拡張したキーコンテナ型のデータモデルで、時系列データや2次元、3次元の空間データもサポートするNoSQL型データベース。 データをストレージではなくサーバーのメインメモリに配置し、インメモリで処理することで、ペタバイトクラスのビッグデータでも高速に処理が可能。 ノードを追加するだけで容量や性能を拡張、縮退できるスケールアウト機能、マスタスレーブ型とピアツーピア型の特長を合わせ持つハイブリッド型クラスタ管理方式の自律制御クラスタ管理により、SPOF（Single Point of Failure：単一障害点）を排除した高い可用性などが特長です。 東芝はオープンソース化の狙い
Amazon Aurora
Amazon Auroraというクラウド上のRDBMSサービスがある。2015年の7月末にGAロウンチしたばかりのサービスだが、世界各国のユーザに非常に好評のようだ。 https://aws.amazon.com/rds/aurora/ Auroraをどう見るか、でクラウドの受け入れ度合いや現状の把握に使えると個人的には感じている。個人としてはAuroraほど画期的なサービスはDBでは今までなかったし、RDBMSの歴史の新しい1歩として認識している。ただあまりのシームレスさ、移行容易性、利用の簡便さに凄さに逆に気づきにくい状況がおきている。結果としてマーケティング的なムーブメントにはなりにくい状況で、個人としてはむしろそれが望ましいとも思っている。静かに深く世の中を変えていく、そんなサービスだ。ちなみにグローバルではOracleやSQL Serverからの移行が後を絶たない。理由の多くは、
DBT-2 で MySQL と他のRDBMSの性能比較をしている人に騙されないように注意
一応、立場的には第三者に戻った(MySQL/InnoDBの性能追求が仕事ではない)ので、忘れられない暗い過去にも触れてみようと思います。 未だに騙されている人が多いみたいなので、MySQL/InnoDBの名誉のために書き残さなければなりません。何度でも言いますが、性能比較は自分の目的とする処理をちゃんと比較しないとだめです。そうでなくては、騙されて本当は悪い性能のものを掴まされることになります。 DBT-2と言う(TPC-Cをベースにした)ベンチマークがありますが、数多のRDBMS(商用/OSS双方)に対して独自にTPC-Cベンチマークを実装・チューニングして比較した経験のある私から見て、怪しい結果しか出ないので、長年、基本無視のスタンスを取っています。 が、３年前にあろうことかMySQLの性能QAがDBT-2(nonsp:mysql)を利用していて、とある性能FIXに対して問題を指摘して
MySQL・PostgreSQLユーザーグループ（MyNA・JPUG）合同DB勉強会で発表した資料を公開しました。「データモデルについて知っておくべき7つのこと 〜NoSQLに手を出す前に〜」
表題の通り、MyNAとJPUGの合同DB勉強会で発表をしたので資料を公開した。 内容の詳細はスライドそのものを見ていただくとして、言いたいことの主旨はこうである。世の中に完璧なデータモデルはないので、NoSQLは当然の如く必要になる。だが、何でもかんでもNoSQLを使えば良いというものではない。むしろアプリケーションが必要としているデータモデルが何かということをよく理解し、本当に必要な場合にこそ、NoSQLを使うべきなのである。つまり「ご利用は計画的に！」ということだ。 大切なのは、様々なデータモデルを理解し、アプリケーションにとってベストな製品を選択するということだ。ベストなのがRDBかも知れないし、そうでないかも知れない。最適なデータモデルを選択した場合に、出来上がったものの性能も最高になるし、開発効率も最も良くなる。データベースの主流はRDBだが、それはリレーショナルモデルがカバーで
RDBにおけるキャッシュという考え方
RDBの専門家として日々活動している中で気づいたことのひとつに、「RDBはデータへのアクセスの実装をインデックスに頼っているが、インデックスは全ての問題を解決できるほど万能ではない」ということがある。インデックスというのはとても強力な部品であり、その点には全く異論はない。だが、世の中の全ての問題（クエリ）を解決できるほど、柔軟性に富んだものではないということだ。RDBは、どのインデックスを使ってデータへアクセスするかということを、オプティマイザを用いて判断する。大抵のRDB製品では、オプティマイザはよい仕事をするので、インデックスとオプティマイザの組み合わせによって、ほとんどの問題に対応できる。だが、100%ではないのであり、そのようなケースがシステムの性能問題を引き起こしたり、プログラマ（アプリケーションの設計者）に、NoSQLへ完全に移行したり、クエリ高速化のために非正規化をすると言っ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アリババの独自開発DB、オラクル抜き世界一に 20人の部隊から
Amazon.co.jp: データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理: Martin Kleppmann (著), 玉川竜司 (翻訳), 斉藤太郎 (監修): 本
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
https://atnd.org/events/68902
db tech showcase Tokyo 2015 プレゼンテーションスライド | Insight Technology, Inc.
Life with IT
