データベースを遅くするための８つの方法
はじめに Twitterのタイムラインを見ていたらバッチ系のプログラムで逐次コミットをやめて一括コミットにしたら爆速になったというのを見ました。当たり前でしょ、と思ったけど確かに知らなければ分からないよね、と思って主に初心者向けにRDBを扱うときの注意点をまとめてみました。 プログラミングテクニック的なところからテーブル設計くらいの範疇でDBチューニングとかは入ってないです。 自分の経験的にOracleをベースに書いていますが、他のRDBでも特に変わらないレベルの粒度だと思います。 大量の逐次コミットをする バッチアプリケーションでDBにデータをインサートすると言うのはかなり一般的な処理です。しかしデータ量が少ない時はともかく大量のインサートを逐次コミットで処理するとめちゃくちゃ遅くなります。数倍から十数倍遅くなることもあるので、10分程度のバッチが１時間越えに化けることもザラにあるので原
@tkanayama_です。「SQLアンチパターン *1」 という本を読みました。「ポケモンを題材に因果推論を実践してみる」のように、仮想的なストーリ上で実際に使ってみた感を出すことにより、自分の記憶に定着させることを狙います。 前提として、何をアンチパターンとするかは状況（ベンダーフリーである必要があるかどうか、どの程度の頻度で更新されるか・・・など）によって大きく異なるので、下記で紹介するアンチパターンは実は状況によっては問題にならないケースもあるかと思います。この投稿はあくまで「SQLアンチパターン」に忠実に従うことが目的です。 www.oreilly.co.jp 追記 登場人物 ストーリー フシギダネへの対応 ヤミカラスへの対応 ディグダへの対応 誤登録でポケモントレーナーになってしまったユーザーの削除 最後に 謝辞 追記 このブログを公開後、「外部キー制約はレコードロック周りのト
ソフトウェア開発において「悪い結果に陥りやすい、避けるべき典型例」を指す、「アンチパターン」。 プロジェクトマネジメントの世界にも存在するアンチパターンは、プロジェクトの遅延や成果物の品質低下を招く原因となります。今回のセミナーでは、プロジェクトマネジメントの現場でよく見かける「プロジェクトマネジメントのアンチパターン」と、その回避方法を紹介しました。全4回。1回目は、アンチパターンその1「圧縮スケジュール」について。 よかれと思ってやっていることに苦しめられているケースがある 西郷智史氏：みなさんはじめまして、株式会社ビーイングコンサルティングでコンサルタントをしている西郷と申します。よろしくお願いします。 本編を始める前に、まず弊社の紹介をします。弊社はビーイングコンサルティングといいまして、事業内容は、制約条件の理論に基づいた生産性向上のコンサルティングサービスの提供です。制約条件の
可視化や統計でデータに『恣意的なストーリーを語らせる』16の闇の魔術【bad charts】 - Qiita
闇の魔術に対する防衛術 Advent Calendar 2020の三日目 はじめに データの可視化は非常に難しい。 まずデータの抽出が難しい ・データソースごとの整合性が取れているか ・取得したデータとソースデータに欠損が生じていないか ・SQL文を実行したサマリの結果が部分的に抜け落ちていないか。 その確認は時間的にも精神的にも苦痛。 しかし、苦労して抽出したデータも使い方で全くの無駄になる その例として「可視化や統計」部分に着目してお話をしようと考えた。 データの背景を知らない人には、データ可視化が歩み寄る手段になるし、伝えたい事をインパクトを伴って伝えられるなど非常にメリットである。 ※ただし 「可視化」の使い方によっては誤った理解をさせることも可能。 伝えたい事だけを正しいように見せる方法もあり、 可視化に詳しくない人に誤解を与えて自分の主張を通すこともできるかもしれない。 これは
大貫剛🇺🇦🇯🇵З Україною on Twitter: "もうほんとにね、この下弦の鬼達の言ってることを聞いてると「何も違わない」って言いたくなるの、よくわかる。言ってることが言い訳ばっかりだもの。 彼らが言うべきことは ・過ちと力不足を認める ・全力で努力する の2点だけ。体育会系っぽいけど、まずそういう姿勢がないと話にならない。"
もうほんとにね、この下弦の鬼達の言ってることを聞いてると「何も違わない」って言いたくなるの、よくわかる。言ってることが言い訳ばっかりだもの。 彼らが言うべきことは ・過ちと力不足を認める ・全力で努力する の2点だけ。体育会系っぽいけど、まずそういう姿勢がないと話にならない。
CloudNative Days Tokyo 2021の発表資料です。 https://event.cloudnativedays.jp/cndt2021/talks/1207 補足資料 https://git.io/operator-bestpractice
MongoDBであるメリットが無くなってしまったのでMySQLに移行したはなし - KAYAC engineers' blog
SREチームの長田です。 この記事はTech Kayac Advent Calendar Migration Track 1日目の記事です。 今回はLobiで使用していたMongoDBをMySQLに移行したはなしです。 MongoDBを何に使っていたか DAUなどのKPIレポートや、サービスの状況を把握するための各種集計結果を保存するために使っていました。 サービス開始直後はこれらの数字を色々と試行錯誤しながら追加したり、減らしたりしていました。 頻繁な追加削除があるデータ構造を保存するために、スキーマレスなデータベースであるMongoDBはちょうどよかったようです。 (当時スキーマレスデータベースが流行っていたというのもあるでしょう) なぜ移行したのか MongoDBに保存されたドキュメントは、スキーマ管理がされていませんでした。 スキーマレスであることをいいことに、その時時によって様々
【2020年版】SEO対策でやってはいけないこととは？
検索順位の上位を獲得し、自社のWebサイトの訪問ユーザーを増やそうと日々SEO対策に尽力するWeb担当者がたくさんいます。プロのSEO業者に依頼をするとそれなりのコストがかかってしまうため、自分で取り組むケースも多々ありますが、*知らないうちに、ブラックハットSEOと呼ばれるペナルティリスクの高いSEO手法を使ってしまっているかもしれません。*このリスクを回避するために、ブラックハットSEOに該当する危ない施策を把握しておくべきなのです。 この記事をご覧いただければ、SEO対策を行う際、どのようなことをやってはいけないのか理解できます。検索順位を上昇させるため、いろいろな取り組みを自分で行っている方は、ぜひご参考ください。 ブラックハットSEOとは ブラックハットSEOとは、Googleのウェブマスター向けの品質に関するガイドラインを遵守せず、不正に順位を上げようとするSEO対策のことです
スクラムアンチパターンシリーズの第２弾ということで、また私が経験したスクラムのアンチパターン「ゴリラ a.k.a. スーパースター」について軽く説明していこうと思う。 ゴリラとはゴリラとは、開発チームの中にいる声の大きいメンバーで、自身の技術や経験において自信がありそれがチーム内での声の大きさに直結しているパターンである。また、周りのメンバーもゴリラのスキルについては認めているケースが多い。 ゴリラがいるとどういう問題がおきるか。まず第１にゴリラの存在はチームのコミュニケーションフローを限定してしまう。具体的な例をいくつかあげよう。まず開発チームでのコミュニケーションは、ゴリラの言うことが絶対的、という空気になってしまう。ゴリラに対して誰も反論をせず、ゴリラはより自分の意見が正しいという思い込みが強くなり、この流れは加速する。結果、開発周りの意思決定がゴリラ中心となり、開発チームもそれに頼
engineed | AWSエンジニア採用サービス
スカウト型採用サービス 独自の試験により、AWSエンジニアの実力が可視化される国内唯一のスカウトサービスです。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ポケモンを題材に「SQLアンチパターン」を実践してみる - kanayamaのブログ
「本当に間に合うの？」の答えが「何もなければ大丈夫」は“圧縮スケジュール” プロジェクトマネジメントアンチパターンの回避策
Kubernetesオペレータのアンチパターン＆ベストプラクティス
スクラムアンチパターン：ゴリラ a.k.a. スーパースター｜Takahiro Ito