PostgreSQLの実行計画の推定行数と実行数の乖離改善の考え方
はじめに 以前こんなツイートをしました。 すると、リプライで色々とコメントを頂きました。（疑問を投げかけたら答えてくれる方々、本当にいつもありがたいです🙇♂️） ということで、本記事では推定行数と実際の行数の乖離を減らすために何をやったのかを備忘として書きます。 ただ、実際のSQLや実行計画を書くことはできないので、あくまでどんな考え方をしたのか、ということを書きます。 対処法①（対象のテーブルのautovacuum頻度を変更） 対象のテーブルはかなり更新の激しいテーブルだと聞いていたので、まずは統計情報が最新化されているかを考えました。 更新が激しくてautovacuum時の自動ANALYZEが追い付いていないんじゃないかと考え、対象のテーブルだけ自動ANALYZEの頻度が上がるように設定を変更しました。 PostgreSQLの設定パラメータは基本的にはpostgresql.conf
【SQL】ちょっとしたパフォーマンスチューニングまとめ - Qiita
SELECT table_a.id, table_a.name FROM table_a INNER JOIN table_b ON table_a.id = table_b.id; メリットとしては、 どちらかのテーブルのid列のインデックスを使用可能 サブクエリがないことで中間テーブルが作成されない しかし、インデックスがない場合はEXISTSの方が良い場合があります ソートの回避 SQLでは暗黙的にソートが発生する演算が存在するので、 パフォーマンスにも影響するため、ソートが必要ない場合は考慮する必要があります ソートが発生する演算 GROUP BY句 ORDER BY 句 集約関数（SUM, COUNT, AVG） DISTINCT 集合演算子（UNION, INTERSECT, EXCEPT） ウィンドウ関数（RANK, ROW_NUMBER 等） メモリ上でのソートだけではなく
部下のパフォーマンスを落とす関係性、部下のパフォーマンスを最大化する関係性｜shinshinohara
関係性から考えるものの見方（社会構成主義）、たぶん第13弾。 賢すぎる人（自分の賢さを隠そうとしない人）のもとではなぜか人が育たない。そのリーダーの能力以下の人間ばかりになる。そして「うちには人材がいない」と嘆くことになる。なぜそうなるだろうのか？ 「上司の下手ゴルフ」をイメージするとわかりやすいかもしれない。上司がゴルフに自信満々だった場合、部下はそれより上手いところを見せるわけにいかないと考える。「どうだ！」と自慢する上司に「とてもかないません」とお上手を言い、上司に勝たないように気をつけてプレーする。 孔明は不世出の天才として評価されることが多い。しかし天才だったからこそ、蜀から人材を消してしまったように思う。 蜀を攻めた時、劉備は「こんなにも人材がいるとは」と驚いている。しかし劉備が死に、孔明が国を仕切るようになると、孔明は「人材がいない」と嘆くようになった。 孔明が蜀から人材を消
PostgreSQL チューニングよもやま話 - エムスリーテックブログ
【Unit4 ブログリレー3日目】 こんにちは，エムスリーエンジニアリンググループの榎田です．数学とテレビゲームが好きです． 今回は，Unit4 で運用している "Docpedia" というサービスで実施した SQL チューニングの実例を2つご紹介します．普段の私が意識していなかった， RDBMS の内部機構に関する話が登場して面白かったので，今回の記事を書きました． なお，本稿で扱う議論はすべて PostgreSQL 11.x 以上を対象としており，特にその他の RDBMS で同様の動作をするかは確認していません．定性的な挙動に共通するものはあるかもしれませんが，ここで述べた話はそのままは通らないであろうことをお断りさせてください*1． プロダクトについて index なしで意外と耐えたが，耐えきれなかった話 実際の SQL とテーブル定義 原因の分析 対応策 SELECT DISTIN
「勤勉さ」は後天的に鍛えることができないと知って。
コンサルタントをやっていた時、「この人、コンサルタント向いてないよなあ」という人が何人も中途で転職してきた記憶がある。 例えば「本を1か月に10冊読む」という課題をやらない人。 いつも時間ギリギリにしか行動せず、重要な会合に遅刻する人。 自社の「目標」の達成度合いを気にせず、お客さんの成果にも無関心な人。 別の仕事や、前の会社では許されたかもしれないが、たいてい「コンサルタント」としてはうまくいかない。 私が在籍していたコンサルティング会社は、上のような「問題行動」には非常に厳しく、該当者には「コンサルタントとしての活躍は難しい」と、はっきりと告げていた。 「勤勉さ」は身につかない こうした事例を何度も見るにつけ、私は 「勤勉さ」 「時間を守る」 「目標遵守」 などの行動特性は、たとえ厳しく注意をしても、ほとんど身につかないか、改善したとしても、結局一時的なものにとどまる、という事を知った
SQLの実行計画の読み方 |
今回は、SQLを書く上で特にパフォーマンスに影響のあるSQLの実行計画の読み方について解説します。実行計画はデータベース製品によってさまざまに差異がありますが、ここでは比較的どのデータベース製品でも共通する内容について解説します。 実行計画とは記述したSQLが実際にデータベースの内部でどのように処理されて結果を返すか、その処理方法を記述した情報です。 A5:SQL Mk-2では、SQLエディタで実行計画を見たい SQL の上にキャレットがある状態でメニューから [SQL(S)] – [SQLの実行計画(J)] または、Ctrl+E で表示できます。 表示の仕方はデータベース製品ごとに異なりますが、多くのデータベース製品ではツリー状の情報として表現されます。（このため A5:SQL Mk-2でもツリービューで実行計画を表示します。） ツリーのリーフ（端）から処理が行われ、ルート（根）に向かっ
【Java】JDK Flight Recorder を調査・検証してみた - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、技術推進課の uemura_rks です。 私が所属する技術推進課では「各商材の開発チームから課題をヒアリングし、その解決に向けた調査を行う」という取り組みをしています。 取り組みの一環で Java のパフォーマンス分析、診断ツールである JDK Flight Recorder（JFR）について、その機能と導入することによるアプリへの影響を調査・検証しました。 「小さいオーバーヘッドで使えるらしいけど本当にそうなのか？」 を確認してみたので、その結果を報告します。 JFR を使えばトラブルの原因調査に役立つ情報を手軽に収集できます。 Java を扱っている方であればどなたにとっても有益なツールとなりますので是非最後までお付き合いください。 目次 目次 JDK Flight Recorder（JFR）の特徴 オーバーヘッドが小さい 手軽に使い始められる JVM やアプリ動作に関す
「こいつ、本当のこと言ってんのかな？」と感じる選手も…佐々木朗希やダルビッシュ有を指導した“吉井理人”が考えるコーチが絶対にやってはいけない“ある行動”とは | 文春オンライン
現役引退後、一軍投手コーチ就任からわずか1年でリーグ優勝を果たすなど、その指導手腕に定評のある吉井理人氏。同氏はこの度行われているWBC2023でも投手コーチを務めている。日本代表のピッチャー陣を支える彼のコーチング術の本質とは。 吉井氏が執筆した『最高のコーチは、教えない。』（ディスカヴァー・トゥエンティワン）の一部を抜粋し、その真髄に迫る。（全2回の1回目／後編を読む） ◆◆◆ 最高の能力を発揮できるコンディションをつくる まず大切なのは、チームメンバーのコンディションだ。 ある程度高い水準の技術を持つ選手を見ていると、彼らがその技術を一年間安定して発揮するためのコンディショニングの重要性を改めて感じる。 当たり前だが、コンディションが良くなければ最高のパフォーマンスは発揮できない。 ピッチングのパフォーマンスを上げるのは、コンディショニングコーチの役割が7割を占め、ピッチングコーチの
MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 bashパフォーマンスMySQLInnoDBDB設計インデックス こんにちは、羽山です。 今回は MySQL のプライマリキーに UUID を採用する場合に起きるパフォーマンスの問題を仕組みから解説します。 MySQL(InnoDB) & UUID のパフォーマンスについては各所でさんざん議論・検証されていますが、論理的に解説した記事が少なかったり一部には誤解を招くようなものもあるため、しっかりと理由から理解するための情報として役立つことができればと思っています。 UUID と比較される古き良き昇順/降順のプライマリキーはというと、 MySQL の InnoDB において良いパフォーマンスを出すために縁の下の力持ちのような働きをしてくれているケースが実は少な
![MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e9d48c3c6f38c2d5f71897d98efcb251289d1f9/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F07%2Fboard-755792_800.jpg)
軽量Dockerイメージに安易にAlpineを使うのはやめたほうがいいという話 - inductor's blog
はじめに やめろ、ではなく、やめたほうがいい。です。自分のユースケースに合ってるか今一度確認することを推奨します。基本的にはAlpineは避けたほうが良い、というのが2021年時点での私の認識です。 なんで？ libcに一般的な互換性が不足しているからです。Ruby、Python、Node.jsなどでNativeモジュールをバンドルしているアプリケーションの場合、パフォーマンスの劣化や互換性の問題にぶち当たる場合があります。 superuser.com あとは他のベースイメージの軽量化もそれなりに進んできていて、Alpineが定番軽量イメージと言う認識は2018年頃には消えつつあったかなという認識でいます。 どうすりゃええねん ※Debian Slimがあるやんってツッコミ結構もらったんですが、Slimは当たり前過ぎてもう紹介しなくていいかなっていう甘えで省略していました。よろしくおねがい
Java のバージョンを上げるだけで、プログラムは速くなるのか - Qiita
（この記事は 地平線に行く とのマルチポストです） よく Java の実行バージョンを上げるだけで速くなるという話を聞きます。 でも、本当にそうなのでしょうか。また、本当だとしたらどれぐらい速くなるのでしょうか。 そこで、簡単なプログラムで実験してみました。 実験概要 実験用に、数独を解く Java のプログラムを作成しました。 このプログラムは単純な演算を繰り返し行ってるだけなので、Webアプリケーションのような複雑なプログラムとはおそらく傾向が違いますが、参考程度にはなるかなと思います。 これをJava 1.1 でコンパイルし、Java 1.1 ～ 12 の各 Oracle JDK (32bit/64bit) で数独100万問のデータセットを読み込んで解き終わるまでの時間を測定しました。1 細かい測定条件は以下の通り。 実行環境 Windwos 10 Home 1809 (64bit)
Vueの秘密のパフォーマンステク9選紹介 - Qiita
VueConf USでのさまざまな発表 今年の3月に VueConf US が開催されました。最近になってビデオが公開されて初めて知ったこともあるので本記事ではその紹介をします。 いろいろ面白いトピックがあるのですが、特にVueコアチームのGuillaume Chauさんによるパフォーマンス改善テクニックはまじかーという感じだったのでここにまとめたいと思います。 "9 Performance Secrets Revealed with Guillaume Chau" プレゼン動画: http://www.youtube.com/watch?v=5B66qer8cZo スライド: https://slides.com/akryum/vueconfus-2019#/ デモサイト: https://vue-9-perf-secrets.netlify.com ソース: https://githu
Chrome DevToolsを用いたメルカリWebのパフォーマンス計測 - Mercari Engineering Blog
フロントエンドチームの @urahiroshi です。Mercari Advent Calendar 2018 12日目を担当します。 今年の8月から12月にかけて，メルカリ・メルペイのフロントエンドチーム有志で「超速！Webページ速度改善ガイド」の社内輪読会を行いました。 この本の中で，「推測するな，計測せよ」という言葉が紹介されていますが，今回の記事は，輪読会で学んだことのまとめとして，Chrome DevToolsを用いてメルカリWebのパフォーマンス計測と簡単な分析を行ったものです。 なお，現在メルカリWebのアーキテクチャを刷新するための開発が進んでいるため，ここで計測したパフォーマンスの値は大幅に変化していく可能性が高いです。アーキテクチャの刷新後に振り返って見られる楽しみが増えることも、この記事を書いた目的の一つです。 計測方法，環境 計測はGoogle Chrome 71.
Lighthouseを使ってVuex.jsで書いたポートフォリオサイトを爆速化する - Kekeの日記
本記事はVue.js Advent Calendar 2018の第3日目の記事です。 はじめに GCPの無料枠が終了したため、ポートフォリオサイトはクローズドしましたが、引き続き本記事はご覧いただけます。 私は以前、インターンシップなどの選考に備えて自分のポートフォリオサイトなるものを作りました。 しかし、あまりに速くデプロイしたかったことからパフォーマンスについて一切無視した結果、とてつもなく遅いサイトができてしまいました。 結局、他人に見せるには恥ずかしいサイトになってしまい、今回の記事で爆速にできればと思います。 サイトはこちらで、SEO対策やOGPも実装したので以下のように展開されます。 要約 自分のポートフォリオサイトがロードまで8秒近くかかっていたのがキャッシュ込みで0.3秒くらいになった クリティカルレンダリングパスを知ることが重要 Chrome DevToolを使い倒すとよ
ソフトウェア開発における 「設計」と「パフォーマンス」の相互作用 / Interaction Between Design and Performance on
Software Development - Speaker Deck
設計Night2018の資料です https://connpass.com/event/104821/
Webパフォーマンス虎の巻
Webパフォーマンス向上施策のために、今更ながら超速本1を読んだので、今までの自分の知見と合わせてまとめてみます。 なるべく柔らかく、改善施策ってまず何をどうすればいいの？という疑問を持った人に向けて書いています。 ▪️格言 そもそもWebは速い。遅くしているのは我々です。大抵は技術の問題ではなくて、人の問題。 引用元： テクニックではなく、今、本気で取り組むべきWebパフォーマンス （html5jパフォーマンス部 部長 竹洞さん） 心得 パフォーマンス向上に対する施策は大別すると以下の２通り 軽量化 （単純にやりとりするデータ容量を小さくすること） 圧縮 削除 最適化 （その時に最も適している実装・実行をとること） 経路・順番の変更 非同期 もっとも遅くしている原因を探して、それを対策するのが原則。「対効果」が絶対的正義である。手段から入るのは愚策。まず先に原因を知ることが重要。 ▪️1
RandomAccess (Java Platform SE 8)
サマリー: ネスト | フィールド | コンストラクタ | メソッド 詳細: フィールド | コンストラクタ | メソッド Listの実装が高速ランダム・アクセス(通常は一定時間)をサポートしていることを示すために使用するマーカー・インタフェースです。このインタフェースの主な目的は、ジェネリック・アルゴリズムが、ランダム・アクセス・リストまたはシーケンシャル・アクセス・リストのどちらかに適用された時に、動作を変更して、優れたパフォーマンスを実現することです。 ランダム・アクセス・リスト(ArrayListなど)を操作するのに最適なアルゴリズムは、シーケンシャル・アクセス・リスト(LinkedListなど)に適用された時に2次動作を引き起こすことがあります。シーケンシャル・アクセス・リストに適用すると貧弱なパフォーマンスをもたらす場合があるため、ジェネリック・リスト・アルゴリズムでは、アルゴ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンテナ環境でのJavaチューニング
より速く より運用しやすく 進化し続けるJVM（Java Developers Summit Online 2023 発表資料）
エンジニアがビジネスチームを加速させる為に取り組んだ4つのアプローチ | PLAID engineer blog
