innodb_buffer_pool_sizeのチューニング：どれくらい割り当てる？
結論としてはinnodbテーブルの全データ量だそうです。 ここ最近はデータベースサーバのリプレースの案件の担当をしているのですが、サーバのサイジングをしていてふと、「どれくらいメモリあれば足りるんだろう」と疑問に思いました。 よく「サーバの全メモリの50％から70％くらい」とか「80％」くらいとか言われますが、それはどちらかというとスワップしないための限界値を示すものであって、理想値ではないですよね。それでいろいろ調べてみたところ、なかなか日本語で良いまとめがなかったので、まとめてみようと思います。 目次 そもそもinnodb_buffer_poolとは？ 使用状況を確認する(SHOW ENGINE INNODB STATUSでの計測) 適切なinnodb_buffer_pool_sizeは？（チューニング方法） そもそもinnodb_buffer_poolとは？ InnoDB maint
MySQLのgeneral_log出力のパフォーマンス影響を調べてみた - なからなLife
きっかけ みんなで使っているMySQL上のデータを誰かが削除して、犯人探しをしたい、という話から。 別エントリでMySQLのログの種類と監査の手段について触れるけど、Community版だと基本的にgeneral_logを使うしか、後追いで誰が何したかを追いかける方法ってないのよね。 で、DB監査が要件に入っていないから、デフォルト通りgeneral_logをOFFにして性能要件固めてスペック決めてるのに、後で事件がおきてから騒ぐっていう。 じゃあ、ONにしたら、どの程度影響があるの？というのが調査の発端です。 試した環境 マシン・OS・MySQLのバージョンなど 2箇所で実験しました。 （A）自宅PC WindowsマシンのVirtualBox上に立てたLinux＋MySQL5.6.31 ストレージはUSB3.0経由の外付けHDD（IO DATAのHDCL-UTEシリーズ）で、IOPSは
Amazon EFSのディスクベンチマーク | 稲葉サーバーデザイン
考察 EFS (General Purpose)は、ローカルディスクEBSに比べると桁違いに遅いのですが、EC2によるNFSサーバーとはそんなに大きな違いはありません。 つまり、そもそもNFSプロトコルは遅いということです。 僕は、正式リリース前のプレビュー版のときも同様のベンチマークテストを行いました。 正直、そのときは本当にこのままリリースされていいのかな？と思うぐらい遅かったのですが、そのときに比べると、スループット、レイテンシとも大きく改善されています。 とくに、レイテンシはほぼ100msec未満で安定しています。 冗長化されたマネージドサービスでストレージ容量も自動拡張できて運用管理が圧倒的に楽なので、EC2でNFSサーバーたてるよりは、EFSを使うべきでしょう。 これで実際に本番環境で使えるのか？ たとえば、Webサイトであれば 「WordPressをEFS領域に置いてAuto
処理が遅い場合の調査
処理が遅い場合, 問題が, ディスク I/O, CPU能力, ネットワ−ク, メモリ不足, NFS 等のうちどこにあるかが問題になる.(いや,他にもありうるけど) ディスク I/O や ネットワ−クが問題になることが多いと思う. ネットワ−ク関連では, hosts ファイル や DNS に無登録のマシンだったり, NIS 参照に問題が出ていたり, また, 自分自身でなく NFS サ−バが遅いのが原因の例もあった. 機材の故障やケ−ブル不良で, ネットワ−クに大量のエラ−がでているのが 原因のことも多い. 複数の DNS サ−バを参照しているばあい, DNS サ−バの参照順が適切か考え直してみる. 使用する tool vmstat, free, top, netstat,tcpdump 等は普通に使えると思う. 負荷のモニタは procmeter が気に入っている. ネットワ−クの状況は I
Linux のメモリー管理(メモリ−が足りない？,メモリーリークの検出/防止)(Kodama's tips page)
サ−バ等に使っているPC のメモリが十分かどうか気になる事は多いと思う. 調べ出すと フリーメモリーの不足や SWAP にメモリーがはみだしている様子など 心配な事がいろいろでて来る. PC の動作が遅くなる原因は様々な要因が絡み合っているので, 表面に現れた症状だけでは効果的な対策が分からない事もある. 以下では, メモリ−関連にしぼって解説する. メモリの状況を調べる メモリ−は十分なはずなのに 余裕が無い？ どのプロセスがメモリを消費しているのか？ メモリーのリークを検出する方法？ 防止する方法？ メモリ−は十分なはずなのに SWAP を使ってる？ じゃ, 本当のメモリ−不足はどうしたら分かるの？ メモリーと SWAP 領域はどのくらい確保すると良いのか メモリの状況を調べる メモリの利用状況を調べる方法は, free, top, ps, vmstat, /proc/meminfo
とりあえずおさえておきたいGlassfishのチューニングリスト - Qiita
この記事は 「Java EE Advent Calendar 2016」 10日目の記事です。 9日目（前日）: @megascusさん「Java EE Webアプリケーションをモジュール化して組み合わせる」 11日目（明日）: @yyYankさん はじめに Java EEを始めて1年半が経ちました。開発にあたってGlassfishのパフォーマンスチューニングについて調べる機会があったので、そのときに調べたことをまとめておきます。 Glassfish（やその他のアプリケーションサーバー）はデフォルトでは「開発に最適化」されています。自動デプロイ機能やダイナミックリローディング、JVMに関しては高速な「稼働」より高速な「起動」を優先するようになったりしています。 これらの機能は開発段階ではとても便利なのですが、プロダクション段階ではパフォーマンスのボトルネックとなることがあります。 より質の
Amazon VPC エンドポイントを使用して DynamoDB にアクセスする - Amazon DynamoDB
セキュリティ上の理由から、多くの AWS ユーザーがアプリケーションを Amazon Virtual Private Cloud 環境 (Amazon VPC) 内で実行しています。Amazon VPC を使用すると、Amazon EC2 インスタンスを仮想プライベートクラウドで作成できます。そのため、パブリックインターネットなどの他のネットワークから論理的に分離されます。Amazon VPC を使用すると、IP アドレスの範囲、サブネット、ルーティングテーブル、ネットワークゲートウェイ、セキュリティ設定を適切に管理できます。 2013 年 12 月 4 日以降に AWS アカウントを作成した場合は、各 AWS リージョンにデフォルトの VPC が用意されています。デフォルトの VPC は、使用できる状態になっています。追加で設定手順を実行することなく、すぐに利用開始できます。 デフォルト
AWS Lambdaの処理性能を言語毎に測ってみた - Taste of Tech Topics
こんにちは、@kojiisdです。 この間AWS Summit Tokyoに参加してきたのですが、皆一様に「AWS Lambda」を、 これからのサーバレスアーキテクチャを支える技術として紹介していましたね。 資料でも言葉でも多分に見聞きしており、軽いゲシュタルト崩壊を起こしている今日この頃、 皆さんはいかがお過ごしでしょうか。 さて、今回はAWS Lambdaです。 AWS Lambdaの処理はJavaやNode.js、Pythonなどの言語で記述することができますが、その性能差がどの程度あるのか？測ってみました。 構成 今回の構成は次の様なシンプルなものにしています。 [計測対象（言語）] Python Node.js Java [計測対象（カテゴリ）] 処理速度 使用メモリ [Lambdaでの処理内容] API Gatewayでリクエストを受け付け Lambda内でDynamoDBか
AWS インスタンス別ネットワーク帯域・InstanceStore IOPS測定 - Qiita
#!/bin/sh INSTANCE_TYPE=$(curl -s http://169.254.169.254/2014-11-05/meta-data/instance-type) yum install fio -y umount /media/ephemeral0 time dd if=/dev/zero of=/dev/xvdb bs=1M sudo mkfs.ext4 /dev/xvdb mount /media/ephemeral0 for i in `seq 0 3`;do time fio -name=random-write \ --output=/home/ec2-user/${INSTANCE_TYPE}-${i}.txt \ -ioengine=libaio \ -rw=randrw \ -rwmixread=0 \ -bs=16k \ -numjobs=16 \
わかりやすいJPA (5)：JOIN FETCH
はじめに これはJPAを解説する連載の5回目です。 うっかりすると、JPQLでは予期しなかった大量のSQLが発行されてしまう場合があります。これは “N+1” 問題と言われているものですが、解決のためには次のような４つの選択肢があります。 JPQLでJOIN FETCHを使う Criteria API（JPQLをプログラムとして書く）でFetch Joinを記述する Named Entithy Graph を使う Dynamic Entity Graph を使う ここでは、1.のJPQLによる方法について解説します。また、そのほかの方法も、この後の章で順次、詳しく解説する予定です。 N+1問題とは 次のような具体的な例で考えましょう。 // すべてのEmployeeエンティティを得る TypedQuery<Employee> query = em.createQuery("SELECT e
(pdf) MySQLパフォーマンスチューニング概要 - Oracle
<Insert Picture Here> MySQLパフォーマンスチューニング概要 日本オラクル MySQL Global Business Unit Copyright© 2011, Oracle. All rights reserved. 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。 また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことは できません。以下の事項は、マテリアルやコード、機能を提供することをコミットメン ト（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さ い。オラクル製品に関して記載されている機能の開発、リリースおよび時期につい ては、弊社の裁量により決定されます。 OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文
再現性のあるスロークエリーには「SHOW PROFILE」を試してみよう
MySQLの組み込みプロファイラー SHOW PROFILEステートメントはMySQLサーバー組み込みのプロファイラーから情報を取り出すためのステートメントです。細かいことを言と、これが利用可能かどうかはビルドオプション（cmake -DENABLED_PROFILING=ON）で決まりますが、少なくともOracleが配布しているバイナリーではこのオプションが有効な状態でビルドされているため、ほとんどの環境で利用できるでしょう。 プロファイラーというと小難しく思えますが、「そのクエリーが実行されていた期間、どのStatus（SHOW PROCESSLISTで"State"と表示されているもの）にどのくらいの時間かかったか」を表示してくれるもので、セッション単位でオンラインに有効・無効を切り替えられるため、身構える必要は全くありません。まずはその内容を確認するため、試しに具体的なステートメン
sarによるボトルネック発見の手順(というかsysstatの使用法)をまとめてみた - end0tknr's kipple - web写経開発
sar で収集したリソース使用情報が sadf コマンドで TSV として出力 (2014/8/6追記) sar で収集したリソース使用情報が sadf コマンドで TSV として出力できる - 宮川拓の日記 ↑全く知りませんでした 私がよく利用するoption (2013/8/6追記. よく忘れるので) $ sar -r -s 00:00:00 -e 01:00:00 -f /var/log/sa/sa03 ｵﾌﾟｼｮﾝ 内容 例 -q load average $ sar -q -u cpu使用率 $ sar -u -b I/O回数とﾃﾞｰﾀ量 $ sar -b -r ﾒﾓﾘとｽﾜｯﾌﾟ使用率 $ sar -r -s 開始時間 $ sar -s 00:00:00 -e 終了時間 $ sar -e 03:00:00 -f 日付 ※ $ sar -f /var/log/sa/sa03 ※「
sar の pgpgout/s と pswpout/s の関係 - とあるSIerの憂鬱
スワップ・アウトはページ・アウトのサブクラスである。 ページ・アウトはディスクにページを書き出すことすべてを指している。 スワップ・アウトはページを書き出す行為がスワップのために行われる、つまり書き出し先のディスクがスワップ領域である場合のページ・アウトである。 ページ・アウトはスワップ・アウトを含むため、すべての瞬間でページ・アウト回数>=スワップ・アウト回数である。 pswpout/sは『スワップ・アウトした"ページ数"』を表し、pgpgout/sは『ページ・アウトした"キロバイト数"』を表す。そのため、1秒間に100ページをスワップ・アウトした場合、pswpout/sは100となり、pgpgout/sは400となる。これは1ページが通常4KBであるため。 スワップが多発しているかどうかを判断する指標はpswpout/s(およびpswpin/s)であり、pgpgout/s(およびpgp
サーバリソース(resource)最速確認ポイント
09:00:00 up 100 days, 00:00, 1 user, load average: 2.61, 3.10, 3.30
Redisの監視/分析系ツールまとめ « Rest Term
Redis関連の監視/データ分析系ツールについてメモしておきます。 随時追記予定。実務で有用なツールが他にありましたら教えていただけると嬉しいです。 環境 CentOS 5.9, Ubuntu 12.04 (x86_64) Redis 2.6.10 (※ CentOSの6.x系への移行は足踏み状態。相当大変ですよね。。) 以下の順に紹介していきます。 Redisコマンド Redis Sentinel Redis Live Redis Faina Redis Sampler redis-top Nagiosプラグイン Zabbixテンプレート Muninプラグイン Cactiプラグイン 最後のCactiプラグイン以外は実際に導入して試してみました。以降、見出しに各プロダクトへのリンクを貼っておきます。 Redisコマンド ツール紹介の前にまずは基本から。Redisには監視やデータ解析用途で使
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【AWS Lambdaの小ネタ】メモリ割当量を増やすとパフォーマンス、コストがどう変わるか検証してみた
ELECTRONICOS FANTASTICOS!
IBM Developer
Client Side Architecture Part Two: A Practical Example - AE Blog