スワップファイルを使用して Amazon EC2 インスタンスのスワップスペースとしてメモリを割り当てる
簡単な説明 物理 RAM がすでに使用されている場合、Amazon EC2 インスタンスは物理 RAM の短期的な代替としてスワップスペースを使用します。 実際に使用されていない RAM のコンテンツや、他のデータや命令ほど緊急に必要でない RAM のコンテンツは、一時的にスワップファイルにページングできます。これにより、RAM が解放され、すぐに使用できるようになります。 パーティションにスワップ領域を作成することもできます。詳細については、「ハードドライブのパーティションを使用して、Amazon EC2 インスタンスのスワップ領域として動作するようにメモリを割り当てる方法を教えてください」を参照してください。 注: スワップスペースは、エフェメラルストレージインスタンスストアボリュームにのみ作成するのがベストプラクティスです。 解決策 この解決策に取りかかる前に、ファイルシステムがスワ
CloudWatch で EC2 のメモリ・ディスク使用率を監視する | Wedding Park CREATORS Blog
こんにちは、インフラエンジニアの綿引です。 「CloudWatch で監視したいけどメモリ・ディスク使用率の監視項目がないじゃない、、」 と悩まれた方もいらっしゃるのではないでしょうか？ そこで今回は CloudWatch で EC2 のメモリ・ディスク使用率を監視する、ということをやってみたいと思います。 対象の方は以下のような方でしょうか。 監視運用を導入するまでアラートをウォッチしてしておきたい コストを抑えるためスモールスタートで監視を実施したい また以下をご参考にいただければ、アラームも Slack に飛ばせるので、一緒に見て頂けると嬉しいです。 参考 : Amazon CloudWatch + Amazon SNS + AWS Chatbot を使ってアラームを Slack に通知してみる 目次 1. CloudWatch エージェント について 1.1. CloudWatch
システム基盤 AtlasBase®｜BIPROGY株式会社
企業情報 企業情報トップ BIPROGYについて トップメッセージ 会社概要 Purpose,Principles Vision2030・経営方針（2024-2026） コーポレートブランド グループ会社 拠点所在地 組織図 役員一覧 企業理念 企業行動憲章 役職員行動規範 PDF 調達・購買に関する指針等について BIPROGYグループのAI倫理指針 PDF BIPROGYグループの歴史 BIPROGYの企業活動 サステナビリティ 広告宣伝活動 イベント／セミナー 出版物 デジタルメディア BIPROGY TERASU 別ウィンドウで開く BIPROGYバドミントンチーム 東京ディズニーランド「エレクトリカルパレード・ドリームライツ」 東京ディズニーシー「フォートレス・エクスプロレーション」 BIPROGYの研究活動 BIPROGY総合技術研究所 Technology Foresight
バグを出さないプログラマになるための「心得」 - main() blog
1.はじめに 長年コンシューマゲーム開発に携わってきた中で毎回思うことがある。 開発の終盤には必ずテストプレイが行われ、毎回大量のバグと闘っている。 なぜ大量のバグが出ているのか、どうしたら大量のバグが出なくなるのかについて考え、まとめてみることにした。 バグは「潰す」のではなく「出さない」ことに注力すべき！ バグを「出さない」ようにするためには以下の２つを心掛ける必要がある。 「自分」のところでいかにして「バグを出さない」ようにするか。 実装確認をする 自己完結させる 常に自分を疑う 「他の人」のところでいかにして「バグを出させない」ようにするか。 エラーは早い段階でエラーとして処理する エラーを分かりやすく教えてあげる バグを「出している」というのは新人でもベテランでも一緒。 たとえ学術的なコーディングスキルがあっても、新人が書いたコードでもバグは出る。 実装範囲の大小も関係ない。 い
LinuxでCPU使用率を上げるコマンド - ablog
いいものを見つけたのでコピペ。 yes >> /dev/null & 最後に & お勧め ｗ（二つターミナルが必要でなくなる。） ちなみに メモリ負荷をあげる魔法のコマンド /dev/null < $(yes) & LinuxでCPU負荷を上げる魔法のコマンド - Qiita ">>" は ">" でも良いと思うが、何か特別な理由があって">>"にしているのだろうか。 追記(2014/10/08): ただのメモにはてブがたくさん（当社比）ついてビックリ(^-^; コア数に対する考慮が足りない。 コア数に対する考慮が足りない。 - gomakyuのコメント / はてなブックマーク とコメントを頂いた通り、上記のコマンドを実行しても1つの論理CPUを使い切るだけです。 例えば上の図の通り、1ソケット * 4コア * 2スレッド で論理CPU数が8の場合は、ざっくり、1多重で実行すると12.5%
【PHP】その CSV 変換、本当に「fgetcsv」でいいの？
こんにちは。ウェブ開発担当の木戸です。 突然ですが、PHP で CSV ファイルを連想配列に変換してゴニョゴニョ…ってよくやりますよね？ 私も先日開発中に、CSV の関数なんだったかなーと思って「php csv」で検索していたのですが、ファーストビューが定番の fopen して fgetcsv の公式サンプルや記事ばかりでタイトル通り「？」だったので、調査してみたところ、意外と面白いことがわかりました。 やっぱり fgetcsv だけじゃなかった 似たような機能を持つ関数が複数あり、公式ドキュメントを見てもどれを使っていいかわからない、なんてこと PHP ではよくありがちです。CSV 変換もやっぱりいろんな方法がありました。 そこで今回は、あらゆる CSV 変換処理を検証し、処理時間とメモリ使用量を比較します。処理はレコードごとの連想配列に変換するのみで、よくセットでやる文字コードの変換や
Out Of Memory(OOM killer)でプロセスを強制に落とされてしまうのをなんとかする。 | BROKENDISH
Out Of Memory(OOM killer)でプロセスを強制に落とされてしまうのをなんとかする。 2011.08.23 さくらインターネットvpsの設定(Debian) Debian6, VPS不具合, システム管理 Linuxにはメモリーオーバコミットという仕組みがあり、 実メモリの容量以上のメモリがあることにしておいて、 実際に使われる段階になって実メモリ、仮想メモリから確保する。 この時実際に実メモリも仮想メモリも足りなくなった場合にOOM Killerというヤツが召喚される。 OOM killerが動いてしまうと、幾つかのプロセスを選択し勝手にKillしまくってしまう。 これは良くも悪くもあるので、一旦Swapを今の倍にして様子を見る。 それでもOOM Killerが頻発するようだったらメモリオーバーコミットを無効にして様子を見ようと思う。 この所続いてるVPSの不具合はKV
oom-killerを止める方法 - ITメモ
Linuxには、oom-killer(Out of Memory Killer)という、メモリ不足が発生した際にプロセスを強制終了させ、実メモリに空き容量を確保する機能が実装されている。 しかし、この空きメモリが確保できないことによりシステムが停止するという最悪の事態を避けるために用意されている機能が、肝心のDBなどの一番大事なサービスを殺すはめになる・・・ カーネルパラメータ vm.oom-kill を変更することで無効化できる。 # sysctl -w vm.oom-kill=0 vm.oom-kill = 0 # デフォルトは1(有効)となっており、0を設定することで無効化される。 システム再起動後も設定を有効にする場合は、sysctl.confに記載すればOK。 # vi /etc/sysctl.conf vm.oom-kill=0
エラーログで障害原因を突き止めろ！
エラーログに対応する～OOM Killer編 続いて、/var/log/messagesに図2-1のようなログが記録された場合の対応を考えてみましょう。このログはOOM（out of memory） Killerによりhttpdプロセスが強制終了されたことを示すログです。 OOM Killerとは、システムがメモリ枯渇すると、稼働中のプロセスを強制終了させて空きメモリを確保するLinuxカーネルの仕組みで、メモリ枯渇によるシステム停止を防止するために用意されています。 このログが記録された場合、まず必要になるのはプロセスの存在確認です。OOM Killerは比較的重要なプロセスも容赦なく強制終了させてしまいますので、必要なプロセスが存在しているかを確認する必要があります。 図2-1のログではhttpdが終了させられているので、以下のコマンドを実行しhttpdプロセスの存在を確認します。 $
phpでバッチ処理は控えるべき？メモリ解放しないよ。 - それマグで！
アマゾンの検索をするとき、PHPでバッチ処理を書いた。PHPで大量のリクエストを発行してAmazonECS結果を見ていた。ふとメモリ消費量を見る。ちびりそうになる。メモリ消費量が上昇し続ける。unset()をしているが、メモリの消費量は変化しない。 立ち止まって考える。当たり前じゃないか。PHPはApacheのリクエスト毎に起動して、リクエスト終了時にメモリから全部消去される。バッチ処理が終わらないとメモリ解放されないのかね。処理が長くなれば不利じゃないか。繰り返し処理でメモリを再利用しない。なら、バッチの大量データを処理に不向きか。一応はコマンドラインで動きます程度なのね。 もし、PHPバッチ処理をするなら、バッチ処理の細切れな生成、消去を短時間に繰り返すしかないのね。 バッチ処理とは大量のデータを夜間などに処理する事。そう記憶している。他スクリプト言語も同じか。元もとメモリ管理が出来な
OOM Killerにであったら何をするべきか?
OOM killerで大事なプロセスが殺される。困りますね。。 google で OOM Killerと入力すると 「無効」とか補完されます。しかしどうするのが良いのか、あまりよく説明されている記事がみあたらなかったので自分の考えをメモしておきます。 OOM Killer の目的は何か? まずは何故OOM Killerが発生しているのかについて、ざっくりイメージをつかみましょう。linux kernelはプロセスからの「メモリくれ」という要求に対してたぶん足りそうだという場合に「OK」といって渡します。実際のメモリ割り当てはアクセスが発生するタイミングまで遅延させます。これを遅延アロケーションといい、だいたいにおいてうまく動きます。ただし必ずうまくいくと保証されているわけではないので破綻することがあります。 OOM Killerはこの遅延アロケーションが破綻しそうなときに、適当にプロセスを
IIS7.0諸々設定 - Qiita
IIS7.0で諸々設定したので、忘れないうちにメモ。 デフォルトのままだとあまり使いものにならないという印象。 32bitアプリケーションの許可 利用DLLが32bitのみ対応なので、配置DLLを32bitで作成する必要あり。 アプリケーションプールの詳細設定にて、「32bitアプリケーションの許可」を falseからtrueに変更。 コンテンツ圧縮化 IISはデフォルトだと、動的コンテンツは圧縮されない。 高速化の為、以下で圧縮対応。 1. IISの機能に「動的コンテンツを圧縮する」を追加。 2. 以下コマンド実行により、 application/json を圧縮するように設定変更。 C:\Windows\System32\inetsrv\appcmd.exe set config -section:system.webServer/httpCompression /+"dynamicT
CentOS コアダンプを指定した場所に吐くように設定する - eTuts+ Server Tutorial
コアダンプファイルは、システム開発時に初期化されていないデータに対する参照、誤ったメモリ参照 (Segmentation Fault) によって吐かれることが多いです。 OS も同じように誤った振る舞いで異常終了された時、プロセスが実行時にエラーで終了した時に、原因解析に必要な実行プログラムのメモリ内容など様々な情報を含んだコアダンプファイルが生成されます。 OS の場合には、原因不明な自立リブートが発生することもあるので、コアダンプは、トラブルの原因究明のためのデバッグ用ファイルとして重要な役割を果たします。 コアダンプは、一般的にかなり大きなファイルサイズになるため、サーバによっては HDD の負荷を減らすために出力サイズを規制しているケースもあります。 HDD に余裕があるならば、以下のようにコアダンプファイルサイズを unlimited とし、無限大に設定します。 まずは、現在の環
インスタンスの選択方法（最適なサイジング）と起動方法 | 超高速 WordPress AMI AMIMOTO
これから「網元AMI Masterへの道」と題し数回に分けて網元AMIを中心にWordPressの運用や効率的な管理をご紹介したいと思います。 第１回目は、数あるインスタンスの中でどれを選べばいいのか、そしてAWS Market Placeを利用したインスタンスの起動方法をご紹介します。 EC2のリージョンの選択 AWSは世界中の複数地域にリージョンと呼ばれるデータセンター群があります。 US East (Virginia) US West (Oregon) US West (Northern California) EU West (Ireland) Asia Pacific (Singapore) Asia Pacific (Sydney) Asia Pacific (Tokyo) South America (Sao Paulo) EC2でインスタンスを作成する時、どのリージョン（
PHPExcelで大きいエクセルファイルを読み込んだ際にFatal error: Allowed memory size of XXXXX exhausted
PHPExcelで大きなファイルを読み込んだ際、 Fatal error: Allowed memory size of 67108864 bytes exhausted というエラーが発生する。 デフォルトはメモリにセルの内容をキャッシュしているため、大きなファイルを扱う際にはメモリ不足に陥る。 回避方法としてキャッシュの種類を変更できる仕組みがある 変更先は、ディスク,APC,memcache,wincache,sqlite, キャッシュの種類 PHPExcel developer documentationのCell Cachingより PHPExcel_CachedObjectStorageFactory::cache_in_memory デフォルト。メモリにセルオブジェクトをそのままメモリに保存 PHPExcel_CachedObjectStorageFactory::cache
【トラブル】apacheがよく応答無しになるので調べてみました -その2(設定ファイル)-
その1apacheがよく応答無しになるので調べてみました -その1(コマンド)-の続き。 apacheがメモリを消費しすぎ、応答が異常に遅くなることがあるのでapacheやPHPの設定ファイルを見直しました。試したのはさくらのVPS512(メモリ：512MB）です。 apacheの設定ファイル /etc/httpd/conf/httpd.conf。CentOSのapacheはmpm_prefork。デフォルトの設定は以下の通り。 <IfModule prefork.c> StartServers 8 MinSpareServers 5 MaxSpareServers 20 ServerLimit 256 MaxClients 256 MaxRequestsPerChild 4000 </IfModule> これを検索した記事やapacheのマニュアルを読みつつ、値を変えて様子を見るという試
apacheでメモリリークしないようにするチューニング - わーくあうと！
今日のことなんですが、運用しているWebサービスに集中したアクセスがあって繋がりづらい自体に陥ってしまいました（SSHすらも） psコマンドで確認したところhttpdプロセスがメモリをもりもり使っててメモリリーク（メモリリークとは違うけど、まあ今回はそう呼ぶ）していたようで、これはよくないとApacheのチューニングを行ったのでその内容を記事にしておきます。 なにをしたか httpdプロセスが立ち上がりすぎてメモリが溢れないよう、立ち上がるプロセス量を調整しました。 ↓この記事を参考にチューニングしました。 ・Apacheをデフォルト設定のままで使っていませんか？ Apacheに割り当て可能なメモリ量を調べる 参考記事では「OS起動直後にfreeコマンドを打てばわかるよ」というような事を言っていましたが、現在サービス運用中で再起動はしたくないので以下の方法で割り当て量を出しました。 a，V
Apacheをデフォルト設定のままで使っていませんか？ - OSSコンソーシアム
TIS株式会社の小林です。今回はApache HTTP Server(Apache)の設定についてお話しします。 NetCommonsやSugarCRMなどスクリプト系言語で実装されたビジネスアプリケーションをApacheで動作させる場合、mod_perl、mod_phpなどApacheの追加モジュールで動作させることが良くありますが、この時のApacheの1プロセスの使用メモリは100MBを超える場合も少なくありません。 もしmod_perlやmod_phpなどを利用して、かつApacheをデフォルト設定で動かしているならば、アクセス数が多くなった時にメモリが足りなくなり、スワップが頻発して急激な性能劣化を引き起こしたり、最悪の場合OOM-Killerが動作して他のプロセスにまで影響を与える可能性があります。そのようなトラブルを未然に防ぐためにApacheの設定を見直しましょう。 ここで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
誤って Blue Prism が利用する SQL Server のメモリを小さくしすぎた場合の対処方法 - Enterprise Blue Ocean ◮
PHPExcelが遅い場合