OOM Killerにであったら何をするべきか?
OOM killerで大事なプロセスが殺される。困りますね。。 google で OOM Killerと入力すると 「無効」とか補完されます。しかしどうするのが良いのか、あまりよく説明されている記事がみあたらなかったので自分の考えをメモしておきます。 OOM Killer の目的は何か? まずは何故OOM Killerが発生しているのかについて、ざっくりイメージをつかみましょう。linux kernelはプロセスからの「メモリくれ」という要求に対してたぶん足りそうだという場合に「OK」といって渡します。実際のメモリ割り当てはアクセスが発生するタイミングまで遅延させます。これを遅延アロケーションといい、だいたいにおいてうまく動きます。ただし必ずうまくいくと保証されているわけではないので破綻することがあります。 OOM Killerはこの遅延アロケーションが破綻しそうなときに、適当にプロセスを
Linuxカーネルの「TCP_TIMEWAIT_LEN」変更は無意味？
小崎 資広 (KOSAKI Motohiro) @kosaki55tea . @sonots から日本のWeb界隈ではTCP_TIMEWAIT_LEN を変更してカーネルリコンパイルがデファクトという話を聞いて軽くぐぐってみたところ、たしかに大量にそのようなページがヒットする。しかもどれ一つとして理由が書いてない。そして日本特有の現象 小崎 資広 (KOSAKI Motohiro) @kosaki55tea 軽くソースを見た感じだと、tcp_tw_reuse をセットすると１秒で TIME_WAITのsocketは再利用が始まるので、いまひとつリコンパイルの必要性が分からず。これ、ソース呼んで妥当性チェックした人がいるノウハウなのかなあ
【RHEL】linuxメモリのfreeとmeminfoの関係を図解し利用率の計算方法を説明してみる - のぴぴのメモ
はじめに linuxのメモリ利用容量(空き容量)の考え方 linuxのメモリ利用容量/空き容量の計算方法 ■RHEL7 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 ■RHEL6 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 ■RHEL5以前 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 蛇足 その1：無名ページとファイルページ その２：図解の内容のツッコミ その３：RHEL6の計算 その４：Inactiveを空き領域とすることは間違い。 はじめに linuxサーバを利用する上で何時も頭を悩ますものの一つが、メモリ利用状況の評価(メモリ利用率)ではないでしょうか。私も悩みます。そこで
Linux のプロセスが Copy on Write で共有しているメモリのサイズを調べる
Linux は fork で子プロセスを作成した場合、親の仮想メモリ空間の内容を子へコピーする必要があります。しかしまともに全空間をコピーしていたのでは fork のコストが高くなってしまいますし、子が親と同じようなプロセスとして動作し続ける場合は、内容の重複したページが多数できてしまい、効率がよくありません。 そこで、Linux の仮想メモリは、メモリ空間を舐めてコピーするのではなく、はじめは親子でメモリ領域を共有しておいて、書き込みがあった時点で、その書き込みのあったページだけを親子で個別に持つという仕組みでこの問題を回避します。Copy-On-Write (CoW) と呼ばれる戦略です。共有メモリページは、親子それぞれの仮想メモリ空間を同一の物理メモリにマッピングすることで実現されます。より詳しくは コピーオンライト - Wikipedia などを参照してください。 この CoW に
相手がいないのに ESTABLISHED になってる TCP ポート - tmtms のメモ
最近 ParallelServer というライブラリを作ったのですが、その最中に奇妙な状態になってる TCP ポートを見つけたので、メモっておきます。 Ruby では TCP サーバーは次のような感じで作ることができます。お手軽ですね。 require 'socket' Socket.tcp_server_loop(12345) do |socket, client_addr| socket.puts "Your IP address: #{client_addr.ip_address}" name = socket.gets socket.puts "Hello, #{name}" socket.close end これは 12345 ポートでクライアントからの接続を待ち、接続されたらクライアントのIPアドレスとクライアントからの入力をクライアントに送信して切断するだけの簡単なプログラム
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
Linux Profiling at Netflix
This talk discusses Linux profiling using perf_events (also called "perf") based on Netflix's use of it. It covers how to use perf to get CPU profiling working and overcome common issues. The speaker will give a tour of perf_events features and show how Netflix uses it to analyze performance across their massive Amazon EC2 Linux cloud. They rely on tools like perf for customer satisfaction, cost o
2015年2月17日 いよいよカーネルにライブパッチ機能が！？ Red HatとSUSEが共同でプロジェクト開始：Linux Daily Topics｜gihyo.jp … 技術評論社
Linux Daily Topics 2015年2月17日いよいよカーネルにライブパッチ機能が！？ Red HatとSUSEが共同でプロジェクト開始 Linuxではカーネルに対してパッチを当てる際、OSの再起動、つまりダウンタイムが発生することは基本的に避けられない。このパッチ当てとそれに伴うダウンタイムの発生は運用管理者にとっては実に頭が痛い問題なのだが、これを回避するためのソリューションとして、Oracle、Red Hat、SUSEの3社はそれぞれ独自にライブパッチ機能の開発を続けてきた。 なかでも有名なのはOracleの「Ksplice」だろう。Oracleは2011年7月、ゼロダウンタイムでのカーネルパッチ適用を実現する技術をもつKsplice社を買収した。Kspliceのコード自体はオープンソース（GPLv2）として公開されているものの、買収時までサポートはKsplice社が行っ
OSTree: OSイメージとパッケージシステムの間にGitのアプローチを
This document discusses OSTree, a system for deploying and managing operating system updates using Git-like technologies. It describes how OSTree works with Linux distributions and containers to provide atomic operating system updates using technologies like Git, Docker, and chroot. OSTree aims to provide fast, reliable operating system updates similar to technologies used in Chrome OS and CoreOS.
ipコマンドとnetnsでお手軽なテストクライアント作成 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2014の9日目の記事です。 ネットワークを使う機能でなにかしらテストしたいときに複数のクライアントが欲しい時がありますよね。大量アクセスをしたい場合はjmeterとかありますが、クライアントのIPアドレスも複数あったほうが良いケースもあると思います。kvm等でクライアントを複数作ってbridgeするという方法もありますが、それはちょっと重量級なのでもうちょい手軽な方法がないかなーというところです。 そこでお手軽な方法はなにかというところでネットワークネームスペース（netns）を使って見たいと思います。 ネットワークネームスペースとはなんぞや？という方はten_forwardさんがgihyo.jpで連載している「LXCで学ぶコンテナ入門 －軽量仮想化環境を実現する技術」の「第6回 Linuxカーネルのコンテナ機能［5］ ─ネットワーク
革命の日々！ zone_reclaim_modeのデフォルト値が変わります
Linuxにはzone_reclaim_modeというsysctlオプションがある。どういうものかというとNUMAマシンにおいて、CPUから遠いメモリを使うぐらいなら、近いメモリのキャッシュを捨ててでも自分が近いメモリを使えるようにする。というポリシー で、Linuxは遠いメモリへのアクセスが近いメモリに対してすごい遅いマシンだと、これがデフォルトでON. で、Core i7 やOpteronのような最近のx86はソフトウェアから見るとNUMA。かつベンダによっては（BIOSのSRAT, SLITテーブルによっては）、メモリ間が遠いので、zone_reclaim_modeがONになってしまう。 が、Core i7の典型的な使用方法であるWebサーバ、ファイルサーバ、デスクトップ用途ではメモリがまだあるのに、キャッシュを捨てるのは性能が落ちてしまう。という問題があった。 で、腹が立ったので、
rm -rfしちゃったけどどうする
rm -rf remains rm -rfの後に残りしもの 遊びのために、筆者は新しいLinuxサーバーを立ち上げて、rootでrm -rf /を実行して、何が残るかをみてみた。どうやら、今のrmというのは筆者のようなアホを相手にしなければならない未来に生きているようなので、実際に実行するには、--no-preserve-rootをつける必要があった。 # rm -rf --no-preserve-root / かかるおろかなる行為の後では、 /bin/ls /bin/cat /bin/chmod /usr/bin/file のような、偉大なるツールのたぐいはみな消え失せてしまった。まだ、ssh接続とbashセッションは生きているはずだ。つまり、bashの組み込みコマンドであるechoとかは残っているということだ。 Bashマクガイバーたれ root@rmrf:/# ls -bash: /
10月版 2.6.27はLTSに、命名規則の変更案も飛び出した（1/2） － ＠IT
小崎資広 2008/11/4 2008年に入ってからずっと手掛けていたSplit LRUパッチ（参考：「Linuxメモリ管理の最先端を探る」）がやっと2.6.28のマージウィンドウにてマージされ、ほっと一息ついてる筆者です。さてさて、10月はカーネル2.6.27がリリースされたので、そちらの紹介をメインにお届けします。それではどうぞ！ Linux 2.6.27にマージされた主な機能 2.6.26から約3カ月、10月10日にリリースされたLinux 2.6.27の主な機能や修正点から紹介していきましょう。 ■ext4：Delayed Allocation この機能は、そのまま「遅延アロケーション」ともいいます。従来のext3では、write()システムコールにおいてキャッシュに書き込みを行った時点で、ディスク上のブロックも予約していました。これには、キャッシュをディスクに反映するときに、ディ
OpenVZ - Linux Containers：第2回 コンテナ型仮想化の情報交換会＠東京
3. 第2回 コンテナ型仮想化の情報交換会＠東京 （2013/10/05）第2回 コンテナ型仮想化の情報交換会＠東京 （2013/10/05） こんなんやってます @ebiken • Parallels Inc. パラレルス株式会社 – Solution Architect, APAC – Parallels Automation （BSS/OSS） • Business Support System / Operation Support System • Japan Vyatta Users Group – VYATTA USERS MEETING Autumn 2013 – ＠新宿住友ホール・スカイルーム5 – 2013年10月11日（金） – http://atnd.org/event/jvum2013a • パケット関連： – Internet Week 2012: D1 パケッ
CLOSE_WAITの状態が続くとどうなるか - こせきの技術日記
相手のアプリケーションがcloseして、こちらのアプリケーションがcloseせずにいる場合(ハーフクローズの状態、上の図参照)、一定時間後に相手側のFIN_WAIT2と、こちらのCLOSE_WAITが消えた。この現象は、2つのタイマーが関係しているらしい。 http://www.linux.or.jp/JM/html/LDP_man-pages/man7/tcp.7.html FIN_WAIT2は、 tcp_fin_timeout でタイムアウトする。デフォルトは60秒。 CLOSE_WAITは tcp_keepalive_time 秒後に(デフォルトは2時間)、接続が有効かどうかを確認する(keep-aliveプローブを送信)。 相手側がFIN_WAIT2で待っている場合は、ACKが返ってきて接続が維持される。 相手側が tcp_fin_timeout によってクローズ済みの場合、リセッ
コラム - クラウド時代のオープンソース実践活用 | 第41回 Linuxコンテナ(LXC)の基礎をまとめ直す｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第41回 Linuxコンテナ(LXC)の基礎をまとめ直す (中井悦司) 2014年4月 はじめに 最近、「Docker」の話題をよく耳にするようになりました。Dockerは、Linuxコンテナ（LXC）を活用するためのツールで、コンテナ内部で動かすアプリケーション環境の管理が簡単になります。ただし、Dockerを利用してコンテナを使っていると、手軽で便利な反面、コンテナそのものの技術的な本質が見えにくくなることもあります。 そこで、今回は、Linuxコンテナの技術的な特徴をあらためて整理してみたいと思います。Linuxコンテナの基礎を理解することは、Dockerをより高度に使いこなす上でも大切です。すでにDockerを活用している方も、これから
Linux container update
2. Who am I • Linux メモリ管理コア開発者 • MM Summit(上位20人のコア開発者会議）５ 年連続招待 • Ruby core committer • コミット率TOP10コミッタのうちの一人 • ボストン在住、Red Hat常駐 • Herokuは使ったことがありません 4. What is Container • むつかしい言い方をすると Operating system– level virtualization • FreeBSD jail が嚆矢 • Containerという用語を最初に使い始めたの はSolaris • リソース(CPU, memory, IO, etc)の分離 + 名前 空間(pid, IP adress, chroot)の分離 + (SELinux) • ここ二年ぐらいで急速に注目度アップ 5. Linux v2.6.32 • 20
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tumblrがデータセンタ自動化ツールGenesisをリリース
宁波逼拘旅行社
Charming Python: Functional programming in Python, Part 3
