How can I configure a service to run only on a specific CPU under systemd? - Red Hat Customer Portal
革命の日々！ zone_reclaim_modeのデフォルト値が変わります
Linuxにはzone_reclaim_modeというsysctlオプションがある。どういうものかというとNUMAマシンにおいて、CPUから遠いメモリを使うぐらいなら、近いメモリのキャッシュを捨ててでも自分が近いメモリを使えるようにする。というポリシー で、Linuxは遠いメモリへのアクセスが近いメモリに対してすごい遅いマシンだと、これがデフォルトでON. で、Core i7 やOpteronのような最近のx86はソフトウェアから見るとNUMA。かつベンダによっては（BIOSのSRAT, SLITテーブルによっては）、メモリ間が遠いので、zone_reclaim_modeがONになってしまう。 が、Core i7の典型的な使用方法であるWebサーバ、ファイルサーバ、デスクトップ用途ではメモリがまだあるのに、キャッシュを捨てるのは性能が落ちてしまう。という問題があった。 で、腹が立ったので、
Etsukata blog: Hadoop : CPU system 使用率高騰 "zone_reclaim_mode = 1" 編
はじめに 会社で PB 級の Hadoop クラスタを運用していますが、ある日から Datanode の CPU system (Kernel 内での CPU 使用率) が高騰し、Job が遅延するという症状が発現しました。Hadoop で CPU system 高騰というと、 Transparent HugePage 設定が有名ですが、そちらについては既に特定し、対策済みでした。 THP と Hadoop に関係については下記 Blog が詳しいです。 Transparent Huge Pages and Hadoop Workloads 今回は THP ではなく、 "zone_reclaim_mode" の設定による性能劣化について、現象から原因特定に至るまでの経緯と、推奨する設定について解説します。 現象 観測された現象について簡単に箇条書きします。 CPU user が 5% 程度
Paxos, Raftなど分散合意プロトコルを概観する(2) - 備忘録 blog
前回の記事 sharply.hatenablog.com 本稿ではRaft, Bitcoinの Proof of Work, Proof of Stakeそれぞれのアルゴリズムについて説明する。 分散合意プロトコル Raft 難解であったPaxosより簡単であることを標榜しているアルゴリズムで、そこまで多くないノード数で、密結合なネットワークにおける分散合意が想定されており、Paxosではあまり触れられなかったリーダー選出手法についてはこちらの説明のほうが腑に落ちやすいと思う。実際にetcdなどで実装されており、ログレプリケーションなどで用いられる。 ここでは明確にプロセスは状態機械として扱われる。各リソース上のそれぞれのプロセスは本質的に平等であり、プロセスはLeader, Follower, Candidateの3stateのどれかを持つ。Leaderは交代する場合があり、それをter
Optimizing Linux Memory Management for Low-latency / High-throughput Databases
Optimizing Linux Memory Management for Low-latency / High-throughput Databases Co-author: Cuong Tran Table of Contents Introduction Setting up the context Reproducing and understanding Linux's zone reclaim behavior NUMA memory rebalancing also triggers direct page scans Lessons learned Introduction GraphDB is the storage layer of LinkedIn's real-time distributed social graph service. Our service h
PostgreSQL, NUMA and zone reclaim mode on linux
Lately we've been seeing issues with zone reclaim mode on large memory multi processor NUMA linux systems. What's NUMA? It's just an acronym for Non-Uniform Memory Access. This means that some memory in your system is more expensive for a particular CPU to access than its "local" memory. You can see how much more distant the kernel considers the different zones by using the numactl command like
東大が首位から７位に転落 アジアの大学ランキング | NHKニュース
イギリスの教育専門誌がアジア各国の大学の最新のランキングを発表し、シンガポールの大学がトップに立った一方、このランキングで３年連続でトップだった東京大学は７位に転落しました。 日本時間の２１日発表されたことしのランキングでは去年まで３年連続でトップだった東京大学が７位に転落しました。 日本の大学では京都大学が去年の９位から１１位に、東北大学も去年の１９位から２３位に後退し上位１００位以内の大学は去年より５校減って１４校となりました。 一方で、トップはシンガポール国立大学、２位は、同じシンガポールの南洋理工大学と中国の北京大学となり、特に中国の大学は上位１００校以内に日本を上回る２２校が入りました。 これについてイギリスの教育専門誌は、シンガポールや中国の政府が大学に潤沢な資金を投入し優秀な人材を集めているのに対し日本では「２０年間にわたって大学が資金の制約を受けており世界の大学との競争や国
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
