Etsukata blog: FreakOut DSP 入札サーバの CPU 使用率を 30% 削減する Performance Tuning
はじめに 勤務先の FreakOut 社では RTB で広告枠を買い付ける DSP の開発・運用を行っています。RTB とは、インターネット広告のインプレッションが生じる毎に、広告枠の競争入札を行う仕組みです。 DSP とは、 RTB において、競争入札をする側のシステムになります。広告枠/広告を見ている人 に対し、最適な広告を、最適なタイミングで届ける機能を広告主に提供する仕組みです。 FreakOut DSP は最適な広告探索・入札価格調整のため、非常に多くのデータを参照し、沢山の演算処理を行います。広告を見ている人が過去にアクセスした Web ページの情報や検索ワード、さらに 広告がクリックされる予測確率(過去のログから機械学習で算出) などを参照し、入札価格を決定するのです。そのため、DSP で入札を担当するサーバは CPU がボトルネックになっており、台数も数百台に嵩んでいます。
マルチコア時代のロードアベレージの見方 - naoyaのはてなダイアリー
ちょっと煽り気味のタイトルですが、CPU がマルチコアになり 2個、4個と増えていく中 Linux の負荷の指針になるロードアベレージをどう読むべきか、という話です。気になったところを少し調べたのでそのまとめを。 http://d.hatena.ne.jp/naoya/20070222/1172116665 でも書いたとおり、Linux のロードアベレージは「ロードアベレージは過去1分、5分、15分の間の実行待ちプロセス数の平均数 = 実行したくても他のプロセスが実行中で実行できないプロセスが平均で何個ぐらい存在してるか」を示す値です。ボトルネックが CPU、メモリ、ディスク等々どこにあるかは関係なく、仕事の実行までにどれぐらい待たされているかを示す値なので、システムのスループットを計測する指標の入り口になる値です。 このロードアベレージですが、実装を見るとランキュー(待ち行列)に溜まった
「複数CPUならload averageはCPU数で割れ」は正しいか？
【この記事の所要時間 ： 約 3 分】 「複数CPUで稼動するlinuxのload averageの目安はいくつだ？」という前から気になっていた疑問をLivedoor Knowledge で見つけたので、読んでみた。 snmpの.1.3.6.1.4.1.2021.10やuptimeやwで取得できる load averageで機器の負荷を監視しています。 昔どこかで、「搭載CPUの個数を目安に監視する」と聞き、 2CPUの機器は2.00を目安に監視していたのですが、 CPUの数にかかわらす1を超えてはいけないという 反論を頂きました。 複数CPUのload averageの目安に関する信頼できる団体によるソースを教えてください。 複数CPUで稼動するlinuxのload averageの目安に関する信頼できるソース つまり、 「2CPUならLoad Avarageの監視目安は2.0で、3CP
load averageを見てシステムの負荷を確認する - Qiita
load averageとは ロードアベレージはシステム全体の負荷状況を表す指標。 「1CPUにおける単位時間あたりの実行待ちとディスクI/O待ちのプロセスの数」で表される。 システムのスループットを上げたい場合はロードアベレージを下げることを目標にする。 詳細な説明 Linuxカーネルはプロセス１つごとにプロセスディスクリプタを持っていて、そのstateメンバにプロセスの状態を入れて管理している。 プロセスの状態は以下のように区別される。 TASK_RUNNING: 実行可能な状態。CPUが空いていれば実行できる。 TASK_UNINTERRUPTABLE: 割り込み不能な待ち状態。ディスクI/O待ちなど、短時間で復帰するもの。 TASK_INTERRUPTABLE: 割り込み可能な待ち状態。ユーザの入力待ちなど、復帰時間が予測できないもの。 TASK_STOPPED: 実行中断になった
CPU使用率とロードアベレージ
ロードアベレージは、最も簡単に説明すると、実行プロセス数の平均だ。説明によっては実行待ちプロセス数や実行可能プロセス数となっているが、正確には実行プロセス数(実行中プロセス数＋実行可能プロセス数)だ。つまり、I/O待ちのプロセスはカウントされない。 ここで、たとえば、1秒間に10回実行プロセス数をカウントすると、1分間では600回カウントする。カウントした時に、毎回3、4、5あたりをうろうろしていると、平均値としては4ぐらいになる。これがロードアベレージだ。正確に、Linuxが1秒に何回カウントしているかは知らんが、どちらにせよ (カウントした時のロード数1＋...カウントした時のロード数n)/カウント数 という計算式になるので、1分に何回カウントしたかはあまり重要な数字ではない(もちろん1分に1回やら数回やらというのは困るが)。ロードの平均値を取っているのでロードアベレージだ。 ロードア
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
