Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
シェルスクリプトの中で1行ずつ変数を分割する際には、cutとかawkとか余計なプロセスを起動せずsetを使って分割した方が効率的 - 双六工場日誌
シェルスクリプトの中で、スペース区切りもしくはタブ区切りのレコードを扱うことがよくあると思います。 たとえば、前回のエントリ「AWS CLIとjqを使って、AWSのELBボリュームがアタッチされているEC2インスタンス名を出力するワンライナーを書いた - 双六工場日誌」のスクリプトの出力は以下のようになります。 i-ec56a9f5 vol-07d00601 servername i-ec56a9f5 vol-8f550991 servername このようなレコードの特定の列を取り出して、処理する際にどうするのが効率的か、というのがこのエントリのお題です。 非常に古い話題なので、昔からシェルスクリプトを書いている人には自明な話ではありますが、最近、シェルの標準機能の話を聞く機会がなく、失われつつある技術になってきている気がしているので、改めて確認ということで。 例として挙げたレコードから
Prometheus
Prometheus monitoring system and time series databaseAn open-source service monitoring system and time series database. Get Started Data model Prometheus implements a highly dimensional data model. Time series are identified by a metric name and a set of key-value pairs. View details » Query language A flexible query language allows slicing and dicing of collected time series data in order to gene
英語で本や論文を読む苦痛を減らす事前準備6ステップ | 秋山ゆかり公式サイト
いくら英語ができるようになっても、英語で文章を読むスピードは、やはり日本語を読むスピードよりも4割減くらいなので、和訳があれば絶対和訳から読むのですが、英語の原文しかない場合も多々あります。 そうなると、英語で読むしかありません。知らない単語が出てきて、辞書を引くのも面倒だし、知らないまま読み飛ばして理解できないことも多々あるので、「辞書ひきながら一気に読める時間ってどこで作るんだろう？」と、読む前から、げんなりしてしまいます。 ちなみに、どれだけ外国語ができるようになろうと、バイリンガルであろうと、英語を読むスピードは日本語よりも遅いそうです。それは、日本語は漢字交じりの言語で、漢字から多くの意味を理解できるため、少し読み飛ばしても内容が理解できるからだそうです。 そんなわけで、英語をはじめ、外国語で本や論文を読まなければいけないときは、ちょっとした準備をしています。 PDFなどの電子媒
スタートアップ経営者から見たQiita:Teamのいいところ | toyoshiの日記
toyoshiの日記は終了しました。 ご愛読ありがとうございました。 Misocaへ戻る
[つまづく] コンピュータの基礎ってなんだろう [潜ってみる] | oshiire*BLOG
常々「基礎をやれ」とえらそうに言うことを、人生の糧として生きているわけですが、ふと「コンピュータの基礎」って、なにをやれば「基礎」と言えるのか分からないことに気がつきました。 多分、大抵のエンジニアが思い描くものとして、コンピュータアーキテクチャ(またはシステム)は、ハードウェア、ソフトウェア、ネットワークで成り立っているから、それぞれについて基礎を学べば良いのではないかと想像するわけです。 なので、いったんはこのカテゴリで、基礎と言えるところまで深掘りしてみて、いったい何が基礎なのかを考えてみました。 なお、今日のネタは記憶だけで書いているので、たまにまちがいがあると思いますが、気にしないのが得策です。 1. ネットワーク なんとなく単純そうだったので、ネットワークからいきます。 ネットワークの基礎ってなんだろうか。 現在のネットワークのベースは TCP/IPですので、それが基礎かと。た
![[つまづく] コンピュータの基礎ってなんだろう [潜ってみる] | oshiire*BLOG](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d71ff5111e05619a10d29bb40d7aebaa75c8fbc/height=288;version=1;width=512/https%3A%2F%2Fs0.wp.com%2Fi%2Fblank.jpg)
第330回 X2Goでリモートデスクトップ | gihyo.jp
今回はリモートデスクトップを実現するサーバー／クライアントであるX2Goの簡単な使い方を紹介します。 リモートデスクトップの現状 Ubuntu 14.04でリモートデスクトップを使用したい場合、どういう選択肢が考えられるでしょうか。 まずはデフォルトで使用できるVNCですが、仕様上LAN内で使用する分には良いものの、WANだと厳しいです。とはいえ、Ubuntu／Ubuntu GNOMEデフォルトのVNCサーバー実装であるvino-serverだと今使用している画面を飛ばすのにはとても便利です。第208回で取り上げたxrdpはクライアントについてはあまり考えなくていいので便利ですが、開発スタイルがよくわかりません。14.04のリポジトリにあるのは0.6.0ですが、現在は0.7や0.8の開発を終了してdevelブランチで0.9を開発しているように見えます。しかし、リリースタグが打たれていないの
インフラエンジニアとしてよく使うコマンド集 - Qiita
私がよく使うコマンド集となります。 参考に頂けたら幸いです。 随時更新するかと思います。 コマンドを打つ前に覚えておく事 ①サーバに負荷がかかるコマンドを打つ場合、下記をコマンドの先頭に付けましょう $ ionice -c 2 -n 7 nice -n 19 # -c 2：ディスクI/Oの実行優先度をベストエフォートで実行 # -n 7：さらにこのコマンドの優先度を低くする # -n 19：プロセスの実行優先度を一番低くする
正規表現を解析して可視化してくれるサイトが凄すぎる件
ある正規表現に対して、特定の文字列がマッチするかどうかをチェックするツールやサイトは沢山ありますが、正規表現そのものが何を意味しているのか、どんな文字列を期待しているのかを解析・解読・説明してくれるツールやサイトってなかなか見ない気がします。 他人の書いた正規表現を見て、「ん？」ってなったことはありませんか？ 例えばこれ。 1 ^[a-zA-Z0-9-_.]@([a-zA-Z0-9_-]+\.)+[a-zA-Z]{2,4}$ これくらいなら分かりますが、複雑になってくるとつらい… いつかはマスターしたいけど…今は楽したい。 そう思ってググってみると…ありました！ それがこちら。 Regexper http://www.regexper.com/ 正規表現を入力して Display をクリックすると、その正規表現が表す内容を図にして表示してくれます。 例えば先程の正規表現は、当記事の一番上の
Linuxでネットワークの監視を行えるモニタリングコマンド20選 | 俺的備忘録 〜なんかいろいろ〜
今回は、Linux上でネットワークトラフィックの監視を行えるモニタリングコマンドについて、数あるコマンドから20個を紹介する。 1.iftop 以前にこちらでも書いているiftopは、個別のソケットで受信・送信パケットをひと目で見る事が出来るコマンド。 通信ごとに個別のプロセスを表示させることは出来ないが、どのホストとの接続がどの程度の帯域を使用しているのかはひと目で分かるだろう。 以下のコマンドでインストールが出来る。 sudo apt-get install iftop # Debian/Ubuntuの場合 sudo yum install iftop # RHEL系の場合 2.bmon 『bmon』は、グラフでトラフィックの負荷を表示してくれるモニタリングコマンドだ。 どのNICのトラフィックを表示させるかを上下キー、モニタリングを行うパケットの種類を左右キーで選択する。 このコマン
Linux で huge page を使っているプロセスを調べる方法 - ablog
調べ方 /proc/[pid]/smaps で KernelPageSize がデフォルトの 4kB 以外のプロセスを探す。 調べ方の例 /proc/[pid]/smaps で KernelPageSize が 4 kB 以外のプロセスを探す。 [root@yazekats-linux ~]# perl -lane '/KernelPageSize/ and $F[1]!=4 and print qq/$ARGV\t$_/' /proc/*/smaps /proc/3834/smaps KernelPageSize: 2048 kB PID:3834 のプロセス名を調べる。 [root@yazekats-linux ~]# ps -fp 3834 UID PID PPID C STIME TTY TIME CMD root 3834 3832 0 13:44 pts/0 00:00:01
crontab -e は「絶対に」使ってはいけない - ろば電子が詰まつてゐる
今までナチュラルにcrontab -eでcron編集をしていたのだけど、実はこれはとてつもなく危ないやり方だった。ということを、今さら知った。 crontab -rの恐怖 crontabコマンドにはrオプション(Remove)があり、これを実行すると何の警告もなく全てが消え失せる。 macbook:~ ozuma$ crontab -l 15 * * * * /home/ozuma/bin/hoge.sh 0 9 1 * * /home/ozuma/bin/piyo.sh > /dev/null 2>&1 */5 * * * * /home/ozuma/bin/fuga.sh > /dev/null 2>&1 macbook:~ ozuma$ crontab -r macbook:~ ozuma$ crontab -l crontab: no crontab for ozuma macbo
サーバの適切な名前の付け方 | POSTD
現在、 MNX ではクラウドホスティングサービスの新しいデータセンタを立ち上げているところで、とてもバタバタしています。クラウドホスティングサービスは、今の私たちの主な業務ですが、この会社が始まった当初は、Linux管理のコンサルティングサービスを中心としていました。そのサービスを通じて、たくさんの顧客環境を目の当たりにしましたし、それと同じ数だけの、顧客ごとに異なるデバイス名の指定方法も見てきました。そしてもちろん、その全ての指定方法をいいなと思ったわけではありません。名前の付け方は、コンピュータ草創期からの問題ですよね。おのおのがホスト名の指定方法について一家言持っていました。でも、それらの方法は最初のうちはうまくいっても、時を経てシステムインフラが拡大し、状況に応じて変更を余儀なくされるようになると、すぐに扱いにくくなってしまうものがほとんどでした。 そこで今回は、先述した私たちのデ
規模別構成例で学ぶ、10Gスイッチの選び方 - 小規模ネットワーク編
「10Gイーサはまだ早い」「10Gイーサはコストがかかるのでは」 こんな風に考えているネットワーク管理者はまだまだ多いだろう。しかし、中小規模の企業ネットワークでも、高精細な動画や画像といったサイズの大きなリッチコンテンツが増え、ネットワークトラフィックが増大している。そのため、より高速なネットワークを構築できれば、生産性の向上が見込める。 また、ここ数年、データセンターなどの大規模なネットワークでは、今回紹介するNETGEARの製品のように、中小規模のネットワークでも十分に手が届くリーズナブルなコストの製品が登場してきたことで、10Gイーサネットの導入がどんどん進んでいる。 本稿では、これから10Gイーサネット環境の導入を考えている中小規模～中堅企業ネットワーク向けに、具体的な構成例を提示しよう。 ネットワーク要件 「小規模ネットワーク」と一口に言ってもいろいろな構成が考えられるが、今回
【笠原一輝のユビキタス情報局】Intel AMTを使って、リモートからのBIOS制御やOSリカバリに挑戦
■笠原一輝のユビキタス情報局■ Intel AMTを使って、リモートからのBIOS制御やOSリカバリに挑戦 Home IT(家庭内IT)というのは聞き慣れない言葉かもしれないが、今後数年のうちにトレンドとなる言葉の1つではないかと筆者は思っている。というのも、現在多くの家庭で複数台のPCが所有されている状況になりつつある。それを後押ししているのは、ネットブックのような低価格PCの存在で、今では1人1台のPCを持つのは当たり前。それどころか、1人で複数のPCを所持するのも珍しくなくなってきている。 そうなると大変なのがPCとそれにより構成される家庭内ネットワークの管理ではないだろうか。今回は、そうしたHome ITを効率よく管理するために役立つ技術として、Intelが企業向けPCブランド「vPro」向けの技術として提供しているAMT(Active Management Technology)
EPSON Endeavor SV110で INTEL AMTを使ってみる。
カテゴリー .NET Gadgeteer (2) .NET Micro Framework (2) Acer RevoCenter (1) ASP/ASP.NET (1) Aspire easyStore H340 (43) ASUS TS mini (2) がじぇるねシリーズ (1) アイ・オー・データ HDL-Zシリーズ (1) エプソン・カラリオ (3) キーボード (1) ゲーム (3) コンピュータとインターネット (10) コンピューターとインターネット (39) ニューテック SmartNAS シリーズ (1) ヘルスケア製品 (4) モバイル・ガシェット (12) canon pixus (1) 電子工作 (2) 街の風景 (14) 趣味 (12) FUJITSU PRIMERGY シリーズ (9) HP WHS製品シリーズ (24) INTEL Galileo (1) I
Zabbixサーバーの負荷を圧倒的に下げた話 - サーバーワークスエンジニアブログ
初めまして今年入社した長谷川です。 新入社員として最初の仕事である、Zabbixサーバの負荷を下げた話を書きたいと思います。 実はこのプロジェクトは、まだ新人研修を行っている入社１ヶ月目の時に、Rubyが得意？という理由でアサインされ、１週間で構築と実装しました。以上自慢です。 構築したシステムは、CloudWatch経由でしか監視ができないRDSやSQSなどのサービスのメトリクス（監視データ）を大量にZabbix取り込む場合の解決方法の一つだと思います。今後同じ問題に直面した方々の参考になれば幸いです。 従来のシステムの状況 従来のシステムは、Zabbixサーバがインストールされている1台のEC2インスタンスが、CloudWatchから値を取得しているだけのシンプルな構成でした。 ZabbixサーバーはCloudWatchから各サービスのメトリクスを取得するRubyスクリプトを実行し、そ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tiny Server Clustering using Vyatta/VyOS (MEMO)
bluelet
仮想マシンとLinuxコンテナのパフォーマンス比較
