Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
512Kを超えたIPv4経路、"512K"問題でネットに障害が起こる可能性
IPv4の経路が512,000を超え、いわゆる512K問題で、インターネット利用が不安定になる可能性が指摘されている。 Ciscoのインシデント・マネージャーであるOmar Santos氏によると、増加し続けてきたIPv4の経路が8月13日に512,000を超えた。古いルーターやスイッチの中にはルーティングテーブルを格納するTCAM(Ternary Content Addressable Memory)がデフォルトコンフィグレーションで最大524,288エントリーまでしかサポートしていない製品がある。IPv4経路数が処理能力を超えることで、それらがボトルネックになる可能性がある。 Ciscoは1990年代前半からルーティングテーブルのエントリー数の増加をモニタリングしており、2008年に256,000に達したIPv4経路が、それから6年で512,000を超えた。ネットワークモニタリングサー
強烈なDNSキャッシュポイズニング手法が公開される:Geekなぺーじ
本日、JPRSが緊急の注意喚起を公表しました。 緊急）キャッシュポイズニング攻撃の危険性増加に伴うDNSサーバーの設定再確認について（2014年4月15日公開）- 問い合わせUDPポートのランダム化の速やかな確認・対応を強く推奨 それに対して、2月中旬に脆弱性を発見してJPRSへと報告していた鈴木氏(脆弱性は前野氏との共同発見)が、JPRSの注意喚起では「危険性をよく理解して対策をとるにあたって十分な情報が含まれているとはいえません」として、以下の情報を公開しています。 開いたパンドラの箱 - 長年放置されてきたDNSの恐るべき欠陥が明らかに キャッシュポイズニングの開いたパンドラの箱 キャッシュポイズニングの開いたパンドラの箱 - 2 - 本来であれば、より上位からの正規の回答が優先されなければならないはずなのに、下位側が優先される仕様になっているので、偽装されたデータが優先されてしまう
SPDYとLinuxの間でGoogleマップがハマった落とし穴 - ぼちぼち日記
tl;dr 書いていたら思わず長文の大作になってしまいましたので、プロトコルオタ以外の方は文章の多さに退屈されるかと思います。GoogleマップサービスでSPDYの問題が発覚し、GoogleがLinuxカーネルに修正を加えて対応したというお話です。将来 Linux + nginx + SPDY を使いリバースプロキシでサービス運用を検討されている方は参考になるかもしれません。 1. はじめに、 プロトコルに執着する年寄りエンジニアの老害が叫ばれて久しい。 年甲斐もなく自分好みのパケットを追っかけるおやじエンジニアの姿を見て眉をひそめる若者も多いと聞く。 そんな批判に目もくれず、今日も一つ、プロトコルオタのネタをブログで公開したいと思いますw 今回はちょうど１年ほど前に書いたブログ記事 「GmailがハマったSPDYの落とし穴」の続編です。といっても今度の舞台は、Googleマップ。ネタ元も
SPDYやQUIC登場の背景。Webの進化がプロトコルを変えつつある。HTML5 Conference 2013
SPDYやQUIC登場の背景。Webの進化がプロトコルを変えつつある。HTML5 Conference 2013 Webをより速くしようと、HTTPよりも優れたプロトコルとして提案されたSPDY（スピーディ）。しかしそのSPDYによって、下位レイヤであるTCPの制限が顕著に見えるようになってしまい、そのことでTCP以外のプロトコルとしてQUICをGoogleが提案しています。 Webの進化は、インターネットのプロトコルにまで影響を与えようとしている、という非常に興味深い話が、HTML5のコミュニティ「html5j」主催のイベント「HTML Conference 2013」で行われた小松健作氏のセッション「最新Webプロトコル、傾向と対策」で行われました。 その内容をダイジェストで紹介しましょう。 最新Webプロトコル、傾向と対策 小松です。所属はNTTコミュニケーションズでHTML5の研究
Open vSwitchがLinux 3.3でメインラインにマージ、標準サポートへ
3月18日にLinuxの最新版「Linux 3.3」が公開されました。今回のバージョンではAndroidプロジェクトのコードのマージが大きな特徴の1つですが、ネットワーク関係でも大きな前進がありました。1つはOpen vSwitchがメインラインにマージされ、Linux 3.3から標準サポートとなったこと、そしてネットワークインターフェイスを束ねて帯域幅の拡大を実現する「Teaming」機能が改善されたことです。 LinuxにはすでにLinux bridgeがありますが、Open vSwitchはさらに高度な機能を備えたソフトウェアスイッチとして標準サポートされるとのこと。仮想環境のソフトウェアスイッチとして普及しつつあるOpen vSwitchは、さらにその地位を固めようとしています。 なぜOpen vSwitchがLinuxのメインラインに？ ところで、なぜOpen vSwitchがL
InfiniBandで変わるデータセンター内通信（前編）（1/2） － ＠IT
サーバ間通信の有力な担い手 InfiniBandで変わるデータセンター内通信（前編） 松本直人 仮想化インフラストラクチャ・オペレーターズグループ チェア さくらインターネット研究所 上級研究員 2011/2/15 10年以上前から存在していた「InfiniBand」が、ここにきて、データセンターでのサーバ間通信を担う技術として急速に注目を集めるようになりました。その特徴と基本的な設定方法を紹介します。（編集部） 注目集めるInfiniBand InfiniBandは「インフィニバンド」と発音し、2000年に業界団体であるInfiniBand Trade Associationによって策定された規格です。スーパーコンピューティングなどHPC（High Performance Computing）分野で使われているサーバ間データ通信技術の1つです。 イーサネットによるLAN間接続と同様に、I
じゃあ、Linuxのネットワークスタックはどうなのん？ - syuu1228's blog
この記事の続きになる訳だが、いくらSolaris最強って言っても、大手メーカーがこぞってつつき回して性能改善したり機能追加したりしてるはずのLinuxで何も対策が打たれてない訳が無いよね。じゃあどうなってるんだろう、って話。 例によって、Linuxとか全ッ然知らないので、間違ってたらツッコミ下さい。 ポーリングとパケット処理のパス 殆どここで解説し尽くされてる。 Linuxにも動的ポーリングの実装（Solarisで言ってる動的ポーリングと同じものとは限らないが…）があって、NAPIとか呼ばれてるらしい。 NAPIを実装するドライバでは、こんな手順で受信処理を行ってる。 ハードウェア割り込みを受け、割り込みハンドラを起動 ハードウェア割り込みを禁止、ポーリングをスケジュール ソフトウェア割り込み経由でNAPIのポーリングルーチンを起動 ドライバにポーリングを指示 この時、適切な性能を確保する
Geekなぺーじ : みんなが知らずに使ってるAkamai
Akamaiさんでのセミナーに参加してきました。 個人的にはAkamaiさんと言えば「あまり一般的には知られていないけど使っていない人はほぼいない」企業というイメージがあります。 あまりに内容が楽しかったので、セミナーで色々質問しまくって聞いてしまいました。 想像以上に色々凄いと思いました。 ブロガーのyasuyukiさんが企画し、Akamaiさんにお願いして実現したプライベートセミナーでした。 元々はyasuyukiさんがAkamaiさんのセミナーを聞いて「面白い」とtwitter上で囁きまくっていて、その後「プライベートなセミナーやったら来ますか？」とのオファーを頂きました。 昔からAkamaiさんのCDN技術には非常に興味があったので「是非お願いします」とお願いしました。 セミナー参加者募集はyasuyukiさんのブログとtwitter上で行われ、16人の参加者がいました(アカマイさ
おそらくはそれさえも平凡な日々: Akamaiが想像以上に物凄かった件 in Akamai勉強会
続きというか、お詫びを書きました。 文章を多少修正しました。技術的な点は色々誤りがあると思いますので、あまり信用しないでください。詳しくはgeekpageさんがじきに書いてくださるはずです。 入口にあった、Akamaiサーバーがリアルタイムに捌いているトラフィックを可視化した地球儀が映ったモニター。アメリカが早朝なのでトラフィックは850Gbpsと少な目(笑) それでもアメリカのバーの長さは凄い やすゆきさんという方が、Blogでひっそりと告知していたのが、IT勉強会カレンダーに載っていて、それを目ざとく見つけて行ってきた次第。募集枠5人とかだったので、焦って申し込んだら、実際そんなに募集は来なかったみたいで意外。僕なんか「Akamai」って書いてあっただけで飛びついたのに。内輪に近いノリだったてのもあると思うけど、案外「Akamai」には訴求力が無いのかね。まあ、インターネットの裏の支配
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。
例として推奨されているドメイン名とIPアドレス - あどけない話
解説記事や発表資料で、ドメインの例を出す場合、example.jp等を使うことが推奨されているのを知っている人は多いでしょう。しかし、IPアドレスの方は知らない人もいるみたいです。ここでは両方について出典を示しながらまとめます。 知っていて別の例を使うのはいいのですが、知らないで別の例を使うのはよくないです。 gTLDのドメイン名の例 RFC2606で以下のように定められています。 3. Reserved Example Second Level Domain Names The Internet Assigned Numbers Authority (IANA) also currently has the following second level domain names reserved which can be used as examples. example.com exa
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
第12回 ソケット･インタフェース
前回，Linuxがハードウエアを制御するデバイス・ドライバについて解説しました。そこでは，Linuxがハードウエアを抽象化する3つのデバイス・モデルのうち，ブロック・デバイスとキャラクタ・デバイスについて紹介しました。 しかし，もう一つのネットワーク・デバイスには触れませんでした。それは，ネットワーク・デバイスは，カーネルのネットワーク機能に密接にかかわっており，他の2つのデバイス・タイプとは異なる部分が多いためです。 Linuxカーネルは，インターネットなどで使われる通信プロトコルであるIP（Internet Protocol）をはじめ，AppleTalkやIPXといったさまざまなプロトコルに対応したネットワーク機能を持っています。物理的な接続規格についても，一般的に使われているイーサネットのほか，さまざまな規格に対応しています。 今回から，Linuxのネットワーク機能と，ネットワーク・
音楽/オーディオファンへ、ネットワークオーディオの勧め【その1】 | 本田雅一のAV Trends
音楽/オーディオファンへ、ネットワークオーディオの勧め 【その1】ハイエンドからゲーム機まで“選べる”状況に 昨年、PLAYSTATION 3がDLNAクライアント機能をサポートしたことをきっかけに、日本でもDLNAへの注目が集まってきている。もちろん、日本ではマイナーな存在ではあるが、Xbox 360もDLNAクライアントとして利用できる。AV機器よりも圧倒的に数が多く、操作レスポンスも良いゲーム機がDLNAをサポートしたことは、DLNAサーバーの充実という形で市場に変化を与えているようだ。 加えてPCとデジタルAV家電の境目が曖昧になり、データの多くが両者で共有でき、さらには大容量ストレージの一般化で、自宅のメディアデータを一括管理しやすい時代背景になってきたことも、なかなか浮揚して来なかったDLNA環境の充実へと繋がっているのかもしれない。 いずれにしろ、すでに動画や画像、
CNET Japan Blog - 江島健太郎 / Kenn's Clairvoyance：Lingr and Comet - 技術解説編
さて、お待たせしました。いよいよCometとLingrについての技術解説です。 ■Comet解説 さて、まずはCometとは何で、どういう背景によって生まれたのか、についての解説から始めます。 まず前提として、Webアプリケーションにおいては、通信開始のトリガーは常にクライアント側が握っています。つまりURLを入力したりボタンをクリックしたときなどに通信が発生することになるわけですが、このようなアーキテクチャは、サーバ側で発生した変化をリアルタイムにクライアント側に通知することが原理的にできないことを意味します。 チャット・アプリケーションでは、複数のユーザから不定期にメッセージが送信され、それが他の参加者に一斉に配信されなければなりません。しかし、メッセージを受け取ったサーバ側では、それをクライアントに即座にプッシュで通知する方法がないのです。 そのため、一定期間ごとにブラウザがサーバに
Programming UNIX Sockets in C - Frequently Asked Questions
Created by Vic Metcalfe, Andrew Gierth and other contributers (Transrated into Japanese by: Keisuke Mori)May 21, 1998 この文書は、UNIX 上での ソケットインターフェースを用いた TCP/IP アプリケーションプログラミングについて、頻繁に行われる質問とその 解答を集めたものです。 1. 一般的な情報と概念 1.1 更新情報 1.2 この FAQ について 1.3 この FAQ はどのような人向けでしょうか? 1.4 ソケットって何ですか? 1.5 ソケットはどのように動作するのでしょうか? 1.6 [ある本の題名] という本のソースコードはどこから取得できますか? 1.7 どこでもっと情報を得ることができますか? 2. クライアントとサーバ(TCP/SOCK_STREA
[戯] connect を使って簡単に多段 SSH を実現する方法
connect を使って簡単に多段 SSH を実現する方法 2006-09-04-2: [Security] OpenSSH 限定の話になるのかもしれませんが，localhost から remotehost1 を経由して remotehost2 に接続するような 多段 SSH を実現するには，ポートフォワードを使う方法がありました． この話は以前ここでも，話題に上げたことがありました ([2005-01-24-2])． もちろんこの方法でも実現できますが，OpenSSH の ProxyCommand を利用することで簡単に多段 SSH が実現できます． 1. ソース (http://www.meadowy.org/~gotoh/ssh/connect.c) を取得します． 2. ソースのコメントを参考に connect.c をコンパイルします．うちの環境は Solaris なので，以下のよ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マルチコアとネットワークスタックの高速化技法
【大原雄介の最新インターフェイス動向】 10GBase-Tその2