LinuxでIPやポート単位で簡単にトラフィックをコントロールしよう
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 研究でcgroupやCFSを調査しているんですが、トラフィックをコントロールするtcコマンドやqos周りを復習がてら、ツールを作ってみました。簡単という所が重要です。何をするツールかというと、「Linuxサーバ上でinboundとoutboundのトラフィック帯域をIPやプロトコル単位で好きなようにコントロールし管理する」ためのツールです。 これまでのトラフィックコントロールツールを改良 とにかく複雑でわかりにくかった印象があります。その結果、トラフィックコントロールを運用に持ち込んでも、うまく管理することができなかったのは容易に想像できます。最初はtcコマンド、次にcbq.initが使われてきました。 tcコマンドはわかりにくいので tcコ
小悪魔女子大生のサーバエンジニア日記
ECC版SSL証明書インストール体験記その4 02.08.13 / 未分類 / Author: aico / Comments: (0) では、いよいよ発行されたECC証明書をインストールしましょう！ 実はECC版SSL証明書は現在、ブラウザ・OSによっては対応していないものも多いので、 対応していないものはRSAの証明書を読むように、ECCとRSAのハイブリッド構成をすることが出来ます。 そしてなんと、ECCの証明書を申請するとRSAの証明書も一緒にもらうことが出来ます(ベリサインさん太っ腹！) なので今回はECCとRSAのハイブリッド構成を組みつつ証明書のインストールを行います！ まずはベリサインのサイトで中間証明書を確認しましょう。 発行されたCRT、中間証明書、秘密鍵は必ず対になっている必要があります。 対になっていないとエラーになってしまいます。。 小悪魔ブログは最初、中間証明書
InfoQ: HTTPSコネクションの最初の数ミリ秒
ほとんどの人がHTTPSとSSL (Secure Sockets Layer) を結びつけて考えます。SSLは1990年代半ばにNetscape社が開発した仕組みですが、今ではこの事実はあまり正確でないかもしれません。Netscape社が市場のシェアを失うにしたがって、SSLのメンテナンスはインターネット技術タスクフォース(IETF)へ移管されました。Netscape社から移管されて以降の初めてバージョンはTransport Layer Security (TLS)1.0と名付けられ、1999年1月にリリースされました。TLSが使われだして10年も経っているので、純粋な"SSL"のトラフィックを見ることはほとんどありません。 Client Hello TLSはすべてのトラフィックを異なるタイプの"レコード"で包みます。ブラウザが出す先頭のバイト値は16進数表記で0x16 = 22。 これは
ネットワークプログラムのI/O戦略 - sdyuki-devel
図解求む。 以下「プロトコル処理」と「メッセージ処理」を分けて扱っているが、この差が顕著に出るのは全文検索エンジンや非同期ジョブサーバーなど、小さなメッセージで重い処理をするタイプ。ストリーム指向のプロトコルの場合は「プロトコル処理」を「ストリーム処理」に置き換えるといいかもしれない。 シングルスレッド･イベント駆動 コネクションN：スレッド１。epoll/kqueue/select を１つ使ってイベントループを作る。 マルチコアCPUでスケールしないので、サーバーでは今時このモデルは流行らない。 クライアントで非同期なメッセージングをやりたい場合はこのモデルを使える： サーバーにメッセージを送信 イベントハンドラを登録；このときイベントハンドラのポインタを取っておく イベントハンドラ->フラグ がONになるまでイベントループを回す イベントハンドラ->結果 を返す １コネクション１スレッ
[unix] Linux SYNパケット取りこぼし (2) 2007-05-21 - LowPriority
前回の続き。 パケット自体を零さずに処理に入った後にSYNを落とすのは以下3パターン。 syncookie無効時にsynのbacklog(tcp_max_syn_backlog)が溢れている listenのbacklogが溢れている(3way-handshake完了後のaccept待ち接続) net.ipv4.tcp_tw_recycleの制限に抵触 で、今回問題になっていたのは最後のtcp_tw_recycleへの抵触だった。 現象として発生しうるのは、以下の条件をすべて満たす場合 サーバ側でnet.ipv4.tcp_tw_recycleが有効 TCPタイムスタンプオプションを使用 同一IPからの接続でセッションを跨ぐとセットされるTCPタイムスタンプの値が戻る場合がある 最後の条件が微妙だが、TCPタイムスタンプの値としてセットされる値は起動時を 起算時にしていたりと実装によって初期値
![[unix] Linux SYNパケット取りこぼし (2) 2007-05-21 - LowPriority](https://cdn-ak-scissors.b.st-hatena.com/image/square/264702d4cb37ced3c2fd5dda6a1368c235356862/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127119925553%2F17680117127119930188%2F1557218483)
どさにっき
2008年4月21日(月) ■ 無題 _ 今朝の電車でおっさんが読んでたスポーツ新聞からちょっと見えてた見出し。頭のおかしい人が新幹線で全裸になってタイーホ。春だなぁ。 _ 出社してからニュースサイトを巡回して、それが ファーストサーバの社長だったと知る。あぁ。 _ ち、ちがうよっ、春だから頭のおかしい人が湧いてきたんじゃないよっ。だってレンタルサーバ会社の社長だよ？ 頭がおかしいなんてことはないよ。最近のデータセンターは電力問題とか熱問題とかいろいろ大変だからね、きっと陽気がよくなってあったかくなったから熱暴走を起こして、その冷却のために大事なところを放熱してただけなんだよっ。 _ てか、ファーストサーバっていつのまにか yahoo の系列になってたのか。昔はクボタ(もちろん農業機械のクボタのことだ)の子会社だったよね、たしか。 2008年4月28日(月) ■ 無題 _ メール屋を廃業し
TIME_WAITとMSL - sato-bb.net
今回はネットワーク周りのチューニングのお話。 ＷＥＢサーバにアクセスが集中した時、サーバを監視している時は一般的には以下の４点を見ていると思います。 CPU負荷 メモリ状況 ディスクIO コネクション状況 まぁ見ていたところでできることはかなり限られているのですが、次回の対策の目安になります。 とはいえ、前者３つについてはチューニングと言っても増設以外の処置の効果は薄いでしょう。 ただ、４つ目の「コネクション状況」については設定次第で劇的にパフォーマンスが上がったりします。 今回はそのあたりについて書いていきたいと思います。 ・基本的なTCP通信の話ここではコネクションのクローズのことだけ書きましょう。一般的にアプリケーションレベルでは通常コネクションをオープンした方からクローズの要求を発行します。しかし、TCPレベルの通信ではどちらからという決まりは無く、データを送り終わった
NSTX (IP-over-DNS) HOWTO
The information presented here is obsolete. Take a look at Iodine. You're sitting in an airport or in a cafe, and people want your money for Internet access. They do allow DNS traffic, though. If the ISP allows DNS traffic to any DNS server (and not just their own), you might consider running OpenVPN on UDP port 53 (thanks to Norman Rasmussen for this suggestion). If they don't, however, NSTX come
ICMPパケットでトンネルがはれる、ptunnel - UNIX的なアレ
ちょっと面白いモノを見つけたので紹介します。 ICMPパケット(pingですね)で相手先とトンネルをはることができる、ptunnelというコマンドです。 インストール方法 Ubuntu/Debian # sudo apt-get install ptunnel CentOS # wget http://dag.wieers.com/rpm/packages/ptunnel/ptunnel-0.61-1.2.el5.rf.i386.rpm # sudo rpm -ivh ptunnel-0.61-1.2.el5.rf.i386.rpm 使い方 使い方はいたって簡単。ptunnelを使用するクライアント側、受けるサーバー側両方にインストールする必要があります。 また、ptunnelは基本的にすべてrootのみ利用可能です。 クライアント側 # sudo ptunnel -p {ProxySer
DSAS開発者の部屋:特集記事『Linuxロードバランサ構築・運用ノウハウ』を公開します
『Linuxロードバランサ構築・運用ノウハウ』を公開します！ これはWEB+DB PRESS Vol.37の特集記事としてDSASチームが執筆したもので、技術評論社様の許可を得て今回公開するはこびとなりました。 一口でいうと、「Linux＋IPVS＋keepalivedを使って、冗長構成(Active/Backup)のロードバランサを作るまで」の解説記事で、 サーバ負荷分散一般についてのはなし Linuxでロードバランサを作ってみる ロードバランサを冗長化 といった構成になっています。 みなさんがLinuxロードバランサを導入・構築・運用する際の一助になれば、DSASチームとしてもうれしい限りですので、是非、ご覧になってください！ 第1章 サーバ負荷分散概論 特集のはじめに なぜサーバ負荷分散をするのか？ サーバ負荷分散の実現方法 ロードバランサのいる構成 ロードバランサはなにを元に分散す
インターネットの次:Geekなぺーじ
「A New Way to look at Networking (Google Video)」を見ました。 Van Jacobson氏による1時間21分のプレゼン映像でした。 ビデオでは、コペルニクス的発想が必要だとか、昔は電話システムを前提に皆が議論をしていたからインターネットの仕組みはあり得ないと当初は皆が言っていた、という内容の事を何度か言っています。 確かに、私も聞いていて「WinnyかBitTorrentをDRMと組み合わせたもの？」という感じの方法論を考えてしまいました。 恐らく、今の仕組みで作ってしまう方法を考えるのではなく、アーキテクチャとしてこの案を考えなくてはならないという物だと思いました。 きっと、ここで言っている話が実現するとIPの上でも動くけど、下にその他の通信形態が来ても動くという新たなアドレッシング手法に近いものを提案しているのだと思いました。 どうしても現
安全で高速なDNSを提供する「OpenDNS」 - GIGAZINE
フィッシング詐欺などでよくあるDNSの書き換えに対してより安全で、なおかつDNS解決の速度が素早いのでネットの閲覧が快適になり、さらに「～～.com」を「～～.cmo」とミスって入力しても正しいサイトに誘導してくれる、らしい。 利用は無料。設定方法などの詳細は以下の通り。 OpenDNS | Providing A Safer And Faster DNS http://www.opendns.com/ 優先DNSを「208.67.222.222」にして、代替DNSを「208.67.220.220」にするだけ。ブロードバンドルータの設定画面で参照するDNSをこの2つに変更すればOK。プロバイダから提供されているDNSがあるなら速度だけで考えればそちらの方が早いと思われますが、プロバイダの方でDNSを提供してくれない場合にはこれを設定することで確かに反応速度の上昇は見込めます。 速度について
MRTGよりお手軽に負荷やトラフィックをグラフ化できる「Munin」 - GIGAZINE
Perlで書かれており、RRD Toolと連携して、サーバに関するあらゆる情報をグラフ化し、HTMLを作ってくれます。MRTGよりも圧倒的にインストールも設定も簡単。グラフ化する対象はプラグインで簡単に拡張可能。 グラフ化できるのは、初期状態でディスク使用量・MySQL・IOstat・トラフィック・プロセス数・VMstat・CPU温度・CPU使用率・ロードアベレージ・メモリ使用率・スワップ・Netstat・HDD温度など。プラグインを追加することでさらにApacheのロードタイム・メールキュー・Asterisk・NFSクライアント・BIND・ColdFusion・DNSキャッシュ・MySQLの各種数値・PostgreSQL・印刷キュー・ProFTP・Qmail・電圧・S.M.A.R.T.・SpamAssassin・Tomcat・Tor・Windows Server・VMware・Xenなど
Wireshark
Join us 4-8 November in Vienna for SharkFest'24 EUROPE, the official Wireshark Developer and User Conference The world's most popular network protocol analyzerGet started with Wireshark today and see why it is the standard across many commercial and non-profit enterprises. *{padding:0;margin:0;overflow:hidden}html,body{height:100%}img,span{position:absolute;width:100%;top:0;bottom:0;margin:auto;he
Upside-Down-Ternet
My neighbours are stealing my wireless internet access. I could encrypt it or alternately I could have fun. Split the network I'm starting here by splitting the network into two parts, the trusted half and the untrusted half. The trusted half has one netblock, the untrusted a different netblock. We use the DHCP server to identify mac addresses to give out the relevant addresses. /etc/dhcpd.conf dd
ひげぽん OSとか作っちゃうかMona- - RawSocketで簡単なパケットモニタを作る方法
たまにはハッカーっぽく、Binary 2.0っぽい記事を書こう。 Windows 2000/XPでは、RawSocketという仕組みが用意されていて、パケットをかなり自由に受信したり・送信することができます。 RawSocketでは、いわゆる「生パケット」が扱えるのです。 悪い言い方をすると、パケットを覗きみたり、パケットを偽装することも可能ということになります。 以前までは、ドライバレベルでコーディングしないとできなかったようなのですが、WinSock 2.2以降では、これがとても簡単にできます。 今日は、これを利用して簡単なパケットモニタツールを作ってみようと思います。 ビルドは cygwin+mingwです。 大きな流れは以下のとおりです。 Socketの初期化 IPアドレスの取得(必須ではありません) バインド プロミスキャスモードに設定 受信 では1つずつ見ていきましょう 1.S
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DRBD:What is DRBD