listen()のbacklogが不足した際のTCP_DEFER_ACCEPTの動作について - blog.nomadscafe.jp
TCP_DEFER_ACCEPTは、LinuxでサポートされているTCPのオプションで、サーバ側で使用した場合にはaccept(2)からのブロック解除をTCP接続が完了したタイミングではなく最初のデータが到着したタイミングで行ってくれるオプションです。 Webサーバ・アプリケーションサーバではリクエストが到着してからaccept(2)のブロックを解除するので、リクエストの到着をWebサーバ・アプリケーションサーバで待つ必要がなくなり、特にprefork型のサーバでは効率的にプロセスを使えるようになるという利点があります。PerlではStarletがこの機能を有効にしています ところが、某サービスでTCP_DEFER_ACCEPTが有効にも関わらず、accept後のreadでデータが読めず、最悪の場合、デフォルトのtimeoutである5分間プロセスがストールすることがありました。strace
syncookiesとListenバックログとパケットロスト
たまにはLinuxネタを。 Listenバックログは、伝統的なUNIXの実装だと、SYN_RCVDとESTABLISHEDの両方のソケット数を数えますが、LinuxのそれはESTABLISHEDな状態の数だけを数えるようになっています(manを見よ)。 これは何でかというと、いわゆるSYN Flooding攻撃への対応として、Linuxはsyncookieを実装したことの副作用なのだと思います。syncookieを実装していると、SYNに対してSYN_ACK(COOKIE)を返すコストがほぼゼロ（メモリコストとしては）になるので、来たSYNにすべてSYN+ACKを返すことが可能です。 したがって、SYN_RCVDの数は数えても意味がなくなったので、それはListenバックログの数としてカウントしないようにした、ということのようです（厳密に言うと、tcp_max_syn_backlog個まで
Golangで画像プロキシサーバをつくった - yuhei.kagaya
Graidという画像プロキシサーバをつくりました。 外のサーバから画像を取得してリサイズしたりして返す、ということをするサーバです。 Golangでなんかミドルウェア的なものが作ってみたかったのでやってみました。 Graidについてのスライド エンジニアが集まってお昼ご飯を食べながら技術的なネタを話すテックランチという会が社内で定期的に開催されているので、Graidについて話してきました。 Graid // Speaker Deck 機能 http://localhost:8080/path/to/image.jpg:w400:h300:q80 例えば8080ポートで起動させてURLにアクセスすると、 オリジンの画像サーバ（設定ファイルに設定する）の/path/to/image.jpgを取ってきて 横400px、縦300pxにリサイズして画質80%に加工して レスポンスを返す という処理を
SPDY - Wikipedia
SPDY（スピーディー[1]）は、Google が提唱している World Wide Web の通信プロトコル。HTTP/2 の起草となった。最後のバージョンはSPDY Protocol - Draft 3.1[2]。SPDY は 3.1 が最後のバージョンとなり、SPDY/4 は HTTP/2 に吸収された。 HTTPを基にして高速化を行ったプロトコルである。TLS接続の上にセッション層を追加し、単一のSPDYセッションで複数のリクエストを送受信する。さらに、ブラウザがページを表示する際、付随するデータの先読みを行う機能も追加している。セキュリティ機能も強化する。プロトコル的にはTLSの拡張仕様の一つであるApplication-Layer Protocol Negotiation (ALPN) をベースにしているため、HTTPSを使っての通信が必須である。 2015年現在は、独立したプ
AWS で不正アクセスされて凄い額の請求が来ていた件 - yoya's diary
情けない話ですが、自分の大チョンボで AWS の個人アカウントが第三者にアクセスされた結果 190万円相当のリソースが使われ、最終的に AWS さんに免除を頂きました。反省込みで本件のまとめを書きます。 自分が馬鹿を幾つも重ねた結果であって、AWS 自体は怖くないというのが伝われば幸いです はじめにまとめ S3 実験してた時に SECRET KEY を見える場所に貼っていた事があり、第三者がそれでアクセスし大量の高性能インスタンスを全力で回す (恐らくBitCoin採掘) AWS さんから不正アクセスの連絡があり、急いで ACCESS KEY 無効＆パスワード変更、インスタンス全停止、イメージ削除、ネットワーク削除 免除の承認フェーズを進めて、クレジットカードの引き落とし前に完了して助かる AWS さんのサポート AWS さんは最大限サポートしてくれました 承認フェーズが進まない時もあまり
HTTP/2の現状とこれから
The document discusses graph databases and their properties. Graph databases are structured to store graph-based data by using nodes and edges to represent entities and their relationships. They are well-suited for applications with complex relationships between entities that can be modeled as graphs, such as social networks. Key graph database technologies mentioned include Neo4j, OrientDB, and T
ipコマンドとnetnsでお手軽なテストクライアント作成 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2014の9日目の記事です。 ネットワークを使う機能でなにかしらテストしたいときに複数のクライアントが欲しい時がありますよね。大量アクセスをしたい場合はjmeterとかありますが、クライアントのIPアドレスも複数あったほうが良いケースもあると思います。kvm等でクライアントを複数作ってbridgeするという方法もありますが、それはちょっと重量級なのでもうちょい手軽な方法がないかなーというところです。 そこでお手軽な方法はなにかというところでネットワークネームスペース（netns）を使って見たいと思います。 ネットワークネームスペースとはなんぞや？という方はten_forwardさんがgihyo.jpで連載している「LXCで学ぶコンテナ入門 －軽量仮想化環境を実現する技術」の「第6回 Linuxカーネルのコンテナ機能［5］ ─ネットワーク
Simple Repeater `stone'
stone は、アプリケーションレベルの TCP & UDP リピーターです。 ファイアウォールの内から外へ、あるいは外から内へ、TCP あるいは UDP を中継します。 stone には以下のような特徴があります。 1. Win32 に対応している 以前は UNIX マシンで構成されることが多かったファイアウォールですが、 最近は WindowsNT が使われるケースが増えてきました。 stone は WindowsNT/2000/XP あるいは Windows95/98/ME 上で、 手軽に実行することができます。 WindowsNT/2000/XP では NT サービスとして インストールすることも可能です。 もちろん、Linux, FreeBSD, BSD/OS, SunOS, Solaris, HP-UX などの UNIX マシンでも使うことができます。 2. 単純 わずか 10
VOYAGE GROUP エンジニアブログ : Amazon VPC と仮想プライベートゲートウェイを使わずに繋いでみたかったのでやってみた
2014年09月05日15:25 カテゴリインフラAWS Amazon VPC と仮想プライベートゲートウェイを使わずに繋いでみたかったのでやってみた こんにちは、adingo で Fluct という広告配信まわりのインフラやってる あわいいしま (@katz_arc) です。 月間200億超のインプレッションを捌くSSP である Fluct を支えるべく、日夜頑張っております。 今回はタイトルの通り、Amazon VPC で使える仮想プライベートゲートウェイを使わずにオンプレのデータセンター (以下 IDC) と VPC の間を VPN 接続したお話です。 前提 過去には仮想プライベートゲートウェイを利用して VPN 接続を構築したこともあります。 それが何故、その VPN 接続を使わずに自前で構築しようと考えたか、そこには2つほど理由がありました。 1. ゲートウェイを作成するたびに
DSL-Researches
近年，通信理論の分野でgossipプロトコルという通信手法が注目されている．これは情報伝達を確率的に行う手法のひとつであり，例えばアドホックネットワーク上でルーティングを行う際などに多く用いられる[1-4]．しかし，gossipプロトコルの性能評価に関する理論的な結果はあまり多くない．また，gossipプロトコルは単一のパケットを拡散する場合のみが陽に考慮されており，複数のパケットを同時に拡散させた場合に関する研究はなされていないなどの問題もある． そこで本研究では，複数の情報が拡散するという現象を調べるために，既存のgossipプロトコルを拡張し，同時に複数の情報を扱えるようにする．そしてその拡張されたgossipプロトコルにおける情報浸透確率などを解析し，その性質を調べていく． Gossipプロトコル 近年，身の回りのあらゆる物を有線あるいは無線のネットワークでつなぐことで様々なサービ
Facebookの数千台規模のmemcached運用について - ゆううきブログ
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログの続きとして、Facebook の memcached 運用に関する論文を読んだ。 タイトルなどは以下の通り。 NSDI はネットワークシステムに関するトップレベルのカンファレンス。 Scaling Memcache at Facebook Rajesh Nishtala, Hans Fugal, Steven Grimm, Marc Kwiatkowski, Herman Lee, Harry C. Li, Ryan McElroy, Mike Paleczny, Daniel Peek, Paul Saab, David Stafford, Tony Tung, Venkateshwaran Venkataramani NSDI'13 In Proceedings of the
訳：非推奨になったLinuxネットワークコマンドの代替コマンド - aws memo
これはちゃんとチェックしておかないとなぁ。 Deprecated Linux networking commands and their replacements « Doug Vitale Tech Blog ==== この記事で詳しく説明する非推奨のLinuxネットワークコマンドは：arp, ifconfig, iptunnel, iwconfig, nameif, netstat, route である。iwconfig以外の コマンドは、net-toolsパッケージという、数年間メンテナンスされていないパッケージに含まれている。これらのユーティリティによって提供される機能は、新しいipコマンドを主に使うiproute2 スイートで再提供され、改善され続けている。iproute2ソフトウェアのコードとドキュメントは、Kernel.orgとLinux Foundationで見ることができ
インターネット10分講座：DNSキャッシュポイズニング - JPNIC
今回の10分講座は、最近になって新たな攻撃方法が発見され、対応の緊急性が高まったDNSキャッシュポイズニングについて解説します。 DNSの問い合わせの流れ まずはじめに、DNSではクライアントがどのようにドメイン名の情報を得るのか、その流れについて説明します（図1）。 エンドユーザーのPCなどのDNSを利用するクライアントから、問い合わせを行うネームサーバに対し、問い合わせを依頼します。 依頼を受けたネームサーバは、問い合わせ内容を元に、ルートサーバから委任をたどりながら順に問い合わせを行い、目的のドメイン名情報を持つ権威サーバから結果を取得します。 依頼を受けたネームサーバは、問い合わせの結果をクライアントへ返答します。 図1：DNS 問い合わせ DNSのキャッシュ 問い合わせを処理するネームサーバは、処理の途中で得たドメイン名の情報を一時的にローカルに保存することができます。この処理を
みんなが知らずに使ってるAkamai(2):Geekなぺーじ
特定の更新があって、世界中のコンピュータが同時に同じ更新ファイルをダウンロードした時の瞬間最大風速的トラフィックは恐らく凄いです。 Microsoft社がWindows Updateで新ファイルを公開した次の瞬間に世界中で国際間にある光ファイバがパンクしないのはアカマイ社があるからとも言えそうです。 ４秒ルール？ 表示に4秒以上かかると75％の顧客は購買意欲がなくなるという調査結果もあるようです。 「BBC NEWS : Websites face four-second cut-off」 Shoppers are likely to abandon a website if it takes longer than four seconds to load, a survey suggests. The research by Akamai revealed users' dwindli
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
筋肉運用されている広告サーバーの話 #wakateinfra
非推奨になったネットワークコマンド養成ギプス : sonots:blog
Amazon Virtual Private Cloud