ローカルポートを食いつぶしていた話 - download_takeshi’s diary
ここのところ、お仕事で管理しているシステムで、夜中に負荷が急上昇する事象が発生しており、夜な夜な対応に追われていました。 （このブログ書いている今も、負荷がじわじわ上昇中なんですが・・・） で、いろいろと調査した結果、ようやく糸口がわかってきました。 結論から言うと、ローカルポートなどのネットワーク資源を食いつぶしていたようです。 以下、調べていってわかったことなどのメモです。 トラブルの事象 運用しているのは Apache2.2 + mod_perl2 なwebサーバで、リスティング広告システムの配信系です。 リスティング広告の配信のシステムって一般的にロジックが複雑でいやーな感じなんですが、このシステムもご他聞に漏れずかなりのひねくれ者で、しかもトラヒックは結構多めです。システム全体で、日に1000万〜2000万クエリくらいかな。幸か不幸か、このご時勢においてもトラヒック的には成長し続
最速TCPサーバーの条件 〜逆襲の Erlang と Haskell の挑戦〜 : DSAS開発者の部屋
釣った反響に応えて echo サーバーを改良していて PyCon JP の発表資料作成が進みません。 自業自得です。 methane です。 Erlangとは何だったのか でのベンチマーク結果では Erlang のスコアが奮わなかったのですが、 github で 性能改善する pull request をいただきました。 性能が悪かった原因ですが、実は backlog がデフォルトだと 5 で、ベンチマーク開始時の 大量の接続要求を捌ききれていないという状況でした。 高負荷サイトのボトルネックを見つけるには で紹介されている事例と同じ現象ですが、こちらのほうが backlog が小さく、 しかもベンチマーク用クライアントはほぼ同時に大量に接続をしてくるという条件で よりシビアに現象が発生してしまいました。 この問題が修正された Erlang は、 Go を超えて一気にランキング上位に踊り出
Erlangとは何だったのか : DSAS開発者の部屋
タイトルは釣りです。 methane です。 8/20(土)にLL Planetesに行ってきました。 今年は JavaScript 一色と言っていいほど、 JavaScript の存在が大きくなっており、 そのなかでも特に Node.js の話題が多かったように思います。 「Node.jsとはなんだったのか」というセッションでは主にコールバックチェーン型プログラミング vs 軽量スレッドを使った手続き型プログラミングの話題や各言語におけるライブラリなどが 紹介されていたのですが、以前個人的な興味でいくつかの言語とライブラリで echo server を実装していたので、他にも興味を持っておられる方のために公開します。 いろんな言語でEcho Server@github 参考に、簡単なベンチマーク結果も載せておきます。各言語・フレームワークで完全に同じものを 実装しているわけではないし、エ
ユビキタスの街角: メールとURL
最近はあらゆる情報にURLがついている。 製品にも本にも日記にもレシピにも場所にも人間にもURLがついており、 あらゆる情報へのポインタがURLで表現できる時代になってきたといえる。 ところが何故かメールだけにはURLがついていない。 メールは個人的なものだから当然だと思われているかもしれないが、 考えてみると不便な話である。 会議やイベントの連絡がメールで送られてきたとき、その情報を表現するURLは存在しないので、 別の場所からその情報にリンクを張ることができない。 面白い情報をメールで貰ったとき、それを他人に伝えようとするとメールの転送が必要で、 そのデータにブラウザからアクセスできないのは不思議な話である。 あらゆる情報の中でメール情報だけが別の世界にいるかのようである。 Wikiは便利だが、メールで受け取ったデータにリンクを張ることができないのが不便である。 メールで貰ったイベント
あるライブラリのおもいで - Backnumbers: Steps to Phantasien
そういえば先に紹介した本のサンプルコードは 前勤務先が開発していたライブラリを使っている. そんなのがあったなと思いだした. 開発元の会社は私が退職したあと解散してしまい, 製品としてのライブラリもなくなってしまったようだ. 少しはバグとりなどを手伝った身として一抹のさびしさがある. 今は亡きこのライブラリを偲んでみたい. それは C(v1.x)/C++(v2.x) で書かれたノンブロッキングスタイルの通信ライブラリで, libevent に類する イベントシステムと IO を抽象化するレイヤの上に バッファ管理, フレーミング, 多重化, 暗号化, 圧縮, UDP ベースのストリーム実装 と hole punching を実装し, 簡単な RPC もついていた. そのほかにも経路の heartbeat や素朴なリマッピング, 簡易チート対策, 高負荷な暗号化や圧縮だけを別プロセスに切り離
IPアドレス在庫切れ、製造元が謝罪「徹夜でライン動かす」 - bogusnews
インターネット接続に必要な「IPv4アドレス」の在庫が切れた件で、メーカーであるJPNIC（本社：東京）は4日に謝罪会見を開き 「徹夜でラインを動かし増産する」 との方針を明らかにした。順調にいけば4月上旬にも在庫は回復する予定だという。 IPアドレスは 「255.255.255.255」 など3ケタの数字×4つで構成される「インターネットの住所」。パソコンなど各種機器をインターネットに接続するためには必須だが、IT機器の普及で需要に供給が追いつかなくなっていた。識者がJPNICによる独占市場の弊害を指摘するなか、同社は労組重視の方針から増産に踏み出せずついに在庫切れという破滅的状況を招いた。 謝罪会見でJPNICは、これまで「業務が過酷になる」と労組が否定的だった 「255.255.255.256からFFF.FFF.FFF.FFFまでの新規ブロックIPアドレス製造」 に着手すると発表。こ
まっ
3連休の前の金曜日に有給つけて4連休にして、東京とか行ってきましたよって話。 ADOのマイルと楽天トラベルのポイントをあわせると、東京２泊３日できるなということに気づいたのが年末ぐらいで、そこから@uzume02氏にGamezonに出せーとお願いして、今回に至ったというわけ。 金曜日 ADOで羽田に移動。 いつも札幌で着てるアウターで失敗したかなぁと思ったんだけど、体感温度的には札幌と変わらないか寒いぐらいだぞという感じ。 京急で川崎に移動してさくっとホテルに荷物置いて京成立石へ。 ホルモン pic.twitter.com/JBJyvahNFB — こいわ(2/10 Gamezon#15) (@koiwa) February 9, 2018 宇ち多の並びが少なかったので煮込みとアブラ食って、江戸っ子行ってからの野毛。 この立石→野毛移動の話をするとたいがい引かれるんですが、京急とJRで一時
ソケット通信メモ(Hishidama's TCP/UDP Socket Memo)
TCPソケット サーバータイプとクライアントタイプの両方のアプリケーションを作らないといけないなら、サーバータイプから作るべきだろう。 （クライアントタイプだけ先に作っても動かせないから。まぁサーバータイプだけ動かしても、待ってるだけであまり意味無いけど(苦笑)） でも仕組みはクライアントタイプの方が簡単。 TCPを使う場合は、通信の最初にコネクションの確立を行う必要がある。 サーバーでlisten・accept、クライアントでconnectが成功すればコネクションが確立したことになる。 どのポート番号を使うかについては、サーバー側はアプリケーションの作成者が決める必要がある。[/2007-06-16] クライアント側のポート番号は、ソケットライブラリがそのマシンで使っていない番号を自動的に割り振ってくれるので、気にしなくてよい。 IANAの基準では、1～1023は「よく知られたポート（w
法と技術とクローラと私 - 最速転職研究会
こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識
Amazon EC2シンガポールを含む、ping RTTやhttpingの計測グラフ - （ひ）メモ
計測元は、都内のBフレッツでISPはライブドアプロバイダ。 計測とグラフ描写のコードはここに: http://github.com/hirose31/monitor-latency グラフは、紺色の線がレイテンシの平均値で、水色の範囲は最小値と最大値。 ping RTT まず、ホットなシンガポールのEC2。このグラフだけ、表示期間が1日分。だいたい90msecぐらいですね。 続いてEC2のwestとeast。この2つだけ、計測期間がちょっと古くて2010/3/27のもの。 Amazon EC2 アメリカ西海岸 125msec Amazon EC2 アメリカ東海岸 200msec あとはいろいろ。 ニフティクラウド Google JPIX はてなブックマーク 都内某iDC httping データは httping -c 10 -i 0.7 -r -g TARGET_URLの結果の最小値、平均
グーグルのヴィンセント・サーフがDTN公表 - huixingの日記
グーグルのヴィンセント・サーフが惑星間インターネット通信のプロトコルとしてTCPに代わるDTNを発表した。惑星間インターネット通信のプロトコルとしての使い道の他にも携帯のトンネルの中での通信やyoutubeのとぎれめのない放送などに使える。また、グーグルはすでにDTNをアンドロイドAndroidのネットワーキング・スタックに加えている。 Vint Cerf, Google's internet evangelist, has unveiled a new protocol intended to power an interplanetary internet. The Delay-Tolerant Networking (DTN) protocol emerged from work first started in 1998 in partnership with Nasa's Jet
Windows Server 2003を無線LANアクセスポイントの認証として利用する
ページ : 1 2 <この記事を全て表示する場合はこちらをクリック> つい先日、Windows Server 2003を使って無線LANアクセスポイントの認証が出来るように仕組みを作ったので、忘れないうちに利用する手順を整理してみました。 無線LANの認証をActive Directory認証に統合する事で、アクセスポイントの履歴もWindowsOS上で取得出来ますし、何よりアクセスポイントのパスワードをユーザに教える必要が無いので、無線LAN利用されているのであれば、かなり運用が楽になると思います。 なお、今回の前提条件は、以下の環境が既に構築されている必要があります。 ・Active Directoryが構築されている ・[サーバー証明]用の電子証明書がIASの稼動するサーバにインストールされている ・Radius認証に対応した無線LANアクセスポイントを利用している 詰まる所、Act
ドコモのパソコン向け定額から透けて見える苦しい事情
NTTドコモが9月13日に発表したパソコン向けパケット定額プラン「定額データプランHIGH-SPEED」（関連記事）。携帯電話事業者で「全国網」を対象にパソコン向けの定額プランを導入するのは同社が初めて。ただ，サービス内容は中途半端なイメージがある。 料金にパンチ力なし，用途もメールやWebに制限 まずは料金。パソコン向けの定額プランは「全国網」という条件が付かなければ，既にイー・モバイルが提供済み。同社の「EMモバイルブロードバンド」はNTTドコモと同じHSDPA（下り最大3.6Mビット/秒，上り最大384kビット/秒）の規格を利用して月額5980円の使い放題（データプラン・いちねんの場合，契約形態によっては月額4980円）である（注1）。 これに対してNTTドコモの定額データプランHIGH-SPEEDは1カ月のデータ通信量に応じた2段階の定額制で，50万パケットまでは月額4200円の定
ネットワーク性能のチューニング (TCP編)
前回はsun4vアーキテクチャのSolarisでネットワーク性能を改善する方法について説明しました。今回はSolaris一般についてTCPの性能を改善する方法を説明します。 TCPの性能のチューニングといえば、まずはウィンドウサイズです。必要なウィンドウサイズは、通信相手とのRTT(ms)÷1000×帯域(bps)÷8で求められます。今どきはRTTが300msくらいあるヨーロッパ相手でも50Mbpsとか出ることがあるので、2MBはほしいです。国内については、石川県から東京を経由して行くので場所によってはRTTがいくらか大きくなりますが、悪くても50ms程度なので2MBもあれば320Mbpsまで対応できます。 受信ウィンドウの最大値を決めるカーネルパラメータはtcp_recv_hiwatで、デフォルトは48KiBです。ミラーサーバは受信のスループットをあまり必要としませんが、これはあまりにも
Kazuho@Cybozu Labs: TCP通信ではデータの送信をまとめて行うべき、もうひとつの理由（＆ サーバのベンチマーク手法の話）
TCP通信をするプログラムを書く際に「データの送信はまとめて１回で」行うべき、というのは鉄則と言っていい、と思います。その理由としては、パケット数を最小限に抑えることでオーバーヘッドを少なくするためだと一般に説明されますが、自分はもうひとつポイントがあると考えています。次のグラフを見てください。 グラフは、一定量のデータを転送するのにかかる時間と使用するブロックサイズ（１回のwrite(2)で書き込むサイズ）の関係を表したものです注1。 ホスト間のTCP通信を行っている場合は、TCPのバッファが有効に機能するので、ブロックサイズ（＝パケット数の逆数）による速度の変化は、ほぼありません。一方、同一ホスト上で通信を行うと、ブロックサイズと反比例して所要時間が反比例の関係にあることがわかります。 原因は、同一ホスト上の通信では、送信プロセスがwrite(2)を呼ぶたびにコンテクストスイッチが発生
[ニュース] 改造Firefoxで日米間6.5GbpsのWebアクセス。東大が世界最速達成
東京大学大学院情報理工学系研究科の平木敬教授らによる研究チームは27日、米国で開催されたスーパーコンピュータ関連の国際会議「Supercomputing 2009」（主催：IEEEコンピュータソサエティ）の「バンド幅チャレンジ」で実施した日米間の長距離ネットワークデータ転送実験で、小型PCを用いて、Webを介した6.5Gbpsのデータ転送速度を達成したと発表した。 このデータ転送実験は、東京大学と米国ポートランドの「Supercomputing 2009（SC09）」会場に設置した2台の小型PCと、10Gbpsの学術用ネットワークを使って実施した。小型PCの使用部品はすべて市販品で構成され、CPUは「Intel Core i7 940」、マザーボードは「ASUS Rampage II GENE」、ネットワークインターフェイスは「Chelsio S310」を使用。SSDとして使用する6個の「
Omicron netem
Linux/ネットワークエミュレーションモジュール．FreeBSDの DummyNet みたいなもの． 本家 PHPnetemGUI 2.6.11 と 2.6.12 で実装が結構変わっているなぁ． PSCHED_CLOCK_SOURCE の違い ネットワークエミュレータネットワーク機器やアプリケーションを，実ネットワーク環境で実験評価したいが，そのような環境が利用できない場合，ネットワークエミュレータが便利である． Free UNIXで利用できるネットワークエミュレータとしては，DummyNet，NISTnet，netemなどが有名である．これらをIPルータ上で動かすことで(例えば，下図のnetemと書かれた部分)，ネットワークの遅延やパケットロス率を模擬できる． DummynetはFreeBSDで動作し，実績も高い．NISTnetはLinuxで動作するが，開発が停止している．netemは
米国はネットを高速化する気が無いらしい（その２）-困るのはGoogleでは？ - My Life After MIT Sloan
前回の 「米国はネットを高速化するつもりがないらしい（その１）－バックボーンはつらいよ」はかなり反響があり、私も驚いた。 で、流石に3日間でのべ2万人が読んでるとなると、いろーんな方々が読んでるだろう。 こーなると、ブログだから好きなことを書けばよいというわけにもいかず。 自分としては偏るつもりはないので、背景も含め、正しくアメリカの状況を伝えた方が良いかな、と思ったので、今日はまず、その話から。 前回の話はインターネットに限った話、で遅くなるってことです。 バックボーンプロバイダーが構造的に儲からない、というのは前回書いた論理の通り、本当の話。 実際インターネットのバックボーンとかろうじてISPをやってる企業が、以前アメリカにはたくさんあったが、バタバタ死んだり、買収されたりした。 （今でもかろうじて生き残ってるが、苦しいとこがたくさんあります） ところが、ComcastとかAT&Tのよ
ウノウラボ Unoh Labs: サーバのネットワーク速度の調査/測定方法
こんにちは。kyagi です。先日データセンタ内のサーバ群のうち、なぜか特定の１台だけネットワークの速度が極端に遅いという問題がありました。今回はサーバマシンのネットワーク速度の測定方法と原因についてお話しします。同様のトラブルが発生している方のお役に立てば幸いです。問題解決までの手順としては以下になります。 1. 現在の状態を調べる 2. ハード/ソフト含めて考えられる原因をいくつか挙げる 3. 原因について改善されるまでひとつひとつ検証していく まず現在の NIC の HW 情報とドライバを lspci で調査します。ここでは Broadcom の NetXtreme BCM5722 という NIC を使用していることがわかります。 # lspci -vvv | grep Ether 01:00.0 Ethernet controller: Broadcom Corporation
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
502 Bad Gateway