高負荷マシンのネットワークチューニング — ありえるえりあ
Recent entries Apache2.4のリリース予定は来年(2011年)初め(あくまで予定) inoue 2010-12-23 Herokuの発音 inoue 2010-12-20 雑誌記事「ソフトウェア・テストPRESS Vol.9」の原稿公開 inoue 2010-12-18 IPA未踏のニュース inoue 2010-12-15 労基法とチキンゲーム inoue 2010-12-06 フロントエンドエンジニア inoue 2010-12-03 ASCII.technologies誌にMapReduceの記事を書きました inoue 2010-11-25 技術評論社パーフェクトシリーズ絶賛発売中 inoue 2010-11-24 雑誌連載「Emacsのトラノマキ」の原稿(part8)公開 inoue 2010-11-22 RESTの当惑 inoue 2010-11-22 「プ
フルスクラッチでWebサーバを書いてみた - Yet Another Ranha
フルスクラッチっていうのは、既存のOSの上に書くとかでは無くて、言ってしまえばOSから作った様なものです。 結果から言うと、Webブラウザでアクセスすると苺ましまろのリンクが出るとかっていう程度のものは作れました。 3-wayhandshake出来ますし、FINも裁けます。まぁ"何とか動く"程度にして満足したので止めましたけど... 今度の自分の為のメモとして。もしかしたら他の人の参考に成るかも。 何故そんな事をしたのか? まず、先日のエントリにも書いた通りだが圧倒的にやる事が無かったから。虚しい毎日。これはWebサーバを書く事で解消されるに違いないとかっていう事では無くてですね。 こうカーネルとのオーバーヘッドがどうこうで、どの処理をするのにどのシステムコールを使って云々。 スレッドとイベントはどうこうで、たくさん過ぎるetcetc 皆さん大変だなーと。でもまぁ用途が決まってるんだったら
artima - Comparing Two High-Performance I/O Design Patterns
This article investigates and compares different design patterns of high performance TCP-based servers. In addition to existing approaches, it proposes a scalable single-codebase, multi-platform solution (with code examples) and describes its fine-tuning on different platforms. It also compares performance of Java, C# and C++ implementations of proposed and existing solutions. System I/O can be bl
はやいTCPサーバを書く際に忘れがちなこと - kazuhoのメモ置き場
はやいTCPサーバの書き方 - nyaxtのPC作業ログ で id:nyaxt さんが書いてらっしゃるように、 epoll や kqueue を使う TCP_NODELAY, TCP_DEFER_ACCEPT *1 等を活用する TCP パケットを意識する I/O システムコールの回数を最小にする sendfile といったあたりは、確実にやるべきことだと思います。一方で、TCP 関連以外のオーバーヘッドが実は結構あって、 接続のタイムアウト処理 ログの出力 メモリの確保や解放をやらない あたりにも気を配る必要がある、と思います。 接続のタイムアウト処理については、以前 Kazuho@Cybozu Labs: 高速なCometサーバを書いてみた件 に書いたように、ビットアレイのリングバッファを使うのがベストだと思います。 ログの出力について、複数行を１回のシステムコールにまとめてもいいかど
Re はやいTCPサーバの書き方 - kazuhoのメモ置き場
はやいTCPサーバの書き方 - nyaxtのPC作業ログ について、いくつか気になった点があったので。 Nagleアルゴリズムは、相手側のACK送信をまとめてくれるものです。これは、下記の様にアプリケーション側でパケットを意識した処理を行っている場合、邪魔になることがあります。 違うと思います。自分の理解では、Nagle アルゴリズムは、ACK を受信していないデータがある場合に、次のパケットを送信しない、というものです。RFC896 から引用すると、 The solution is to inhibit the sending of new TCP segments when new outgoing data arrives from the user if any previously transmitted data on the connection remains unackn
はやいTCPサーバの書き方 - nyaxtのPC作業ログ
cagra高速化にあたってのノウハウを一部公開してみます。また明日校正/更新します。つっこみ待ちです。 select(2)の代わりにepoll_wait(2), kqueue, /dev/epoll等を使う 他に山ほど解説ページがあるので略 大量のディスクリプタを処理するようなサーバの場合、多少効果があるかもしれません。しかし、クライアント数が少ない場合、劇的な性能の向上は見込めないとおもいます。クライアント数が多い場合は、１セッション１スレッドなモデルではOS側のタスクスイッチングのオーバーヘッドが効いてくることも多いです。クライアント数を増やすには複数のセッションを１スレッドで処理できるようにすると良いです。実装にあたっては、non-blocking ioを活用すると効果的です。 TCP_NODELAYを設定する Nagleアルゴリズムをオフにします。多少応答性が良くなります。 これっ
マルチコア時代の高速サーバーの実装 - Blog by Sadayuki Furuhashi
特にサーバー用途では、CPUがシングルコアに戻ってくることは考えにくい。 マルチコアCPUの性能を活かすにはマルチスレッドに対応したサーバーの実装が必要になるわけですが、マルチスレッドなプログラミングは往々にして「高負荷になると固まる」とか「たまに落ちる」といった悩ましいバグと戦わなければならず、イヤです。 かといってシングルスレッドでは、近い将来 32コアCPU! などが出てきたとき、たぶん性能を発揮できません。 そこで、そこそこデバッグしやすく、それでいて多コアCPUでもスケールするという落としどころを模索しているのですが、ボトルネックはネットワークIO周りにあるだろう*1という前提の元で、ネットワークIO部分だけをマルチスレッドで動かし、それ以外の部分をシングルスレッドで動かすというアーキテクチャを考えています。 ロジックの部分はマルチスレッドで書いても共有リソースにアクセスする度に
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
XMail - xmailserver.jp
XMail って? XMail は、Davide Libenzi 氏 (davidel@xmailserver.org) によるオープンソースの FINGER/SMTP/POP サーバです。GPL ライセンスのもとに公開されています。 Libenzi 氏によれば、XMail は UNIX における sendmail + qpopper + fetchmail のごとき機能を持つオールインワン統合サーバとして開発されたということです。FreeBSD/Linux/OpenBSD/Solaris 版と Windows NT/2000/XP/2003 版とがあり、ソースコードが公開されているので、腕に自信があればあなた好みの XMail を作ることもできます。 機能一覧に示すように非常な高機能にもかかわらず抜群の高速性と安定性を持つことから Windows ユーザを中心に世界的に大きな支持を集める
Life is beautiful
GoogleによるHubSpotの買収 まもなくリリースされる Meta の Llama3 Tesla のカルチャー IntelのGaudi3はNvidiaの牙城を崩すか？ Steve Jobsが語るクラフトマンシップ 「6年勤めたNTTを退職しました」という記事が、注目を浴びているようですが、この筆者が NTT を辞めた理由が、私が３２年前（１９８６年）に NTT を辞めた理由とあまり変わらないのに、少々驚きました。 私が NTT を辞めた件に関しては、これまで色々なところで話しては来たのですが、まとまって文章にしたことがなかったので、これを機会に書くことにしました。普段ならメルマガ（週刊 Life is beautiful）の読者限定で書くところですが、今回だけは、出来るだけ多くの人に読んで欲しいので、ブログ記事として公開します。 当時、NTTは電電公社から民営化したばかりで、１９８５
＠IT：DHCPサーバを立てるには
LinuxでDHCPサーバを立てるには、まず設定ファイル（dhcpd.conf）を用意する必要がある。dhcpd.confは/etcディレクトリに置かれるが、初めてDHCPサーバ機能を使う場合は、一から作成する必要がある。 Red Hat LinuxやTurbolinux、Vine Linuxの場合、dhcpd.conf.sampleというサンプルファイルが用意されているので、そのファイルの場所をlocateコマンドなどで探して、/etcにdhcpd.confという名前でコピーする。Red Hat Linux 9の場合、以下のようになる。 ddns-update-style interim; ignore client-updates; subnet 192.168.0.0 netmask 255.255.255.0 { option routers 19
BKCon 2006 - にぽたん研究所
昨日は BKCon 2006 に行ってきた。 BK というのは「一般的にはバッドノウハウの事」なんですが、昨日のは、BKCon と言っても、かつて開催された Bad Knowhow Conference 2004 の続編とかではなく、"B"atara "K"esuma "Con"ference 2006 です。 ※正しくは横浜 Linux ユーザグループ主催の「第 65 回カーネル読書会」のテーマ "mixi.jp: Scaling Out With Open Source" です。 ちなみに、Batara Kesuma さんというのは、株式会社ミクシィの取締役。 mixi の裏側を見せますというか、ちょっと hip な言いかたをすれば "Inside mixi's backend" ってカンジです。 とりあえず、プレゼン内容は YAPC::Asia の時と大凡同じでしたが、プレゼンの持ち
カンブリア宮殿を見ていたら、mixiのサーバは、 さくらインターネット http://www.sakura.ad.jp/ http://www.sakura.ne.jp/ のデータセンターを利用しているっぽ…
カンブリア宮殿を見ていたら、mixiのサーバは、 さくらインターネット http://www.sakura.ad.jp/ http://www.sakura.ne.jp/ のデータセンターを利用しているっぽい感じでした。 mixiは、１日15000人ペースでユーザが増えて、それに対応するために、１日１台サーバを増やしているそうですね。 そこで、気になったのですが、mixiのサーバは、さくらインターネットのプランで言うと、どれに該当するのでしょうか？もちろん、mixiのようなお得意様とは契約状況も通常とは違うのでしょうが、サーバのプラン的にどれが近いのでしょうか？さくらインターネットは、「専用サーバ」のプラン内でも細かく分かれているので、気になりました。 また、以前は、GREEも、さくらインターネットを利用していたと聞きます。GREEは、初めは田中社長が一人で運営していたわけですし、さくらイ
バーチャルホストによる複数サイトの同時運用
独自ドメインが使えるホスティングサービスは、どのように実現しているのだろうか？ その鍵となるのが「バーチャルホスト」である。この機能を使うことによって、1台のマシンで複数のWebサイトを運用できるようになる。 バーチャルホストとは 今回は、Apacheの特徴的な機能の1つである「バーチャルホスト」について解説する。この機能により、少ないリソースで複数のWebサイトを構築することが可能になる。 なぜバーチャルホストが必要なのか 通常、Webサーバへのアクセスにはwww.atmarkit.co.jpやwww.tis.co.jpといったURLが利用される。URLの「atmarkit.co.jp」や「tis.co.jp」の部分はドメイン名、「www」の部分はホスト名と呼ばれる。第2回でも説明したとおり、実際にはURLをIPアドレスに置き換えなくてはWebサーバにアクセスできない。そこで、先方ドメイ
ブロードキャストアドレスとマルチキャストアドレス
■ブロードキャストアドレスとは ブロードキャスト（放送）とは１つのネットワーク内に属する全てのノード（端末）を対象にして、データを送り出すことで、そのブロードキャストのために特殊に割り当てられているアドレスのことをブロードキャストアドレスと言います。通常、ブロードキャストアドレスは取得したアドレスブロックの最後のIPアドレスを表し、例えば「218.154.54.150～218.154.54.157」の8個のIPアドレスを取得した場合は一番最後の「218.154.54.157」がブロードキャストアドレスとして割り当てられることになります。それとは逆に、取得したネットワークアドレスの最初のアドレスのことを「ネットワークアドレス」と言い、ここでは「218.154.54.150」のIPアドレスに相当します。つまり、ネットワークアドレスが、ネットワーク全体の表札的な役割を担っているのに対し、ブロード
The C10K problem
[Help save the best Linux news source on the web -- subscribe to Linux Weekly News!] It's time for web servers to handle ten thousand clients simultaneously, don't you think? After all, the web is a big place now. And computers are big, too. You can buy a 1000MHz machine with 2 gigabytes of RAM and an 1000Mbit/sec Ethernet card for $1200 or so. Let's see - at 20000 clients, that's 50KHz, 100Kbytes
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.sysarchitects.com/files/VanDyk_Des_Moines_Web_Geeks_09.pdf
Dell 公式サイト (Dell Japan) | Dell 日本