TCP高速化などを図ったLinuxカーネル3.6、リリース
TCP高速化などを図ったLinuxカーネル3.6、リリース：仮想環境でのI/O性能を改善するVFIOも Linuxカーネルの新バージョン、「Linux 3.6」が10月1日にリリースされた。Linus Torvalds氏はこのリリースについて、アーキテクチャやファイルシステムに大幅な変更はないとしながらも、「着実な進歩」だと表現している。 カーネル3.6では、まずネットワーク接続を高速化するため、TCP Small QueuesやTCP Fast Openといった機能が盛り込まれた。TCP Small Queuesは、1つのキューに含まれるパケットの数に上限を設けることでRTTなどを減らし、ひいてはバッファサイズに起因する遅延や輻輳といった問題（Bufferbloat）を解決することを狙ったもの。一方TCP Fast Openは、TCPコネクション確立時のプロセスを最適化することで、Web
TCP Fast Open
TCP Fast Open Sivasankar Radhakrishnan, Yuchung Cheng, Jerry Chu, Arvind Jain Google sivasankar@cs.ucsd.edu, {ycheng, hkchu, arvind}@google.com Barath Raghavan ICSI barath@icsi.berkeley.edu ABSTRACT Today’s web services are dominated by TCP flows so short that they terminate a few round trips after handshaking; this handshake is a significant source of latency for such flows. In this paper we desc
Windows Server 2008 R2 導入後に行うべき設定～Network編
今回はネットワーク編としてやっておいた方がいい設定を記載します。 ■SNPの無効化 ■DNS動的更新のチェックOFF（複数セグメント） SNPの無効化に関して これは以前から話題になっていましたが、改めて復習します。 SNPとは「Scalable Networking Pack」のことで、TCP に関するネットワーク処理を、NIC およびドライバを利用して最適化するためのテクノロジー及びその実装の総称になります。当然のことながらSNPに対応したNICおよびドライバが必要となります。 またPackという単語からもわかるとおり、ネットワークの様々な機能を包括しています。具体的には次に紹介する3つの機能を指します。 1. Receive Side Scaling (RSS) マルチCPUおよびマルチコアCPUを利用している場合、TCP の受信処理を複数のコアに分散するテクノロジーになります。そも
CentOS 6.2 で RPS/RFS を使ってネットワークの割り込み処理を複数コアに分散してみた - blog.nomadscafe.jp
以前(2010年)に「アプリケーションがマルチスレッドでもマルチコアCPUを活かせない件」というエントリにてCPUのコアが増えても割り込み処理が分散されないのでスケールされないと書いたけど、その後Linux KernelにRPS/RFSなる機能が追加され、割り込み処理が分散できるようになり、CentOS 6.2 でも使えるらしいので試してみました。 RPS/RFSについての紹介は VIOPS06で「RPS・RFS等最新Linux Kernel事例」と題してお話してきました http://d.hatena.ne.jp/syuu1228/20110722/1311322653 Linux内核 RPS/RFS功能详细测试分析 http://www.igigo.net/archives/204 が詳しい。2番目のはほぼ読めないけど、性能比較のグラフが分かりやすい。 今回試したサーバは、 OS: C
ネットワーク機器の劇的な低価格化は進むか。マーチャントシリコンとソフトウェアによる仮想化
いまネットワーク市場は、ソフトウェアでネットワーク構成の制御を行うSoftware-Defined Networkとその標準技術であるOpenFlowの登場によって大きな変化に見舞われていますが、それと並行してネットワーク機器のあり方にも大きな変化が起ころうとしてます。 かつて企業向けのサーバやワークステーションは、メインフレームをはじめとしたベンダ独自のアーキテクチャを備えたさまざまな種類のハードウェアが市場で競っていました。しかし1980年代にx86をベースにしたPCサーバが登場し、CISC対RISCなどの構図をくぐりぬけ、ほぼx86サーバが標準となる状況にたどり着きました。 そしてこの過程で起きた市場の拡大を背景に、x86サーバは大幅な低コスト化と高性能化を実現してきました。ハードウェアが標準化されたことで、ソフトウェア市場も比較にならないほど広がりました。 サーバ市場で起きたような
ヤフーネットワーク10年
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは、ヤフーでネットワーク設計に携わって早10年の松谷と申します。 今回はヤフーネットワーク10年と題し、ヤフーの重要配信インフラの一部であるネットワークについて、過去の課題と共にご紹介していきたいと思います。 2000年 この頃のヤフーでは検索やオークションといったサービスのウェブサーバーへ、大量のアクセスが集中し高負荷になる事が多々ありました。当時、ほとんどのサービスが皆さんご存じのDNS Round Robin（以下DNSRR）で運用していました。DNSRRは非常にシンプルで優れた機能ですが、サーバー障害時にはAレコードを手動で抜く作業が必要です。またDNSの512byte問題でAレコードを束ねるのが限界にな
インターネット10分講座：大規模NAT（Large Scale NAT:LSN） あるいはキャリアグレードNAT（CGN） - JPNIC
ニュースレターNo.41/2009年3月発行 インターネット10分講座：大規模NAT(Large Scale NAT:LSN)あるいはキャリアグレードNAT(CGN) 今回の10分講座は、IPv4アドレスの在庫枯渇の時期が迫るとともに注目を集めている大規模NATあるいはキャリアグレードNATと呼ばれる技術について解説します。 IPv4アドレス在庫枯渇とスムースなIPv6移行に向けて 最近、あちこちで言われていることではありますが、IPv4アドレスの新規割り当てが、あとどんなに遅くても数年以内には、非常に困難になるであろうという予測は、やはり残念ながらと言うべきでしょうけれども、だんだんと確定的になってきています。 もちろん、この問題への根源的な対策は、インターネット全体をIPv6へと移行させることであることはまったく論を待ちませんが、その一方で、既に実社会に広く深く浸透している既存の設備や
ログからは見えてこない高負荷サイトのボトルネック : DSAS開発者の部屋
ちょうど１年前に「高負荷サイトのボトルネックを見つけるには」という記事を掲載していますが、この手のトラブルシューティングって結構大変で悩ましいですよね。はじめまして、新入りの@pandax381です。 ログからは見えてこないもの 「サイトの応答が遅い」という問題が発生した場合、その原因はどこにあるでしょうか。 Webアプリケーションの処理に時間が掛かっている DBサーバに投げたクエリーの応答が遅い サーバの処理能力を超えている などなど、いくつもの可能性があります。通常、上に挙げているような問題は、アプリケーションやサーバのログを調査することで、原因を突き止めることができます。 一方で、こういったログの調査だけでは、その原因にたどり着くことができなかったり、相当な苦労が伴うケースもあります。 あるサイトのある日の出来事 つい先日のことですが、KLabの運営している某ソーシャルゲームにて、サ
netmap: A Novel Framework for Fast Packet I/O | USENIX
Luigi Rizzo, Università di Pisa, Italy Awarded Best Paper! Many applications (routers, traffic monitors, firewalls, etc.) need to send and receive packets at line rate even on very fast links. In this paper we present netmap, a novel framework that enables commodity operating systems to handle the millions of packets per seconds traversing 1..10 Gbit/s links, without requiring custom hardware or c
LANケーブルが変わると速度がどれほどアップするか38種類テスト結果まとめ
LANケーブルを買いに家電量販店に行くと、フラット・極細・より線・カテゴリー5・5e・6・6a・7などいろいろな種類のものがそろっていますが、LANケーブルを選ぶ際に重要視するポイントはカテゴリーで、5・5e・6・6a・7に分けられ、5・5e・6・6a・7の順に通信速度・伝送帯域などが高性能になり高価になります。また、同じカテゴリーでもLANケーブルの形状が通常より平らになったフラットケーブルや細くなっているものがあるので、通信速度に違いがあるのか実際に計測して確かめることにしました。 ◆集めたLANケーブル 会社ごと・製品ごとの違いを確かめるため、家庭でも使えて売れ筋の長さが5メートルで、なおかつカテゴリー5e・6・6a・7が全部そろっていること、という条件で探していった結果、エレコム・サンワサプライ・バッファロー・ミヨシの4社のLANケーブル、合計38種類を計測することに決定。 実際に
Getting cpp-netlib — cpp-netlib v0.10.0
Getting cpp-netlib¶ You can find out more about the cpp-netlib project at http://cpp-netlib.org/. Download You can get the latest official version of the library from the official project website at: This version of cpp-netlib is tagged as cpp-netlib-0.10.0 in the GitHub repository. You can find more information about the progress of the development by checking our GitHub project page at:
Linuxのbonding(802.3ad)で発生したトラフィックの偏りをなおした話 - 元RX-7乗りの適当な日々
はじめに とある環境の話。internalのLinuxサーバでbonding(ボンディング)を組んでいました。modeは4。802.3ad(LACP)準拠のリンクアグリケーションなモードです。 ちなみに、bondingとは・・・ ちなみに、"bonding"とは、ネットワークインターフェースを冗長化(または負荷分散)する方法で、複数のNICを束ねて1本に見せることができます。チーミング(teaming)と呼ばれたりもしますね。 で、Linuxではbondingにもいくつかモードがあって、複数のポリシーの中から選択することができます。 balance-rr 又は 0 - 耐障害性とロードバランシングのためラウンドロビンポリシーを設定します。利用可能な第 1 のインターフェースからそれぞれのボンディングされたスレーブインターフェースで送受信が順次行われます。 active-backup 又は
ほげおメモ: tshark (WiresharkのCLI版) の使い方
tsharkはWiresharkのCLI(コマンドライン)版と言えるもので、GUIのないサーバ上やターミナルからtcpdumpと同じ利便性で使える、パケットキャプチャです。tsharkによるSummaryもWiresharkど同等の内容で確認できるので、tcpdumpよりtsharkの方が好まれる人も多いのでは。 GUIではWiresharkが最もメジャーなパケットキャプチャで、使用されている方も多いかと思います。かたやCLIではtcpdumpを使う方が多いのではないでしょうか。この場合、tcpdumpの代わりにtsharkを使うとCLIでもWiresharkと同様の確認が行えるのでよいかもしれせん。 tsharkはWiresharkのパッケージに含まれて提供されていますので、Wiresharkがインストール済みであれば既に実行可能かと思います。 WindowsやLinuxでは下記Path
HPN-SSH UPDATED 2021
HPN-SSH is a research project based at the Pittsburgh Supercomputing Center (PI) Chris Rapier PSC, Michael Stevens CMU, Benjamin Bennett PSC, Mike Tasota PSC/CMU, Mitch Dorrell PSC email: hpn-ssh@psc.edu HPN-SSH is a series of modifications to OpenSSH, the predominant implementation of the ssh protocol. It was originally developed to address performance issues when using ssh on high speed long dis
Linux: traffic control netem tc
netem ( tcコマンド ) の基本的な使い方。 tc コマンドで、遅延、パケットロス、パケットの重複、パケットの到着順を変える、など模擬することができる。 遅延させ、WAN を模擬し、その時の、ネットワーク機器(フローテーブルをためたときの挙動)や、SLA(遅延が xx秒だとユーザ逃げちゃうだろうな)などのテストができそう。 あと、パケットの到着順をかえたときに、ロードバランサやFirewall が、処理できるか確認してみるとか。 ・delay : outgoing に対して delay を設定 ( WANエミュレーション ) 100ms の delay をかける。 [root@hat1-vm ~]# tc qdisc add dev eth0 root netem delay 100ms [root@hat1-vm ~]# tc qdisc show dev eth0 qdisc
The Eclipse Jetty Project :: Eclipse Jetty
Eclipse Jetty provides a highly scalable and memory-efficient web server and servlet container, supporting many protocols such as HTTP/3,2,1 and WebSocket. Furthermore, the project offers integrations with many other technologies, such as OSGi, JMX, JNDI, JAAS, etc. These components are open source and are freely available for commercial use and distribution under both the EPL2 and Apache2 license
tcptrackでトラフィックや通信状況をリアルタイム把握 | Pocketstudio.jp log3
◆tcptrackは、いわゆるsnifferの１つ。 「もしかして Dos 攻撃を食らってる？」という時、みなさんどうされています？ Linux サーバの TCP 通信状況を把握するのに、接続元・接続先の把握であれば、netstat を使うのが一般的。より細かな通信状況であれば tcpdump を使うでしょう。ですが、通信状況だけでなく、”転送量”を知りたい場合や、今どこのホストとの通信がサーバの負担になっているかを把握する事は、そうそう単純ではありません。 そんなとき tcptrack を使うのが便利です。tcptrack は、”top” コマンドのように、秒単位で刻々と通信状況を表示することができます。どのホスト間で、どのような通信状態で、アイドル状態の秒数、転送レートを表示することができます。 ◆インストール方法 バイナリまたはソースコードからインストールできます。現行バージョン
Linux Tuning
This page contains a quick reference guide for Linux tuning for Data Transfer hosts connected at speeds of 1Gbps or higher. Note that most of the tuning settings described here will actually decrease performance of hosts connected at rates less than 1Gbps, such as most home users. Note that the settings on this page are not attempting to achieve full 10G with a single flow. These settings assume y
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mPulse — Real User Performance Monitoring and Real-Time Analytics | Akamai
Network Programming With Boost | PDF | Network Socket | Hypertext Transfer Protocol
