ネットワーク越しリトライ考 - その手の平は尻もつかめるさ
ここ最近では何らかのインターネットサービスを構築・運用するにあたって、ネットワーク越しのリトライを考えることは避けられなくなりつつあります。 micro services のようなアーキテクチャを採用している場合はサービス間のメッセージのやり取りはまず失敗する前提 (つまりリトライをする前提) で組む必要がありますし、たくさんのクライアントがいてそのクライアントが定期的に何かを処理してセントラルにデータを送ってくる IoT のようなシステムを構築する時もその処理のリトライをよく考える必要があります。 というわけで「ネットワーク越しのリトライ」についてここ最近考えていることをざっくりと書き留めるものであります。 前提 リトライをする側をクライアント、リトライを試みられる側をサーバと呼称します リトライにおいて、サーバおよびネットワークはクライアントよりも弱者です クライアントはリトライをコン
エッジ・フォグコンピューティングの成り立ちとネットワークインフラのこれから
近年、エッジコンピューティングという言葉をよく目にするようになりました。 エッジコンピューティングの「エッジ」とは、どこの／何のエッジ（端）なのでしょう？実はこれは、「クラウド」に対するエッジを指しています。ではエッジコンピューティングの「コンピューティング」とは何でしょうか？エッジコンピューティングは、ネットワークの中にコンピュータを埋め込みたい、という動機からスタートしています。 エッジコンピューティングの理解のためには、クラウドやネットワークの知識が少しだけ必要です。また、エッジコンピューティングはすっかりバズワード化しているため、全体像を少しだけ俯瞰的に眺めてみる必要もあります。 本資料では、エッジコンピューティングという考え方がなぜ登場してきたか、またエッジコンピューティングで何を実現することを目指しているのか、について解説していきます。 そして、それらの話を通じて、エッジコンピ
SACSIS.TCP - HPCユーザが知っておきたいTCP/IPの話
HPC TCP/IP 2009 5 29 SACSIS2009 HPC TCP/IP 2 • • 1 Gbps RTT 100 • 240 Mbps ☹ • 940 Mbps ☺ (2) HPC TCP/IP • Ethernet PC • TCP/IP 2 10MB 3 0 200 400 600 800 1000 0 100 200 300 400 500 600 Bandwidth (Mbps) Time (msec) 160 0 200 400 600 800 1000 0 100 200 300 400 500 600 Bandwidth (Mbps) Time (msec) x3.5 (2) • TCP/IP • • MPI • TCP/IP TCP • TCP Reno [RFC2851] • TCP CUBIC Compound TCP 4 (3) • TCP/IP • T
超高速なパケットI/Oフレームワーク netmap について - ゆううきブログ
GPUを用いたSSLリバースプロキシの実装について - ゆううきブログ 100Gbpsソフトウェアルータの実現可能性に関する論文 - ゆううきブログ の続きで，最近論文読んだやつのプロジェクトの紹介です． 概要 今の汎用OSは高速なパケットI/Oを考慮してない． 20年前のAPIをそのまま使っている． ネットワークがどんどん高速になっているので，NICとかOSカーネルのパケット処理がボトルネックになってる． (http://news.mynavi.jp/news/2013/04/04/094/index.html) こういうの解決するために既存手法がいろいろある． Linux packet mmap - IwzWiki Linux Kernel Documentation :: networking : packet_mmap.txt DNA (Direct NIC Access) Pac
Networking - KVM
Configuring Guest Networking Guest (VM) networking in kvm is the same as in qemu, so it is possible to refer to other documentation about networking in qemu. This page will try to explain how to configure the most frequent types of networking needed. User Networking Use case: You want a simple way for your virtual machine to access to the host, to the internet or to resources available on your loc
Dockerのネットワーク管理とnetnsの関係 - めもめも
RHEL7RC+EPEL版Dockerの前提で解説します。RHEL7RCを最小構成で入れて、次の手順でDockerを導入します。 # yum -y install bridge-utils net-tools # yum -y install http://download.fedoraproject.org/pub/epel/beta/7/x86_64/epel-release-7-0.1.noarch.rpm # yum -y install docker-io # systemctl enable docker.serviceDockerが設定するiptablesの内容を見るために（見やすくするために）、firewalldを停止した上でdockerサービスを起動します。 # systemctl stop firewalld.service # systemctl mask firew
18 Commands to Monitor Network Bandwidth on Linux server
Network monitoring on Linux This post mentions some linux command line tools that can be used to monitor the network usage. These tools monitor the traffic flowing through network interfaces and measure the speed at which data is currently being transferred. Incoming and outgoing traffic is shown separately. Some of the commands, show the bandwidth used by individual processes. This makes it easy
Linuxカーネルにおけるネットワークスタック周りのChangeLog勉強メモ (2.6.0 ~ 2.6.20) - ゆううきブログ
最近，OSのネットワークスタックに興味があって，Linuxカーネルのネットワークスタック実装の変遷について調べてみた． 変更内容の粒度は割りと適当． TCPとかFireWallとかNIC周りは興味があるのでだいたい書いてる． Wireless系は興味ないので全部削ってる． ネットワークスタック周りだけでもかなり量が多かったので，とりあえず2.6.0から2.6.20までをまとめた． Linux 2.6.x 2.6.5 (2004/04/04) http://kernelnewbies.org/Linux_2_6_5 Netpoll infrastructure Netpollが導入された． Netpollは，I/Oシステムとネットワークシステムが完全には利用できないみたいな不安定な環境でカーネルがパケットを送受信できる仕組みのこと．受信したパケットがnetpoll宛かどうかをTCP/IPのヘ
FreeBSDのパケットディスパッチについて - syuu1228's blog
探検隊での発表や、FreeBSD/i386のパケット受信フロー - かーねる・う゛いえむにっきの補足。 まず、話の前提のおさらいから。 マルチコア環境でネットワーク受信処理をスケールさせるには、NICに届く沢山のパケットを複数のコアへばらまいて並列に処理させる必要がある ランダムにばらまくよりも、同一フローに属するパケットは同一コアへ割り当てる方がデータローカリティが高くなりキャッシュミスが減るので性能が上がると考えられている 複数コアへばらまく仕組みとして、二通りの方式がある。 RSS: ハードウェアで行う。パケットヘッダのハッシュ値を計算してハッシュテーブルを引き、割り当てられたCPUへ割り込みを行う。受信キューはCPU毎に独立している。 RPS(Linux): ソフトウェアで行う。NICからの割り込みは常に特定のCPUへ入るが、受信処理を行うCPU上でパケットヘッダのハッシュ値を計算
Receive-Side Scalingについての調査メモ - syuu1228's blog
Kernel/VM Advent Calendar ４日目: Linuxのネットワークスタックのスケーラビリティについて - かーねる・う゛いえむにっきで書いたReceive-Side Scalingの記述が未だ理解が足りず不正確だと思ったので、調べ直してみてる所。 Multi-queueなNICってなに RPS提案のメールにこんな事が書いてある： This effectively emulates in software what a multi-queue NIC can provide, but is generic requiring no device support. 要約すると「multi-queue NICが提供している機能をソフトウェアエミュレートするのがRPS」 →じゃあmulti-queueなNICってどれで、どんな機能を提供してるんだろう？ それらしいNICを探して
Kernel/VM Advent Calendar ４日目: Linuxのネットワークスタックのスケーラビリティについて - syuu1228's blog
【お願い】私はLinuxカーネルもネットワーク周りも素人です。ここに書いてある事は間違えている可能性もあるのでおかしいなと思ったらすかさず突っ込んでください。宜しくお願い致します。 今回は、この記事の内容を全面的に見直して、再度Linuxのネットワークスタックのスケーラビリティについてまとめようと思います。 従来のLinuxネットワークスタック＋従来のシングルキューNIC 以下の図は従来のLinuxネットワークスタック＋従来のシングルキューNICで、あるプロセス宛のパケットを受信している時の処理の流れを表している。フォワーディングの場合やプロトコルスタック内の処理は割愛した。 プロセスがシステムコールを発行してからスリープするまで プロセスは、システムコールを通してカーネルにパケットを取りに行く。 パケットはソケット毎のバッファに貯まるようになっているが、バッファが空だったらプロセスはパケ
Kura's Wiki - カーネルを読もう第11回
この構造体は,sys/protosw.hで定義される. プロトコル制御ブロック ↑ プロトコル制御ブロック(PCB:Protocol Control Block) INETドメインで用いられるPCBは,INETドメインのソケットごとに用意され,各ソケットに関係する情報を管理する.これには,構造体"inpcb"が用いられる. netinet/in_pcb.hで定義される. INETドメインPCBについての操作関数は,ファイルin_pcb.cで定義される. TCPの実装 ↑ TCPの実装を読む場合,各コネクションごとに生成される構造体tcpcbがどのように使われ,そしてタイマーをどのように利用しているかを理解することが鍵となる. システムコールとのインターフェイス ↑ tcp_usrreq()は,ソケット層で用意されているシステムコールを処理するための関数で,プロトコル･スイッチの(*pr_u
じゃあ、Linuxのネットワークスタックはどうなのん？ - syuu1228's blog
この記事の続きになる訳だが、いくらSolaris最強って言っても、大手メーカーがこぞってつつき回して性能改善したり機能追加したりしてるはずのLinuxで何も対策が打たれてない訳が無いよね。じゃあどうなってるんだろう、って話。 例によって、Linuxとか全ッ然知らないので、間違ってたらツッコミ下さい。 ポーリングとパケット処理のパス 殆どここで解説し尽くされてる。 Linuxにも動的ポーリングの実装（Solarisで言ってる動的ポーリングと同じものとは限らないが…）があって、NAPIとか呼ばれてるらしい。 NAPIを実装するドライバでは、こんな手順で受信処理を行ってる。 ハードウェア割り込みを受け、割り込みハンドラを起動 ハードウェア割り込みを禁止、ポーリングをスケジュール ソフトウェア割り込み経由でNAPIのポーリングルーチンを起動 ドライバにポーリングを指示 この時、適切な性能を確保する
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Charming Python: Functional programming in Python, Part 3
Computer Networks and Internets
http://www.ueda.info.waseda.ac.jp/~toyama/network/index.html