GitHub - open-guides/og-aws: 📙 Amazon Web Services — a practical guide
AWS is the dominant public cloud computing provider. In general, “cloud computing” can refer to one of three types of cloud: “public,” “private,” and “hybrid.” AWS is a public cloud provider, since anyone can use it. Private clouds are within a single (usually large) organization. Many companies use a hybrid of private and public clouds. The core features of AWS are infrastructure-as-a-service (Ia
AWSやAzureへの専用線接続を即時開通するオンデマンド・サービス、Coltが国内提供
Coltテクノロジーサービスは10月19日、データセンター・企業拠点・パブリッククラウド間を接続するイーサネット専用線を即時開通し、時間単位の従量課金で利用できるオンデマンド・サービス「Colt on Demand」の国内提供を開始した。 Coltグループは、世界28カ国200都市を接続する海底ケーブルとローカルネットワーク、東京・大阪・名古屋を含む世界50都市に敷設したメトロ・ネットワークを自社で所有している。Colt on Demandでは、この自社ネットワークとSDNテクノロジーを使って、ユーザー自身がポータルから拠点間のポートを指定して100Gbps対応イーサネット専用線ネットワークを即時利用できるサービスを提供する。利用帯域の増減、ネットワークのON/OFFも、ユーザー側からポータル上で即時設定できる。 同社 執行役員の星野真人氏は、「クラウド接続のトラフィックは前年比100％で
LinuxCon 2015 Linux Kernel Networking Walkthrough
This presentation features a walk through the Linux kernel networking stack for users and developers. It will cover insights into both, existing essential networking features and recent developments and will show how to use them properly. Our starting point is the network card driver as it feeds a packet into the stack. We will follow the packet as it traverses through various subsystems such as p
大規模DCのネットワークデザイン
2. 自己紹介 小林 正幸 (@markunet) 25歳 個人事業主 • 企業のネットワークインフラの設計構築、技術提供 • 新技術検証、運用自動化検討、アドバイザー • BGP, MPLS, EVPN etc その他 • Home NOC Operators‘ Group (AS59105) 3. 注意事項 • 本職ではありません。 • どちらかと言えば実用的なルーティングデザインについての説明です。 • 資料内の設計やモデルはあくまで一例です。 • 主にRFC7938を噛み砕いた内容となっています。 • 分かりやすく説明することを目的としているため、一部技術的に厳密 でない表現等が含まれています。 4. Traditional Design • North-South Traffic のための設計 • 帯域のスケールには、モジュール交換 などのアップグレードが必要 • 帯域やポート密
ネットワークでなぜ遅延が生じるのか
5. プロセス遅延 (Processing Delay) パケット 出⼒先決定 ヘッダ書き換え フィルタリング QoS 統計情報取得 カプセル化 筐体内転送 • 伝送装置 • メディアコンバータ • スイッチ • ルータ • NAT装置 • 仮想化装置, IPsec, etc • 通信機器の⼊⼒インターフェイスで受信して 出⼒インターフェイスのキューへ送るまでにかかる時間 出⼒ キュー パケット ルータの例 暗号化 6. キューイング遅延 (Queueing Delay) • 通信機器の出⼒インターフェイスキューに⼊ってから 出⼒処理を⾏なうまでにかかる時間 出⼒キュー • 出⼒処理より速いペースでパケットが届くとキュー待ちが増える • 広帯域回線から狭帯域回線への転送、⼀時的な輻輳 (バーストト ラフィック) などへの対応 優先制御 キューイング スケジューリング 7. シリアル化遅延
EdgeRouter X がすごい | yabe.jp
最近北米の自宅と日本の実家に VPN を設けていろいろやれたらいいなーと思い、ルーターを物色したらなかなかすごいヤツを発見したので、買ってみました。 EdgeRouter とは 地元サンノゼのネットワーク機器ベンチャー Ubiquiti Networks のルーター製品群です。このルーターはデータセンター等で使われる Linux 系高機能ソフトウェアルーター Vyatta （Brocade の vRouter の源流）R6.3 をベースにした EgdeOS 搭載のルーター製品ですが、信じられないコストパフォーマンスと、 amazon.com での評価が異常に高いのが特徴です。 ちなみに私が買ったのは最廉価モデルの EdgeRouter X ですが、ハードウェアオフロード有効時でルーティング最大 940 Mbps 、IPsec VPN 最大 200 Mbps 、RIP / BGP / OSP
プログラマが知っておくべき、メモリ/ディスク/ネットワークの速度まとめ - Qiita
注: 無線ネットワークは干渉などによりこの数値より遅くなる状況も十分ありえます。 ポイント メモリからの読み込みとディスクからの読み込みはランダムアクセスで1000倍程度違う とは言え、最近はディスクも結構速い きちんと繋がれた有線ネットワークからの読み込みは、ディスクより速い つまり、ディスクから読むより、同じデータセンターのマシンのメモリから読んだほうが速い モバイルネットワークだと100キロバイトのデータでも1秒以上かかることがある メモリからの読込速度の遅さは、CPUのクロック数も10G/s程度なのと、本来はL1/L2キャッシュなどがあることを考えると通常意識しなくて良い 何故この参考値をまとめたか プログラミングをする際、どのくらいの時間でどのくらいのサイズ感の処理が出来るのかを考えられることが、ある一定規模以上のサービスを開発するときは必須条件になってくると思います。 なにより
イマドキのWeb屋さんが考えるネットワーク
クラウド事業者から見たインフラの変化 イマドキのWeb屋さんが考えるネット ワーク Amazon Web Services 技術本部 シニアマネージャ ソリューションアーキテクト 荒木靖宏 自己紹介 • 名前 – 荒木 靖宏 • 所属 – アマゾンデータサービスジャパン株式会社 – 技術本部レディネスソリューション部 シニアマネージャ • 好きなAWSサービス – Amazon Virtual Private Cloud – AWS Direct Connect 2 共通認識と業界トレンド 2017年には従業員の半数以上が自分のデバイスを業務に使うようにな る（Source：ガートナー） 40％のビジネスと技術の方向付けをする専門家が既に複数のクラウドを 使うか、使う予定（Source：Forrester） 2020年までに500億のデバイスがインターネットに繋がる（Source： AT&
Google Compute Engine、全世界のリージョンが同時に外部とのネットワーク接続を失うという深刻な障害が発生。ネットワーク管理ソフトウェアにバグ
Google Compute Engine、全世界のリージョンが同時に外部とのネットワーク接続を失うという深刻な障害が発生。ネットワーク管理ソフトウェアにバグ クラウドのどこかで障害や災害が発生したとしても、その影響はアベイラビリティゾーンを超えることはなく、そのために複数のアベイラビリティゾーン（Google Compute Engineでは「ゾーン」）にシステムを分散して配置することで、クラウドの障害の影響を受けない高い可用性を備えたシステム構築ができる。これはクラウド（IaaS）に対応したシステム構築におけるもっとも基本的な考え方です。 しかし先週、2016年4月11日にGoogle Compute Engineで発生した通信障害は、アベイラビリティゾーンどころかリージョンの境界も越え、世界中にあるすべてのリージョンのインスタンスが同時に外部とのネットワーク接続を18分間に渡って失う
TCPを（少しは）理解しておくべきその理由 | POSTD
この記事はTCPの 全て を理解する、あるいは 『TCP/IP Illustrated』 （訳注：日本語版: 『詳解TCP/IP〈Vol.1〉プロトコル』 ）を読破しようとか、そういうことではありません。ほんの少しのTCPの知識がどれほど欠かせないものなのかについてお話します。まずはその理由をお話しましょう。 私が Recurse Center で働いているとき、PythonでTCPスタックを書きました（ またPythonでTCPスタックを書いたらどうなるかについても書きました ）。それはとても楽しく、ためになる経験でした。またそれでいいと思っていたんです。 そこから1年ぐらい経って、仕事で、誰かが「NSQへメッセージを送ったんだが、毎回40ミリ秒かかる」とSlackに投稿しているのを見つけました。私はこの問題についてすでに1週間ほど考え込んでいましたが、さっぱり答えがでませんでした。 こ
ネットワークの可視化 | GREE Engineering
GREE Advent Calendar 2015 の23日目担当の上竹です。普段はアプライアンスLB やネットワークの構築/運用をしております。 概要 バックボーンネットワークを設計運用していると、実際どのようなトラフィックがどのくらい流れているか中身を知りたい(見たい)ことがよくあります。 どのISP からどの回線へどのくらい流入があるのかだったり、どんなAS からどのくらいアクセスがきているか、これら様々な情報を正しく把握することは、Transit 回線やIX 回線をコントロールし今後のネットワーク戦略を考えるうえで非常に有益です。 また、昨今我々を悩ましているDDoS 対策の第一歩として、今流れているトラフィックをまず"知る"ということが必要だと思います。 そこで、今回ネットワークの見える化を、「NetFlow」、「Fluentd + ElasticSearch + Kibana」
TCP Tuning for HTTP
TCP Tuning for HTTP draft-stenberg-httpbis-tcp-02 Abstract This document records current best practice for using all versions of HTTP over TCP. Status of This Memo This Internet-Draft is submitted in full conformance with the provisions of BCP 78 and BCP 79. Internet-Drafts are working documents of the Internet Engineering Task Force (IETF). Note that other groups may also distribute working docum
(WEB401) Optimizing Your Web Server on AWS | AWS re:Invent 2014
(WEB401) Optimizing Your Web Server on AWS | AWS re:Invent 2014 Tuning your EC2 web server will help you to improve application server throughput and cost-efficiency as well as reduce request latency. In this session we will walk through tactics to identify bottlenecks using tools such as CloudWatch in order to drive the appropriate allocation of EC2 and EBS resources. In addition, we will also be
The story of one latency spike
A customer reported an unusual problem with our CloudFlare CDN: our servers were responding to some HTTP requests slowly. Extremely slowly. 30 seconds slowly. This happened very rarely and wasn't easily reproducible. To make things worse all our usual monitoring hadn't caught the problem. At the application layer everything was fine: our NGINX servers were not reporting any long running requests.
Trickleを使って帯域制限をする - aptheia.info
ネットワーク経由で大量のデータをやりとりしたいが、メインのサービスには影響を与えたくないという場合がよくある。rsyncやscp など、大きなファイルの転送を考慮されたコマンドではネットワーク帯域を制限するオプションが用意されていることも多いが、自作のツールなどに帯域制限を実装するとなるとかなり面倒くさいことになる。 Linux で帯域制限をしたい場合、tc や cgroup を使う方法がよく知られている。ただ、「あるコマンドにネットワークが占領されないように穏やかに実行したい」というニーズに対しては大げさで、またオプションが難解だったり管理権限が必要だったりといったことから二の足を踏む感じのものだった。もっと普段使いに適したツールがないものかと探していたところ、こういったシーンではTricleがかなり有効だと言うことがわかった。 インストール Debian, Ubuntu なら公式からパ
AWS インスタンス別ネットワーク帯域・InstanceStore IOPS測定 - Qiita
#!/bin/sh INSTANCE_TYPE=$(curl -s http://169.254.169.254/2014-11-05/meta-data/instance-type) yum install fio -y umount /media/ephemeral0 time dd if=/dev/zero of=/dev/xvdb bs=1M sudo mkfs.ext4 /dev/xvdb mount /media/ephemeral0 for i in `seq 0 3`;do time fio -name=random-write \ --output=/home/ec2-user/${INSTANCE_TYPE}-${i}.txt \ -ioengine=libaio \ -rw=randrw \ -rwmixread=0 \ -bs=16k \ -numjobs=16 \
Selecting a NAT Instance Size on EC2 | Azavea
We’ve been using the Amazon Web Services (AWS) Virtual Private Cloud (VPC) functionality to create an isolated and secure hosting environment for our SaaS product, HunchLab. When EC2 servers in a VPC with only private IP addresses need access to S3 (or to the Internet) the network traffic must be routed through a NAT instance. This architecture provides increased security by reducing the externa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - leandromoreira/linux-network-performance-parameters: Learn where some of the network sysctl variables fit into the Linux/Kernel network flow. Translations: 🇷🇺
いまさら聞けないクラウドのアレコレ（6） ～パブリッククラウドの最適設計～
How Far Can You Go With HAProxy and a t2.micro - :HIPSTER_DEV_BLOG