NEG とは何か
はじめにNEG (Network Endpoint Group) というと Container-native Load Balancing の文脈で話されることが多く、パフォーマンスを向上させるためのものという認識が強いと思います。もちろん結果としてパフォーマンス向上が見込まれる場面もあると思いますが、それと同じく個人的に重要だと思うのが、NEG には Kubernetes の世界とその外のプラットフォーム (GCP) を繋ぐ大事な役割があるという点です。 本記事では NEG とは何か、なぜ重要なのかというのを一から説明したいと思います。 尚、NEG には大きく分けて Zonal NEG と Internet NEG という2種類がありますが、本記事では Zonal NEG に絞って記載します。また Zonal NEG は VM を表すものとしても使えますが、ここでは GKE の文脈に絞っ
socat
dest-unreach / socat socat - Multipurpose relay Abstract what: "netcat++" (extended design, new implementation) OS: AIX, BSD, Linux, Solaris e.a. (UNIX) lic: GPL2 inst: tar x...; ./configure; make; make install doc: README; socat.html, socat.1 ui: command line exa: socat TCP6-LISTEN:8080,reuseaddr,fork PROXY:proxy:www.domain.com:80 keyw: tcp, udp, ipv6, raw ip, unix-socket, pty, pipe, listen, sock
curl を使って Web API をテストする(2)
curl を使って Web API をテストする(2) 2014/7/7 2015/1/29 Linux, UNIX一般, Web 前回は Web APIをテストする時によく使う curl のオプションについて解説しました。 * [curl を使って Web API をテストする(1)](http://lovepeers.org/2014/06/30/curl-web-api/) 今回はよく使うシチュエーションをいくつか挙げて、curl の具体的な使い方を解説します。 ## GETリクエストを送信 一番基本的なGETリクエスト送信。 リダイレクトが発生することを考慮して、”-L” オプションを付けておくと良いでしょう。 curl -L http://api.examples.com/ レスポンスヘッダも見たい時は、”-i” オプションを付けます。 curl -i -L http://api
AWSのセキュリティグループにセキュリティグループを指定した時の落とし穴 - Qiita
※ ○：適用される/ ×：適用されない Details 前提 AWS で EC2 インスタンスを起動すると PublicIP/PublicDNS/PrivateIP がふられる。 PublicIP インターネット（外部）に公開されてるIP。例）54.123.456.78 PublicDNS DNSに登録されるホスト名。例）ec2-54-123-456-78.region.compute.amazonaws.com PrivateIP AWSのネットワーク内のみで使えるIP。例） 172.17.123.45 異なるリージョン間では、PrivateIPは使えない。名前解決するとプライベートIP出てくるけど。そんなの関係ない。 きっかけ EC2のセキュリティグループ設定を、必要最低限のネットワークに限定したい。 セキュリティグループにはIPアドレスも指定できますが、基本的に冗長構成組んでるとサー
Google Compute Engine、全世界のリージョンが同時に外部とのネットワーク接続を失うという深刻な障害が発生。ネットワーク管理ソフトウェアにバグ
Google Compute Engine、全世界のリージョンが同時に外部とのネットワーク接続を失うという深刻な障害が発生。ネットワーク管理ソフトウェアにバグ クラウドのどこかで障害や災害が発生したとしても、その影響はアベイラビリティゾーンを超えることはなく、そのために複数のアベイラビリティゾーン（Google Compute Engineでは「ゾーン」）にシステムを分散して配置することで、クラウドの障害の影響を受けない高い可用性を備えたシステム構築ができる。これはクラウド（IaaS）に対応したシステム構築におけるもっとも基本的な考え方です。 しかし先週、2016年4月11日にGoogle Compute Engineで発生した通信障害は、アベイラビリティゾーンどころかリージョンの境界も越え、世界中にあるすべてのリージョンのインスタンスが同時に外部とのネットワーク接続を18分間に渡って失う
listen()のbacklogが不足した際のTCP_DEFER_ACCEPTの動作について - blog.nomadscafe.jp
TCP_DEFER_ACCEPTは、LinuxでサポートされているTCPのオプションで、サーバ側で使用した場合にはaccept(2)からのブロック解除をTCP接続が完了したタイミングではなく最初のデータが到着したタイミングで行ってくれるオプションです。 Webサーバ・アプリケーションサーバではリクエストが到着してからaccept(2)のブロックを解除するので、リクエストの到着をWebサーバ・アプリケーションサーバで待つ必要がなくなり、特にprefork型のサーバでは効率的にプロセスを使えるようになるという利点があります。PerlではStarletがこの機能を有効にしています ところが、某サービスでTCP_DEFER_ACCEPTが有効にも関わらず、accept後のreadでデータが読めず、最悪の場合、デフォルトのtimeoutである5分間プロセスがストールすることがありました。strace
syncookiesとListenバックログとパケットロスト
たまにはLinuxネタを。 Listenバックログは、伝統的なUNIXの実装だと、SYN_RCVDとESTABLISHEDの両方のソケット数を数えますが、LinuxのそれはESTABLISHEDな状態の数だけを数えるようになっています(manを見よ)。 これは何でかというと、いわゆるSYN Flooding攻撃への対応として、Linuxはsyncookieを実装したことの副作用なのだと思います。syncookieを実装していると、SYNに対してSYN_ACK(COOKIE)を返すコストがほぼゼロ（メモリコストとしては）になるので、来たSYNにすべてSYN+ACKを返すことが可能です。 したがって、SYN_RCVDの数は数えても意味がなくなったので、それはListenバックログの数としてカウントしないようにした、ということのようです（厳密に言うと、tcp_max_syn_backlog個まで
TCP Fast Open – Webを速くするためにGoogleがやっていること Make the Web Faster 4 –
TCP Fast Open – Webを速くするためにGoogleがやっていること Make the Web Faster 4 – Jxck HTTPは、その下層にあたるトランスポートレイヤーのプロトコルとして、通常TCPを使用します。 したがって、TCPのレイヤで速度が改善することは、そのままWebの高速化につながる可能性があるといえます。 GoogleはWebを速くするための活動として、TCPのようなプロトコルレイヤの改善にも取り組んでいます。 今回はその中の一つ、TCP Fast Openを取り上げ、解説と動作検証、簡単なベンチマークを行います。 検証環境等は最下部に記載します. Make the Web Faster: TCP Fast Open 3 Way Handshake TCPは、「正確、確実にデータを届ける」ことを重視した設計になっています。 特に接続確立時には、双方の状
AWS インスタンス別ネットワーク帯域・InstanceStore IOPS測定 - Qiita
#!/bin/sh INSTANCE_TYPE=$(curl -s http://169.254.169.254/2014-11-05/meta-data/instance-type) yum install fio -y umount /media/ephemeral0 time dd if=/dev/zero of=/dev/xvdb bs=1M sudo mkfs.ext4 /dev/xvdb mount /media/ephemeral0 for i in `seq 0 3`;do time fio -name=random-write \ --output=/home/ec2-user/${INSTANCE_TYPE}-${i}.txt \ -ioengine=libaio \ -rw=randrw \ -rwmixread=0 \ -bs=16k \ -numjobs=16 \
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
SPDY - Wikipedia
SPDY（スピーディー[1]）は、Google が提唱している World Wide Web の通信プロトコル。HTTP/2 の起草となった。最後のバージョンはSPDY Protocol - Draft 3.1[2]。SPDY は 3.1 が最後のバージョンとなり、SPDY/4 は HTTP/2 に吸収された。 HTTPを基にして高速化を行ったプロトコルである。TLS接続の上にセッション層を追加し、単一のSPDYセッションで複数のリクエストを送受信する。さらに、ブラウザがページを表示する際、付随するデータの先読みを行う機能も追加している。セキュリティ機能も強化する。プロトコル的にはTLSの拡張仕様の一つであるApplication-Layer Protocol Negotiation (ALPN) をベースにしているため、HTTPSを使っての通信が必須である。 2015年現在は、独立したプ
Netty: Home
Netty is an asynchronous event-driven network application framework for rapid development of maintainable high performance protocol servers & clients. Netty is an NIO client server framework which enables quick and easy development of network applications such as protocol servers and clients. It greatly simplifies and streamlines network programming such as TCP and UDP socket server. 'Quick and ea
ハッキングされたTV局がパスワードを書いた付箋を堂々と放送していたことが判明
2015年4月8日にサイバーテロ攻撃を受けて放送中断に追い込まれたフランスの「TV5MONDE」が、テロ攻撃翌日の放送で、SNSアカウントのパスワードを書いた付箋を映し出して視聴者に解読されたことが判明。ずさんなパスワード管理の実態が明らかになっています。 Hacked French network exposed its own passwords during TV interview | Ars Technica http://arstechnica.com/security/2015/04/hacked-french-network-exposed-its-own-passwords-during-tv-interview/ TV5MONDE - TV5MONDEサイバー攻撃について フランスのTV放送局であるTV5MONDEの11チャンネルの放送が8日にサイバー攻撃を受け、放送で
500マイル以上離れた場所にメールが送れないのだが
http://web.mit.edu/jemorris/humor/500-miles From: Trey Harris <trey@sage.org> 今から私が書く話は、起こりようのない問題についてだ。この話を広く一般に公開してしまうのは惜しい。というのも、いい酒の話のネタになるからだ。この物語は、退屈な詳細や問題を隠すために、多少事実を変えていて、物語を面白く脚色している。 数年前、私はキャンパスのメールシステムを保守する仕事をしていて、統計学部の学部長から電話を受けた。 「大学の外にメールを送るのに不具合が発生しているのだが」 「どんな問題でしょう？」と私はたずねた。 「500マイル以上メールを送れないのだよ」と学部長は説明した。 私はラテを吹き出した。「何だって？」 「ここから500マイル以上離れた場所にメールを送信できないのだよ」と学部長は繰り返した。「実際は、もう少しあるの
Web広告配信における多腕バンディット問題、Mortal Multi-Armed Bandits Problemとアルゴリズム - CARTA TECH BLOG
こんにちは@hagino3000です。Zucks Ad Networkという広告配信サービスの開発をしています。最近はアドネットワークの広告配信最適化に利用できるアルゴリズムの調査もしています。 本稿では調査で読んだ論文の一つ、オンライン広告配信を想定した多腕バンディット問題である、Mortal Multi-Armed Banditsを紹介します。多腕バンディット問題になじみがある読者を想定しています。 papers.nips.cc オンライン広告と多腕バンディット問題 ここでは簡単のために、クリック課金型のディスプレイ広告を前提に説明します。オンライン広告配信システムにおける問題として「最初はどの広告がどれだけクリックされるかわからないが、なるべくクリックされる広告を多く配信したい。」という物があります。これは多腕バンディット問題として知られており、探索はCTRが推定できるまで配信する事
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
高木浩光＠自宅の日記
■ Claude 3による解説：「不適正利用禁止」規定は立案段階で内閣法制局にどう捻じ曲げられたか 昨日の日記「「不適正利用禁止」規定は立案段階で内閣法制局にどう捻じ曲げられたか」だが、おそらく「長すぎて読めない」という声が多そうなので、Claude 3に原稿を読ませて簡単に解説してもらった。これで興味が湧いたら原文を見てほしい。 Claude：はい、この文書の意味はよく理解できます。これは、個人情報保護法の2020年改正（令和2年改正）で新設された「不適正利用禁止」規定（第19条）がどのように立案されたかについて、情報公開請求で開示された内閣法制局審査資料を基に詳細に解説したブログ記事の原稿です。 主な内容は以下の通りです： 当初、個人情報保護委員会事務局は、プロファイリングなどの新技術に対応するため、「適正な利用」義務を新設しようとしていた。 しかし、内閣法制局との審査過程で、規範の明
【AWS】VPC環境構築ノウハウ社内資料 2014年4月版 | DevelopersIO
よく訓練されたApple信者、都元です。 以前、【AWS】VPC環境の作成ノウハウをまとめた社内向け資料を公開してみるという記事を書きましたが、そこから半年経ち、状況も変わって来ましたのでアップデートを行いたいと思います。 以前のエントリーを読んだ方は、忙しい場合は下記の「2013年10月版からのアップデート」だけを読むといいかもしません。 VPCを利用する理由 AWSは、あらゆる規模のプロジェクトに対応するインフラを提供しています。前述のサーバ数千台規模のプロジェクトしかり、1台構成しかり。大規模プロジェクトであれば当然、オンプレミスと同様にネットワークインフラについての設計を綿密に行う必要がありますが、では、中小規模のプロジェクトにおいてはネットワークの設計をする必要はないのでしょうか。 AWSでは、VPCという「ネットワーク環境」を構築するサービスを提供しています。しかもVPCの利用
HTTP/2の現状とこれから
The document discusses graph databases and their properties. Graph databases are structured to store graph-based data by using nodes and edges to represent entities and their relationships. They are well-suited for applications with complex relationships between entities that can be modeled as graphs, such as social networks. Key graph database technologies mentioned include Neo4j, OrientDB, and T
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://linux.mini13i.com/?kernel%2F%A5%B7%A5%B9%A5%C6%A5%E0%A5%D1%A5%E9%A5%E1%A5%BF