インフラのボトルネックについて知る - ぺい
インフラのボトルネックを理解する コードはもちろん、リリースしてから安定して動かせるように面倒を見るまでが仕事というのが、弊社の開発スタイルなので、そこで最近学んだことについて、文献や自分の実体験からボトルネックに関する考え方をまとめてみた。 CPUボトルネック CPU使用率に対する基本的な考え CPU使用率が80％から90%をずっと推移している！と聞くと、自分のPCの感覚だと、「やばそう」という感覚に陥りますが、インフラにおいての使用率はそうとも限りません。 CPU使用率高い: うまくリソースを使い切っている CPU使用率低い: オーバースペック ただ、高いCPU使用率にも許容出来る度合いがあったりもするので、そこらへんの判断軸などを踏まえて、まとめてみる。 現実世界の例 CPU使用率が高い状態というのは、実世界に置き換えると、店員がみな忙しく働いているという状態です。利用者からすればオ
IPv6がIPv4よりも速い理由:Geekなぺーじ
北米、及びカリブと北大西洋地域のRIR(Reigional Internet Registry)であるARIN(American Registry for Internet Numbers)のブログで、「Why is IPv6 faster? (なぜIPv6の方が速いのか）」という記事が公開されています。この記事に関連する内容は、NANOG 76で「Prisoner of IPv4(IPv4の囚人)」というタイトルで発表されています（動画58分ごろからがPrisoner of IPv4です）。 ARINの記事では、計測によるとIPv6を利用した方がIPv4よりもRTT(Round Trip Time)が短くなる傾向があるとしています。さらに、それによってWebサイトなどの表示速度が上昇することでSEOとしての効果も期待できるので、Googleによる検索エンジンでの順位が上がると書かれていま
IT担当大臣のHPが見えない件（2019/09/13現在） - Qiita
IT担当大臣とは 内閣府特命担当大臣のうち、「科学技術政策」と「宇宙政策」を担当する方ですね。 なんで大臣かって、そりゃポストが・・・ 公式HPが見られないようになっているというご連絡を数多く頂いております。ご心配をおかけし大変申し訳ございません。 現在、https://t.co/Qg0k9lwbiCのドメインを管理している会社からロックがかけられた状態になっておりまして、ただいま復旧作業を進めております。復活までもう少々お待ち下さい。 — 竹本直一 (@NaokazuTakemoto) September 12, 2019 とりあえず whois 叩いてみよう # whois TakemotoNaoKaZu.com Domain Name: TAKEMOTONAOKAZU.COM Registry Domain ID: 14400306_DOMAIN_COM-VRSN Registrar
2015年Webサーバアーキテクチャ序論 - ゆううきブログ
2023年03月31日追記：この記事を基に、@sadnessOjisanさんより、コードレベルにより踏み込んだ、かつ、グリーンスレッドベースの新しいWebサーバアーキテクチャも含めて整理された記事 Webサーバーアーキテクチャ進化論2023 | blog.ojisan.io が公開されました。 主に新卒のWebエンジニア向けに、古典的なWebサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介します。 この辺りの話題がWeb界隈で流行っていたのは数年以上前というイメージですが、Webサービスは相変わらずWebサーバの上で動いているので、流行り廃り関係なく学ぶべき内容だと思っています。 また、HTTP/2がいよいよRFC化し、既にh2oやtrusterdなどのHTTP/2のサーバ実装があり、今後Webサーバアーキテクチャを再訪することが増えるような気がしています。 ところが、We
Google、高速プロトコル「QUIC」をChromeとモバイルのデフォルトに
米Googleは4月17日（現地時間）、TCPに代わる高速ネットワークプロトコル「QUIC」（クイックと読む）を、Googleクライアント（ChromeおよびAndroidアプリ）からGoogleのサーバへのデフォルトプロトコルに移行していくと発表した。 QUICの採用により、TCPよりもページ読み込みが速くなるという。また、輻輳管理と損失回復機能の強化により、特にYouTubeのような動画サービスでは動画再生中の再バッファが従来より30％減るという。 QUICは、Googleが2013年に発表したUDP（User Datagram Protocol）をベースにしたトランスポート層のプロトコル（QUICはQuick UDP Internet Connectionsのアクロニム）。UDPは、TCPにあるような送達確認機能などを省くことで、そうした処理に必要なオーバーヘッドを削減し、遅延を低減
iPhone端末とかのパケットキャプチャ - Qiita
出来るとは聞いていたけど、やってみたら簡単さに感動したのでメモw 詳細は以下に書いてある。 QA1176 Getting a Packet Trace まとめると、以下 Macを用意する Xcode(4.2以降)をインストールする iPhoneやiPadなどの端末(iOS5以降)をMacに接続する iPhoneデバイスの仮想インターフェイス(Remote Virtual Interface)を作成する 仮想インターフェイスをキャプチャする 仮想インターフェイスを破棄する 以下appleサイトからの引用 仮想インターフェイス作成 $ # First get the current list of interfaces. $ ifconfig -l lo0 gif0 stf0 en0 en1 p2p0 fw0 ppp0 utun0 $ # Then run the tool with the
C10K問題の今と未来 - geniee’s tech blog
唐突ですが、一回目の記事を書きます！ 今回は、主にウェブサーバー、具体的にはLinuxのSO_REUSEPORT（プログラミング言語としてはC言語)の話題になります。背景として、弊社では、広告配信がいわゆるネイティブアプリケーションであるため、ウェブサーバーの開発を行っているといったことが挙げられます。そもそも今回の記事を書いたきっかけは、弊社でSO_REUSEPORTを使用し始めており、それについて紹介したいと考えたからです。 特にC10K問題については TheC10kProblem - 「C10K問題」（クライアント1万台問題）とは、ハードウェアの性能上は問題がなくても、あまりにもクライアントの数が多くなるとサーバがパンクする問題のこと が詳しいので今回は説明を省略します。 また、Linux（正確にはKernel 3.9以降）におけるSO_REUSEPORTについては、 或るプログラマ
wrkでunix domain socketなHTTPサーバをベンチマーク - blog.nomadscafe.jp
wrkに無理矢理なpatchをあてて、unix domain socket経由でHTTPサーバをベンチマークできるようにしてみました。 kazeburo/wrk at unixdomain pullreqはしてない。 GazelleやRhebokといったアプリケーションサーバを作っていますが、TCP経由のベンチマークではEphemeral Portの枯渇やTIME WAITの上限にあたってしまい、ベンチマークがしづらいという問題があります。 そこでnginxをreverse proxyとして設置し、nginxとアプリケーションサーバ間をunix domain socketで繋いでベンチマークをとっていましたが、nginxがボトルネックになりやすく、直接アクセスしたいなと考えていたので、やってみました。 これを使ってRhebokとUnicornの “Hello World” ベンチマークを行
[メモ] TCP上（もしくはHTTP）にリトライ可能なアプリケーションプロトコルを実現する方法
HTTP/1.1の持続的接続においては、サーバがリクエストを受け取ったあとに異常終了したのか、リクエストを受け取らずに接続を閉じたのか判別することができない。このため、べき等性の保証がないアプリケーションにおいて、リトライを行うべきか否か自動的に判断できなくなる場合がしばしば発生する注。 リトライ可能か否か（ピアがメッセージの処理を開始した否か）を判別するには、より細かな情報交換を行う別種のプロトコルを採用しても良いが、複雑なプトロコルはパフォーマンスに悪影響を及ぼす可能性が高いので避けたいところである。 というわけで、以下本題。 pipeliningを行わないHTTP/1.1のような単純なリクエスト／レスポンス型プロトコルをそのままに、アプリケーションレイヤへのリクエスト到達可否を判定する手軽な方法としては、SO_LINGERを用いる方法がある。具体的には、以下のような形式でサーバを実装
)
Unix Domain Socket において keep-alive が性能に与える影響 (Gazelle vs Meinheld) - methaneのブログ
id:kazeburo さんが Gazelle という高速な Perl 用の Web アプリケーションサーバーを公開されました。 Gazelle - Plack Handler for performance freaks #yokohamapm from Masahiro Nagano Gazelle の特徴のうち幾つかは、 id:mopemope 作の Meinheld と同じです。 IO周りは全てCで書かれている accept4 や writev などの Linux 独自のシステムコールを利用している 一方で異なる点もあります。 Meinheld は HTTP/1.1 に対応していて、 keep-alive が利用できる。 Meinheld は greenlet というコルーチンを利用して、 long polling や SSE に対応している。 Meinheld が http-pa
本当は楽しいインターネット
この資料は2014年9月14日に開催された「情報科学若手の会2014」における若手特別講演での発表に使用した資料です。Read less
Linuxでネットワークの監視を行えるモニタリングコマンド20選 | 俺的備忘録 〜なんかいろいろ〜
今回は、Linux上でネットワークトラフィックの監視を行えるモニタリングコマンドについて、数あるコマンドから20個を紹介する。 1.iftop 以前にこちらでも書いているiftopは、個別のソケットで受信・送信パケットをひと目で見る事が出来るコマンド。 通信ごとに個別のプロセスを表示させることは出来ないが、どのホストとの接続がどの程度の帯域を使用しているのかはひと目で分かるだろう。 以下のコマンドでインストールが出来る。 sudo apt-get install iftop # Debian/Ubuntuの場合 sudo yum install iftop # RHEL系の場合 2.bmon 『bmon』は、グラフでトラフィックの負荷を表示してくれるモニタリングコマンドだ。 どのNICのトラフィックを表示させるかを上下キー、モニタリングを行うパケットの種類を左右キーで選択する。 このコマン
無線LANを暗号化すればのぞき見されないという誤解
今日のニュースに次のようなものがありました。 無線ＬＡＮのメール丸見え 成田、関西、神戸の３空港 成田、関西、神戸の３空港が提供する無料の公衆無線ＬＡＮサービスでインターネットを利用した場合、送信したメールの宛先や中身、閲覧中のウェブサイトのＵＲＬを他人がのぞき見できる状態になることが２６日、神戸大大学院の森井昌克教授（情報通信工学）の実地調査で確認された。 無線ＬＡＮを暗号化すればのぞき見を防止できるが、パスワードの入力などが必要となり、３空港は利便性を考慮し暗号化していないという。 無線ＬＡＮのメール丸見え 成田、関西、神戸の３空港 - 47NEWS（よんななニュース）より引用 「無線LANを暗号化すればのぞき見を防止できる」というのは、誤解です。 無線LANの暗号化方式には複数あり、WEP, TKIP, CCMP(AES)の3種類が使われています。これらは暗号化の方式を定めただけで、
Amazon EC2(Linux)のネットワーク設定でハマったときに見るメモ | DevelopersIO
ども、大瀧です。 LinuxのEC2インスタンスでちょっと変わったネットワーク設定をしようとすると、思う通りに動かなかったり設定が見えなかったりと、オンプレミスとは雰囲気の異なる振る舞いをすることがあります(本質的にはオンプレミスとなんら変わらないのですが)。自身で経験したケースをメモ書きとして残しておきます。 想定するLinux OS : Amazon Linux, CentOS 6.x, RHEL 6.xなどRed Hat系ディストリビューション /etc/resolv.confを変更したのになぜか元に戻ってしまう DHCPクライアントによるものです。DHCPクライアントは定期的にIPアドレス更新の問い合わせをDHCPサーバーに行いますが、そのときに付随するDNSの情報を元にデフォルトで/etc/resolv.confファイルを上書きします。これを無効にするためにNICの設定ファイル/
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
【linux】【bash】【network】サーバのトラフィックを監視するワンライナー - サイトウさんのサイト
サーバのトラフィックをリアルタイムで監視するワンライナーを書きました。 もしかしたら需要があるかもしれないと考え、晒させていただきます！ 経緯 別ネットワークに存在するサーバ間で、大量のデータを転送したい 回線圧迫を避けるためにrsyncで帯域制限をかけながら転送。でも本当に意図通りの制限がかかっているか不安。 CactiやMRTGではリアルタイム監視できないし… iftopとか入れて使うのもありだけれど、別サーバで需要がある度にインストールするのもな… と悩んで方法を色々探していたのですが、発見できませんでした。 そこで、ひとまず以下の形で落ち着きました。 方法 以下を実行していただければリアルタイムで確認できると思います。( 無理やりなワンライナーであることは気にしないでください。 ) tcコマンドを使って計算しています。 while : ; do _T1=$( /sbin/tc -s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WiresharkでiPhone実機のHTTP通信を覗いてみる
ウェブパフォーマンスの基礎とこれから
ねこでもわかる！ ITインフラ・パフォーマンスチューニング
インフラエンジニアのための次世代プロトコル入門 -
July TechFesta 2014
