RubyKaigi 2017 で Wi-Fi を吹いてきた #rubykaigi
2010 年から参加している RubyKaigi にとうとう 2017 ではスタッフとして参加してきた。今回は広島国際会議場で Wi-Fi を吹くという仕事をしてました。 https://rubykaigi.org/2017/ まず始めに、1 〜 2 日目の不安定さについて非常に申し訳なかった。だいたいわたしが悪いので悔しさしかない。ただ、3 日目は快調だったようでなによりでした。 本稿ではその裏側についてログを兼ねて書き残しておこうと思っています。 資料や設定集など GitHub repo Itamae レシピやネットワーク機器設定を置いておきますね。 https://github.com/sorah/rubykaigi2017-nw 今回から利用するドメイン名などを変数にくくりだしたりして他での使い回しがしやすくなっている…はず。 Grafana Public Snapshot 全体的
インターネットは日々壊れている:Geekなぺーじ
「壊れやすくて粘り強い」というのは、私がインターネットに対して持っているイメージです。 絶対に壊れないことを目指すのではなく、ある程度は部分的に壊れることを前提にしてある、また、ゆるさやいい加減さが逆に全体としての壊れにくさを実現しており、全体としては粘り強くなっている、という意味合いです。 絶対に壊れないシステムを目指して、細かい部分的な障害や不具合を許容しないシステムを設計してしまうと、部分的には壊れなくても、障害のレベルがある一定の閾値を超えた時点で全体として動作不能になる可能性があります。 「部分的に壊れることを許さないもの」を目指してしまうと、できるだけ耐えるけど、耐えきれなくなったら全部一気に崩壊するというモデルになってしまいがちなのです。 今の日本では、インターネットは非常に安く、高速で、いつでも使える社会基盤となりました。 その社会基盤が「壊れる」ことなんて想像できないとい
CDNとの付き合い方 – cat /dev/random > /dev/null &
最近何かと話題なCDNですが、そもそもCDNってなんだろう・・・どんなことに使えるんだろう？的なことを書いてみようと思います。 一応先に言っておくと、私はCDN業者に所属したことないのであくまでも利用者として見た時の話を書きます。 また、私の考えであり、様々なワークロードがあるなかでこれがすべてではありませんので、こんな考えもあるんだなぁぐらいに思ってもらえると助かります。 そもそもCDNってなんだろうか そもそもCDNはContent Delivery Networkの略であってCache Delivery Networkの略ではありません。 要はコンテンツをクライアントに対して高速・効率的に配信するためのネットワークです。 良くCDNといえばその成り立ちからキャッシュというイメージはありますが、重要な要素の一つではあるもののCDNの全てではありません。 さらに言えばAkamaiのInt
TIME_WAITに関する話
3. 自己紹介 - まぁまぁ MySQL でご飯食べてます - 一時期は Resource Monitoring や KVS にも 力入れてました - ネットワーク的には素人です - Linuxとハードウェアは嗜む程度 - disk I/O にはむかしから興味あります - その他 slideshare はこちら - http://www.slideshare.net/takanorisejima/ 4. 本日のお題 - kernel 新しくしたりすると、TCP的に意識したほ うが良い変化が見つかるので - 今日は、Webアプリケーションサーバの観点か ら、 connect(2) する際に気になる TIME_WAIT について、書いてみようかと思います - 有識者からのマサカリを、強く歓迎いたします 5. 最初に参考資料 - この二つの記事を読んでいただけば、それで概 ね良いと思うんですが
TCP Fast Openの闇と、Kernelの緩和コミット - ASnoKaze blog
TCP Fast Open TCP Fast Openと呼ばれる技術があり、RFC 7413として標準化されている。 このTCP Fast Openを使うと、一度コネクションを貼った相手とは、TCPの3ウェイハンドシェイク中にデータを送受信できるようになる。クライアントからSYNとともにデータを送信することで、実際にデータを送受信開始するまでの待ち時間が短縮できる。 Linuxではすでにクライアント/サーバ両方でTCP Fast Openを使用できる。 TCP Fast Openの闇 しかし、数年前よりこのTCP Fast Openには一部のネットワークで奇妙な振る舞いをすることが知られている。Appleの人が実際にデプロイした時に見つけたもので、IETFやNANOGにて報告されており、その時の資料は下記のとおりである Deploying TCP Fast Open in the wild
高速にリモートホストのポートがListenしているかを調べる - 人間とウェブの未来
hb.matsumoto-r.jp 以下のエントリは一部誤認が含まれていたので、上記エントリにその旨をまとめましたので御覧ください。 とある事情でミドルウェア上から高速にリモートホストのポートのListenチェックをしたくなりました。ローカルホストのポートであれば、/procやnetlinkなどを使って素早くチェックする方法がありますが、今回は対象がリモートホストなのでソケットでなんとかする必要があります。 そこで、誰もがまず思いつくのは、connect()システムコールによってリモートホストのポートに接続しにいって、connectできればOK、できなければNGと判定する方法があり得るでしょう。（高負荷時に接続できないパターンはListenしていないと判定してよい） そこで一旦、最低限socket()システムコールとconnect()システムコールで接続する時のパケットをtcpdumpで眺
LinuxのARPとL2スイッチのお話 - masayoshiの日記
この記事は、はてなエンジニアアドベントカレンダー2016の12月19日の記事です。 developer.hatenastaff.com 昨日はid:taketo957くんの 10ms以下のレスポンスタイムを支える継続的負荷テスト - taketo957の日記 でした！ Webオペレーションエンジニアのid:masayoshiです。 2016年に入社後、基盤チームとして仮想化、ネットワーク周りを中心に見ています。 さて、この記事ではLinuxのARPの挙動とその挙動から起こった問題を紹介しようと思います。 長々と記事を読みたくない人向けに結論をまとめるとLinuxのARPはTCP通信で使われ続ける限りキャッシュが飛ばないという挙動になるので、複数のL2スイッチにまたがったセグメントや非対称ルーティングをしている場合は気をつけましょうという話が書かれています。 今回紹介する事例自体は別に新規性
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
www.twitch.tvの名前が引けない、もしくはチェックサムが0x0000のUDPパケットの件のまとめ - （ひ）メモ
先に原因を書いておくと、 チェックサムが 0x0000 のUDPパケットが戻ってくると、自分の環境では「どこか」で再計算された誤ったチェックサムが付与され、チェックサムが合わないのでユーザーランドに届く前に破棄されていました。 以下、詳しく。 ことの始まりは、自宅でtwitchでSplatoon（先日ようやくSになりました！）の動画配信を見ようとしたのですがアクセスできないのに気づいたことでした。 ブラウザに表示されるエラーメッセージからして名前が引けないようなので、digで試してみたら引けませんでした。(10.6.25.2は宅内のキャッシュサーバー(djbdns)) $ dig www.twitch.tv @10.6.25.2 (しばらくだんまり) ; <<>> DiG 9.9.5-3ubuntu0.7-Ubuntu <<>> www.twitch.tv @10.6.25.2 ;; gl
【実録】WordPressの怪しい挙動をlsofとstraceコマンドで調査する方法 | DevelopersIO
はじめに こんにちは植木和樹＠上越妙高オフィスです。 利用しているEC2を踏み台にした外部への攻撃が行われていると、攻撃先のサーバー管理者からAWS宛に不正利用報告（Abuse）が送られる場合があります。AWSでは報告を受けて、そのサーバー（IPアドレス）の利用者宛に警告メール（Abuse Report）で通知します。 今回、とあるAbuse Reportが届いた際の攻撃手段の調査をメモしたので、主に有用だったlsofとstraceコマンドの使い方についてまとめました。 EC2マネージメントコンソールで状態を確認する まず確認するのはマネージメントコンソールです。AWSから通知のあったIPアドレス（Elastic IP）から、EC2インスタンスを特定します。 次に各種CloudWatchのメトリクスを確認します。外部への攻撃を行われるとNetwork Outが極端に高くなる傾向があります。
Linux ネットワークパフォーマンスの機能強化 - Qiita
ソフトウェア割り込みが偏る？ Linuxを利用していて、ネットワーク負荷が高いサーバを運用していると、特定のCPU負荷が高くなっている事があるのですが、そのようなケースを経験されたことはないでしょうか？ topでみると特定CPU(topを起動して1を押すとCPU単位で確認できる)の%si(software interrupt)がやたら高くなっている場合、それはネットワークの負荷が原因かも知れません。(実際のtopを貼り付けたかったのですが、持ち合わせがなかった・・・。)何も設定していない場合はネットワークの割り込みは特定のCPUで行われるため、ネットワークの割り込みに関連づいたCPUの%siが高くなります。ソフトウェア割り込みを確認するには、/proc/interruptsを確認しましょう。 # cat /proc/interrupts CPU0 CPU1 CPU2 CPU3 0: 129
HTTP/2でも初めてみます？
デブサミ2016登壇資料。サーバ技術の評価軸、HTTP/2、サーバプッシュ、HTTPS化の負荷、Brotli、サーバ内スクリプティングを俯瞰
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
ヤフーの画像配信システム（CDN）の紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog システム統括本部プラットフォーム開発本部の新部（@osa2be）です。 CDNの運用を担当しています。 先日、知り合いの技術者と話していてヤフーのバックエンドがどうなっているのか興味があると聞かれましたので、社内にいくつかあるCDNのうち2つとIDCフロンティアのサービスをご紹介します。 はじめに ヤフーには多くのサービスが存在していますが、様々な理由により突発的にリクエストが増加することがあります。 そのようなリクエストに対応するためにサービスごとに大きな配信システムを持つことは、インフラの準備や運用工数など高いコストが必要になります。 そのため、共通のCDNを準備して各サービスのサーバ負荷を平滑化しています。 以前は、社外のC
「さくらのクラウド」を例に見るネットワーク仮想化の設計と実装
さくらインターネット研究所の大久保です。 先日、株式会社ハートビーツさんが主催されている勉強会、hbstudy#27にて弊社クラウドサービスのネットワーク構成について発表を行いましたので、そのご報告です。 今年11月中旬に石狩データセンターの開所にあわせてクラウドサービス（さくらのクラウド）をリリース予定です。 そのネットワークの構築を私の方で担当しており、こちらの勉強会では、ネットワーク全体のアーキテクチャ、ネットワーク機器評価試験の際にはまりやすい（はまった）ポイント、今後の展開について説明をさせていただきました。 発表資料を以下にアップしておりますので、ご興味がありましたらご覧いただければと思います。 → 発表資料：「さくらのクラウド」を例に見るネットワーク仮想化の設計と実装
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
非推奨になったネットワークコマンド養成ギプス : sonots:blog
