はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena
プログラマーが「ネットワーク怪しくない？」と思った時に覚えておくと便利なことまとめ - LIVESENSE ENGINEER BLOG
インフラエンジニアの中西です。 最近プログラマーからこのような話を耳にします。 「ネットワークって難しい/よくわからない」 最近ではAWS,GCPをはじめとするクラウドサービスが充実しているのでWeb界隈のエンジニアはなおさら気にするシーンが少なくなったように思います。 今日は最低限これだけ覚えていたら有事の際にちょっとは役に立ちますよという話が出来たらなと思います。 書式統一のため sudo を省略しています。ご容赦下さい。 コマンド編 ping ping です。疎通確認を行う時のコマンドです。 さすがに分かると聞こえてきそうですね。 例えば、192.168.1.1 というサーバに通信を確認したい場合はこうです。 $ ping 192.168.1.1 繋がる場合はこうなります。 $ ping 192.168.1.1 PING 192.168.1.1 (192.168.1.1): 56 d
最強のSSH踏み台設定 - Qiita
追記：openssh-7.3 以降なら ProxyJump や -J が使えます ホスト名を + で繋げることで多段Proxy接続も簡単に、がコンセプトだった本エントリの設定ですが、OpenSSH 7.3 から ProxyJump という設定が使えるようになったので、使えるなら ProxyJump を使う方が健全だし柔軟で使い勝手も良いのでそちらを覚えて帰ることをオススメします。 使い方は簡単で以下のような感じです。多段も行けるし、踏み台ホスト毎にユーザ名やポート番号を変えることも出来ます。 # 1. bastion.example.jp -> internal.example.jp ssh -J bastion.example.jp internal.example.jp # 2. bastion.example.jp -> internal.example.jp -> super-de
LAN内で利用されているIPアドレスを調べる『arp-scan』コマンド | 俺的備忘録 〜なんかいろいろ〜
あまり知らない環境で作業をする際、LAN内で稼働しているマシンの一覧が欲しくなる事もあるだろう。 そんなときに便利なのが、今回紹介する『arp-scan』コマンドだ。 このコマンドを実行することで、同じネットワークに所属して動作しているマシンのIPアドレスとMACアドレスの一覧を取得することができる。 1.インストール まずはインストールから。 インターネットに接続している環境であれば、以下のコマンドを実行するだけだ。 Debian/Ubuntuの場合 apt-get install arp-scan RHEL系の場合 yum install arp-scan ソースからコンパイルする場合は、前提となるpcapなどをインストールした上で、以下のようにコマンドを実行する。 git clone https://github.com/royhills/arp-scan.git cd arp-sc
Linuxのpingコマンドで覚えておきたい使い方16個(+2個) | 俺的備忘録 〜なんかいろいろ〜
仕事でLinuxを利用していれば、必ずやお世話になるであろうpingコマンド。 しかし、大体の人はなんとなく使っていないだろうか？今回は、そんなpingコマンドで覚えておきたい使い方についてを紹介する。 1.基本的な使い方 まずは基本的な使い方…といっても、大体の人はわかるだろう。 以下のようにコマンドを実行する事で、相手先のホストが疎通可能な状態かを確認する。 ping 相手先のホスト名(IPアドレス) test@ubuntu-server:~$ ping 192.168.0.1 PING 192.168.0.1 (192.168.0.1) 56(84) bytes of data. 64 bytes from 192.168.0.1: icmp_seq=1 ttl=255 time=0.574 ms 64 bytes from 192.168.0.1: icmp_seq=2 ttl=2
68user's page
UNIX/Linux の部屋 に、bash の内部コマンド select コマンド を追加しました。メニュー形式の選択肢を提示し、ユーザに選ばせることができるコマンドです。
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
【初心者向け】各OSのTCP通信チェックコマンド入門 | DevelopersIO
最新版は以下となります。 https://dev.classmethod.jp/etc/ec2-tcp-port-check-command-2018/ こんにちはコカコーラ好きの梶です。 EC2では色々なOSが構築できますよね。構築後の通信確認はどのように実施してますか？ 各OSで他のインスタンスへTCP通信確認のために、ツールをインストールしたり、ICMPなどの別なプロトコルで確認するためにSecurity Groupを一時解放していませんか？ 構築直後の状態で、簡単にTCPポート疎通確認可能なコマンドをご紹介します。 Amazon Linux,Ubuntu,Windows2012R2,CentOSについて自分も忘れやすいのでまとめてみました。 どなたかのお役に立てれば幸いです。 Amazon Linux 動作確認AMI:amzn-ami-hvm-2014.09.2.x86_64-eb
あのホストまでの経路や通信ボトルネックを調べるには？ tracerouteコマンド
あのホストまでの経路や通信ボトルネックを調べるには？ tracerouteコマンド：ネットワーク管理の基本Tips 目的のホストまでIPパケットがどのような経路で転送されていくかを確認したい場合や、通信経路に問題がないかどうかを調べたい場合は、「traceroute」コマンドが役立ちます。tracerouteはTCP/IPネットワークのトラブルシューティングにおける基本ツールの一つです。 連載バックナンバー 本連載では、ネットワーク管理の基本コマンドを順を追って紹介していきます。基本書式と用法、主要なオプション、用例サンプルを示しますので、manやhelp代わりに通読し、各コマンドでできることを順次おさらいしてみてください。今回はIPネットワークの経路情報を確認する際に利用する基本コマンド「traceroute」を見ていきます。 なお、本連載では、執筆時点の最新版Red Hat Enter
LinuxでL4のロードバランサを簡単に作る手順 - Qiita
ロードバランサは高いので、Linuxで比較的簡単にL4の負荷分散を行えるLVSは使いドコロが色々あり結構便利。 久々に作った時のメモがわりとして、今回は、LVSの構築手順と簡単なテスト結果を順に書いてみた。 構成 ちょっと特殊な要件があり、負荷分散行うLVSも実際にレスポンス返すアプリも同じ筐体で動かしたいという前提で作った。 ※最初の投稿だと、同一筐体で動かした時にBACKUP STATEのLVSがARP応答する設定になっていたので、加筆！ LVS単体サーバとしても下記の手順で同じように作れる サーバはaa,bbの2台(vagrant上の仮想マシンとした) 同じ役割を持つサーバaa,bbをLVSを使って負荷分散したい LVS自身も冗長構成にして、aa,bbにやらせたい リクエスト元は、同一セグメントなのでDSR(Direct Server Return)を使う ※NATは、戻す時に直接L
IPアドレスを指定してMACアドレスを調べるには？ arpingコマンド
IPアドレスを指定してMACアドレスを調べるには？ arpingコマンド：ネットワーク管理の基本Tips IPアドレスからMACアドレスを確認したい場合は、「arping」コマンドを利用できます。IPアドレスとMACアドレスのひも付けがどのようであるかも確認できます。 連載バックナンバー 本連載では、ネットワーク管理の基本コマンドを順を追って紹介していきます。基本書式と用法、主要なオプション、用例サンプルを示しますので、manやhelp代わりに通読し、各コマンドでできることを順次おさらいしてみてください。ネットワーク機器の存在を確認する際の基本コマンド「ping」は以前紹介しましたが、今回は、MACアドレスとIPアドレスの組み合わせでノードの存在確認を行う「arping」コマンドを紹介します。 なお、本連載では、執筆時点の最新版Red Hat Enterprise Linux（RHEL）お
iptablesの設定内容確認と設定例
これを実行すると現状のフィルタリングルールを確認することができ、下記のように表示されると思います。(下記の表示結果はubuntu12.04の場合です) Chain INPUT (policy ACCEPT 0 packets, 0 bytes) target port opt source destination Chain FORWARD (policy ACCEPT 0 packets, 0 bytes) target port opt source destination Chain OUTPUT (policy ACCEPT 0 packets, 0 bytes) target port opt source destination
mTCP使ってみた
mTCP enables high-performance userspace TCP/IP stacks by bypassing the kernel and reducing system call overhead. It was shown to achieve up to 25x higher throughput than Linux for short flows. The document discusses porting the iperf benchmark to use mTCP, which required only minor changes. Performance tests found that mTCP-ified iperf achieved similar throughput as Linux iperf for different packe
digコマンドやdrillコマンドの使い方を教えてください
digコマンドとdrillコマンドの出力は、それぞれ以下のようになる。バージョン情報の出力有無や、空行によるセクション区切りの有無の差があるが、基本的に同様のフォーマットとなっている。なお、下記の例では権威DNSサーバーの設定状況を直接確認しているため、非再帰検索を示す“+norec”（digコマンドの場合）や“-o rd”（drillコマンドの場合）オプションを付けていることに注意されたい。 % dig +norec @ns1.jprs.co.jpjprs.co.jp mx ; <<>> DiG 9.10.1 <<>> +norec @ns1.jprs.co.jpjprs.co.jp mx ; (2 servers found) ;; global options: +cmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NO
第20回 いろいろなキャッシュ：dnsmasq, cache proxy | gihyo.jp
Ubuntuを利用していく上で、一時的なデータをキャッシュすることで体感速度や利便性を向上させることができます。今回はターミナルからの設定に慣れることも兼ねて、キャッシュ関連の設定を行うレシピを紹介します。 preloadの利用 第8回で紹介したpreloadも一種のキャッシュです。詳細な使い方は第8回を参照してください。 DNSのキャッシュ――dnsmasqを使う Webブラウザなどを用いてインターネットアクセスを行う場合、システム側では暗黙でDNS解決を行い、ホスト名からIPアドレスを取得しています。Windowsでは暗黙で、Mac OS XではlookupdがDNS解決の結果をキャッシュしていますが、Linuxではキャッシュを行わず、都度DNSサーバへ問い合わせを行ってしまいます。 ローカルでdnsmasqというDNSサーバを稼働させることで、これらのキャッシュと同等の処理を行わせよ
ipコマンドとnetnsでお手軽なテストクライアント作成 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2014の9日目の記事です。 ネットワークを使う機能でなにかしらテストしたいときに複数のクライアントが欲しい時がありますよね。大量アクセスをしたい場合はjmeterとかありますが、クライアントのIPアドレスも複数あったほうが良いケースもあると思います。kvm等でクライアントを複数作ってbridgeするという方法もありますが、それはちょっと重量級なのでもうちょい手軽な方法がないかなーというところです。 そこでお手軽な方法はなにかというところでネットワークネームスペース（netns）を使って見たいと思います。 ネットワークネームスペースとはなんぞや？という方はten_forwardさんがgihyo.jpで連載している「LXCで学ぶコンテナ入門 －軽量仮想化環境を実現する技術」の「第6回 Linuxカーネルのコンテナ機能［5］ ─ネットワーク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: Linuxの教科書―ホントに読んでほしいroot入門講座 (IDGムックシリーズ): 高町健一郎, 大津真, 佐藤竜一, 小林峰子, 安田幸弘: 本
「192.168.0.100/24」のネットワークアドレスを即答するには？ ipcalcコマンド
ネットワークデバイスを設定／状態確認するには？ ifconfigコマンド
gihyo.jp インフラエンジニア情報局
