Trickleを使って帯域制限をする - aptheia.info
ネットワーク経由で大量のデータをやりとりしたいが、メインのサービスには影響を与えたくないという場合がよくある。rsyncやscp など、大きなファイルの転送を考慮されたコマンドではネットワーク帯域を制限するオプションが用意されていることも多いが、自作のツールなどに帯域制限を実装するとなるとかなり面倒くさいことになる。 Linux で帯域制限をしたい場合、tc や cgroup を使う方法がよく知られている。ただ、「あるコマンドにネットワークが占領されないように穏やかに実行したい」というニーズに対しては大げさで、またオプションが難解だったり管理権限が必要だったりといったことから二の足を踏む感じのものだった。もっと普段使いに適したツールがないものかと探していたところ、こういったシーンではTricleがかなり有効だと言うことがわかった。 インストール Debian, Ubuntu なら公式からパ
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
SSHの多重接続について
tl;dr デプロイツールによっては 同じサーバに SSH で何回もコマンドを実行することがある(ansible とか)。 コマンドごとに毎回コネクション(トンネル)を確立するとオーバーヘッドも大きくなる。 OpenSSH は $HOME/.ssh/config に次の設定を書くことで、接続を多重化(multiplex)することができる。 # $HOME/.ssh/config Host machine1 HostName machine1.example.org ControlPath ~/.ssh/controlmasters/%r@%h:%p ControlMaster auto ControlPersist 1h multiplex 前後の速度差 SSH を使ってリモートサーバで echo コマンドを実行した時の速度差を計測 before multiplex $ time ssh
よくわかるLinux帯域制限 | GREE Engineering
矢口です。 みなさんはLinuxのtcという機能をご存知でしょうか。送信するパケットの帯域制御を行うことができる大変強力な機能で、グリーでもいくつかの用途で使用されています。 具体的な事例の一つはRedisです。Redisではreplicationを新規に開始する際やfailoverが発生しmasterが切り替わった際(特に2.6系)にストアされている全データが転送されます。しかし帯域制限をかける機能がないため、ネットワーク帯域を圧迫してしまう危険性があります。また通常のクライアントとの通信でも大量のクエリにより予想以上の帯域を使用してしまう可能性があります。このような場合にtcを用いることでRedisの使用する帯域をコントロールできます。 このように有用なtcですが残念なことに日本語/英語ともにわかりやすい解説や詳細な情報は多くありません。 私も社内において使われていたtcの設定に問題が
18 Commands to Monitor Network Bandwidth on Linux server
Network monitoring on Linux This post mentions some linux command line tools that can be used to monitor the network usage. These tools monitor the traffic flowing through network interfaces and measure the speed at which data is currently being transferred. Incoming and outgoing traffic is shown separately. Some of the commands, show the bandwidth used by individual processes. This makes it easy
Linux: ifconfig, netstat を iproute2 (ip, ss) コマンドラインに変換 - 拡張 POSIX シェルスクリプト Advent Calendar 2013 - ダメ出し Blog
Linux: ifconfig, netstat を iproute2 (ip, ss) コマンドラインに変換 - 拡張 POSIX シェルスクリプト Advent Calendar 2013 - ダメ出し Blog 拡張 POSIX シェルスクリプト Advent Calendar 2013、23日目の記事です。 ネタの在庫はともかく、書く気力がありません。 いくつかの記事がそれなりにうけたこともあり、頭が満足してしまったようです。 https://twitter.com/satoh_fumiyasu/status/415045480477765633 燃え尽きたぜ．．．真っ白に、 真っ白な灰に．．． (Advent Calendar 書けない 仕方ないので、過去に作成した bash スクリプト作品を紹介する内容で誤魔化します。 すみません。Linux 向けの話です。 Linux のネッ
第4回 SNMPとv3セキュリティ
ネットワークやハードウェアの異常予兆は、日ごろの監視があってこそ把握することが可能だ。モニタリングプロトコルのSNMPは、多くの機器で採用されている基本的なものの一つだ。 第3回目の連載では、Net-SNMPに含まれるSNMPエージェントの基本的な設定と起動までを説明した。オンライン・ムックPlus「SNMPによるネットワークモニタリング“第2版”」は、2001年5月に公開した「SNMPによるネットワークモニタリング」を元に、6年以上の歳月を経て、枯れた情報を最新環境に合うよう刷新していくものだ。 今回は、SNMPマネージャコマンドの基本的な使い方、そして、SNMPv3で運用するためのパスワードの設定について説明する。SNMPの扱い方は、今回触れるコマンドと次回にかけて触れていくMIBについて理解すれば、ほぼ全体が見えてくるはずだ。 snmpwalkとsnmpgetで調査する Net-SN
tcpstat: netstatより細かくネットワーク統計量を見るツール — ありえるえりあ
Recent entries Apache2.4のリリース予定は来年(2011年)初め(あくまで予定) inoue 2010-12-23 Herokuの発音 inoue 2010-12-20 雑誌記事「ソフトウェア・テストPRESS Vol.9」の原稿公開 inoue 2010-12-18 IPA未踏のニュース inoue 2010-12-15 労基法とチキンゲーム inoue 2010-12-06 フロントエンドエンジニア inoue 2010-12-03 ASCII.technologies誌にMapReduceの記事を書きました inoue 2010-11-25 技術評論社パーフェクトシリーズ絶賛発売中 inoue 2010-11-24 雑誌連載「Emacsのトラノマキ」の原稿(part8)公開 inoue 2010-11-22 RESTの当惑 inoue 2010-11-22 「プ
どさにっき
2009年10月13日(火) ■ ネットワークが遅いって？ _ サーバのネットワーク速度の調査/測定方法 。うーん。 次に実際に現在の回線速度を netperf で測定します。 トラブルシューティングに netperf を持ち出してくる例を初めて見た。よい子はマネしちゃいけません。netperf はネットワークに負荷をかけるベンチマークツールです。こいつによるトラフィックでネットワークが飽和して正常なホストまで遅くなる可能性がゼロではない(よほどのことがないと起きないけど)。あれは実験室環境で使うもの。「よほどのこと」が起きないと確信できるのでなければ本番環境で使うのはやめておいた方がいい。 最後に ethtool で NIC の現在の状態を調べます。 いや、それいちばん最初にやろうよ。今どんな状態にあるのか把握しないでベンチマークしてどうすんの。 _ あと、調査する際には netstat
ウノウラボ Unoh Labs: Cactiによるサーバ稼働状況の監視と異常通知
こんにちわ。 7月2日に、エイガでつながるクチコミサイト「映画生活」のリニューアルが無事に終わってほっとしているhideです。近々、映画APIなども公開していきたいと思っていますので、どうぞよろしくお願い致します。 さて、今日は、Cactiを使ったサーバ稼働状況の監視について説明したいと思います。サーバの稼動状況を監視するツールとしてはMRTGが有名ですが、ウノウではCacti を使っています。MRTGと比べて、Webブラウザ上から設定を行うことができる、データはMySQLに保存されるので過去の任意の時点を詳しく見ることができるなどの点で優れています。 Cactiは普通にインストールしただけだとサーバから取得したデータをグラフ表示するだけなのですが、http://cactiusers.org/にて公開されている Cacti Plugin Architecture というパッチを当てるとプ
SecTools.Org Top Network Security Tools
SecTools.Org: Top 125 Network Security Tools For more than a decade, the Nmap Project has been cataloguing the network security community's favorite tools. In 2011 this site became much more dynamic, offering ratings, reviews, searching, sorting, and a new tool suggestion form. This site allows open source and commercial tools on any platform, except those tools that we maintain (such as the Nmap
Make BBR-4MG into Linux router
5 port Etherが５ポートあるのがすばらしいです。ADM5120は内部にプログラマブルなハブが入っていて、各portを自由に振り分けることができます。 たとえば、通常のBBR-4MGは、WAN1ポートとLAN4ポートをそれぞれ別の論理ハブに接続し、CPU側からは２つの論理ポートとして見えるような設定で動作しています。これを WANには１本づつの計２本の物理ポートを、LANにはハブでつながった３本の物理ポートを割り当てて、 WAN２本LAN１本の合計３本の論理ポートに見えるようにします。 (WAN2本+LAN1本+DMZ2本という強力な構成にもできるはずです。) linuxを動かすことを考えるとRAMもROMも少ないです。 とくにROM 2MBにカーネルとユーザランド（とブートローダ）を入れるのは無理です。 (2MBにいれちゃったすごい人もいるようですが) USBポートを追加してUS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
