Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
negative dentry と tmpfs で negative dentry がキャッシュされない理由について調べた - hibomaの日記
kazeburo さんの 一時ファイルとdentry cacheとメモリ を読んでからしばらくファイルシステム周りを調べていたのでした。 先のエントリで /tmp のファイル作成/削除を繰り返して dentry キャッシュ がもりもり溜まっていくのは negative dentry であることが理解できました。 negative dentry とは negative dentry とは 存在しない inode に対応する dentry です。 dentry キャッシュの役割は RAM より低速な HDD や SSD などの二次記憶装置からのディレクトリエントリの読み取りをメモリにキャッシュしておき高速化するためですが、negative dentry をキャッシュすることで存在しないディレクトリエントリの読み取りもキャッシュされます。 「存在しないのにキャッシュ？」がしばらくイミフだったので
CentOS 6.2 で RPS/RFS を使ってネットワークの割り込み処理を複数コアに分散してみた - blog.nomadscafe.jp
以前(2010年)に「アプリケーションがマルチスレッドでもマルチコアCPUを活かせない件」というエントリにてCPUのコアが増えても割り込み処理が分散されないのでスケールされないと書いたけど、その後Linux KernelにRPS/RFSなる機能が追加され、割り込み処理が分散できるようになり、CentOS 6.2 でも使えるらしいので試してみました。 RPS/RFSについての紹介は VIOPS06で「RPS・RFS等最新Linux Kernel事例」と題してお話してきました http://d.hatena.ne.jp/syuu1228/20110722/1311322653 Linux内核 RPS/RFS功能详细测试分析 http://www.igigo.net/archives/204 が詳しい。2番目のはほぼ読めないけど、性能比較のグラフが分かりやすい。 今回試したサーバは、 OS: C
いますぐ実践! Linuxシステム管理
「いますぐ実践! Linux システム管理」はこちらです。 メルマガの解除、バックナンバーなども、以下からどうぞ。 https://www.usupi.org/sysad/ (まぐまぐ ID:149633) その他、作者に関するページは、概ね以下にございます。 https://www.usupi.org/kuri/ (まぐまぐ ID:126454) http://usupi.seesaa.net/ (栗日記ブログ) https://twitter.com/kuriking/ (twitter) https://facebook.com/kuriking3 (facebook) https://jp.pinterest.com/kuriking/pinterest) https://www.instagram.com/kuri_king_/ (instagram) [バックナンバーのトップへ
Linux用の優れたバックアップツール10選 - builder by ZDNet Japan
信頼性の高いバックアップツールは贅沢品などではない--誰もが持っていてしかるべきものである。とは言うものの、自らのニーズを満たす機能を手に入れるために大金を投じる必要があるというわけではない。本記事では、マルチプラットフォーム対応のものも含めて、Linux用の優れたバックアップツールを紹介する。 あなたがIT業界に身を置いているか、コンピュータのパワーユーザーであるかにかかわらず、バックアップツールは必携のツールであるはずだ。そしてバックアップツールには、定期的なバックアップや一時的なバックアップ、ローカルバックアップ、リモートバックアップを始めとする多くの機能が必要なのである。 プロプライエタリなソリューションは世の中にたくさん存在している。そしてそれらの中には必要最低限の機能を搭載した、費用対効果の高いものもある一方で、豊富な機能を搭載した、高価なものもあるのである。これに対して、オー
ファイルの変更を監視して、任意のコマンドを実行するスクリプト - （ひ）メモ
d:id:hirose31:20070528:1180326347 のobserve-mtimeは、ファイルのmtimeの変更を定期的に確認してイベントを発火させてたんですが、それをLinuxのinotifyで置き換えてみました。 mtime監視だと調べてスリープしての繰り返しなので、変更してからイベントが起こせるまでちょっとタイムラグがあったんですが、inotifyを使うとファイルが変更された瞬間にぴこっとイベント発火できるのでこっちのほうがいいかも。 http://www.linux.or.jp/JM/html/LDP_man-pages/man7/inotify.7.html rsync + inotify = lsyncd | スラド デベロッパー Linux::Inotify2 CPANにはLinux::Inotifyというのもあったのですが、$Config{archname}が
セキュアなLinux環境への近道――Damn Vulnerable Linuxの無防備さを極めろ！
セキュアなLinux環境への近道――Damn Vulnerable Linuxの無防備さを極めろ！：Linux Hacks Damn Vulnerable Linuxには、セキュアなLinuxディストリビューションであれば備えていては“いけない”あらゆる要素が取りそろえられている。セキュリティホールの原因となる穴だらけの旧式ソフトウェアを意図的に寄せ集めたこのディストリビューションの意義を考える。 Damn Vulnerable Linux（DVL）には、セキュアなLinuxディストリビューションであれば備えていては“いけない”あらゆる要素が取りそろえられている。DVLの開発陣は、セキュリティホールの原因となる穴だらけの旧式ソフトウェアを意図的に寄せ集めることで、外部からの攻撃に対して無防備極まるLinuxディストリビューションをわざわざ生み出したのだ。最もこのディストリビューション、一般
ユメのチカラ: MySQLのマルチコアスケーラビリティとLinux
スラッシュドットの情報。FreeBSDとLinuxでsysbench(MySQLを利用している)の結果が出ている。結論から言うと8コアのAMD64のマシンでスレッド数を上げていくと8スレッドまではLinuxでの性能が良かったが、それ以上になるとがたっと性能が劣化して、FreeBSDのSMPngの実装が勝つ。 下記を参照してほしい。 http://jeffr-tech.livejournal.com/6268.html MySQL 5.0.2xではSMPスケーラビリティに問題があることは、われわれの性能評価でもあきらかになっていたが、(例：MySQLに対応した評価ツールDBT-1を利用したハードリソース変更によるパフォーマンスへの影響の考察を参照)、OSのSMPスケーラビリティ問題というよりMySQLの実装上の問題だと考えていた。 linux 2.6.18/2.6.20.1上でMySQL 5
tDiary: 「サニタイズ言うなキャンペーン」便乗キャンペーン終了, coLinuxからネットワークにアクセスできなくなった(2) - ただのにっき(2007-01-14)
■ tDiary: 「サニタイズ言うなキャンペーン」便乗キャンペーン終了 「いちおう」とか「とりあえず」が付くけど。 年明け早々から山ほどコミットがあったわけだが、何をしていたかというと、サニタイズ言うなキャンペーンに同調して、tDiaryの出力時エスケープを徹底するという作戦を遂行していたのである。本当は正月休み中に終わらせるつもりだったんだけど、思いのほか大変で、今日までかかってしまった。主に作業に加わってくれたhsbt君やzundaさん、それからさまざまなチェックやアドバイスをくれたtDiary-devel住人のみなさんに感謝したい。 これをもってtDiaryが完璧に安全となったわけではないが(そもそも今回の作戦から漏れた部分もまだあるだろう)、少なくともこれまでよりも想定外の攻撃からは強くなったはずである。昨年末の度重なるセキュリティ対応でユーザのみなさんにはずいぶん心配をかけてし
Debugging with GDB - コマンドライン編集
この章では、 GNUのコマンドライン編集インターフェイスの基本的な特徴について説明します。 行編集入門 以下のパラグラフでは、 キー・ストロークを表わすために使用される表記法について説明します。 C-kは、 Control-Kという意味です。 これは、 コントロール・キーが押されたままの状態でキーkが押されたときに生成される文字を表わします。 M-kは、 Meta-Kという意味です。 これは、 メタ・キー （があるものとして、それ） が押されたままの状態でキーkが押されたときに生成される文字を表わします。 メタ・キーがない場合、 最初にESCキーを押し、 次にキーkを押すことで、 同等のキー・ストロークを生成することができます。 どちらの手順も、 キーkをメタ化する、 といいます。 M-C-kは、 Meta-Control-Kという意味です。 これは、 C-kをメタ化することにより生成され
Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について
初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ
Linuxの次なる闘いの場--携帯電話市場
最も人気の高い携帯電話用Linuxプラットフォームを提供している企業の共同設立者が、携帯電話やハンドヘルド機器に用いられるオープンソースソフトウェアの利用において、「革命」が起こるとの予測を示した。 TrolltechのEirik Chambe-Eng氏が、ロンドンで開催されたOpen Source Business Conferenceで代表者らに語ったところによれば、Linuxが「組み込み機器や携帯電話に関して世間の注目を集める」ようになる時代はすぐそこに来ているという。 同氏は現地時間6月28日、「われわれは現在、革命の始まりを経験しているところだ」と述べ、製造業者がLinuxにスイッチする動機として、同氏が5つのCと呼ぶもの--Complexity（複雑さ）、Control（コントロール）、Customization（カスタマイズ性）、Cost（コスト）、Community（コミュ
NECやドコモなど6社が新組織を樹立--共通のLinuxプラットフォームを開発へ
携帯電話機メーカー4社が携帯通信事業者2社と手を組み、携帯端末向けのLinuxプラットフォームを構築する。 取り組みに参加するのはMotorola、NEC、パナソニック モバイルコミュニケーションズ、サムスン電子のメーカー4社と、NTTドコモ、Vodafoneの通信事業者2社。Linuxベースの共通プラットフォームを構築するための独立した組織をつくることを検討中だ。参画企業は、ここで作られたプラットフォームを利用した製品やアプリケーション、機能を開発する。 オープンソースOSのLinuxはすでに多くの携帯電話機で利用されている。Motorolaだけでも、Linux搭載端末を500万台以上出荷しているという。同社がアジアで提供する音楽対応端末「ROKR E2」もLinuxを搭載する。同端末はまもなく欧州でも出荷される予定。 ほかのメーカーが出荷するLinux端末の台数も同程度だと、Motor
「最先端のLinux」開発をめざすUbuntu--今年中に「Edgy Eft」公開へ
Ubuntu Linuxプロジェクトは今年中に、仮想化技術や32ビットと64ビットの各アーキテクチャをサポートするような画期的な製品をリリースしたいと考えている。 Ubuntu版Linuxの次期アップデート「Dapper Drake」は、当初の計画より6週間遅れの6月1日に公開される予定だが、同プロジェクトではこのオペレーティングシステムを「非常に堅固で、予測通りの結果」を必要とする人々に勧めていく。一方、Dapper Drakeの次にリリースされる「Edgy Eft」は、「全く新しいコードとインフラ」を持ち、「最先端の、驚くほど進んだ」ものになると、同プロジェクトを立ち上げたMark Shuttleworth氏が米国時間19日に明らかにした。 Shuttleworth氏はプロジェクトメンバーに宛てた電子メールのなかで、「eftは誕生まもなく、やっと現場に投入され、これから鍛えられようとい
Linuxもついに「見た目で勝負」--ノベル、新ソフト「Xgl」を公開
文：Stephen Shankland（CNET News.com） 翻訳校正：坂和敏、尾本香里（編集部）2006年02月07日 19時55分 WindowsやMacのルック＆フィールが話題となることが多い中、Novellがこのほどリリースした新しいソフトウェアが、Linuxのインターフェースを派手でゴージャスなものに変える可能性がある。 「Xgl」というこのソフトウェアは、コンピュータに内蔵されたグラフィックチップを利用してデスクトップの表示機能を強化し、透明なオブジェクトや3D効果、ズームするウィンドウといった表示を可能にするもの。このソフトウェアを導入することで、テキストの表示速度など、ユーザーインターフェースに関する実用的な部分も改善できると、Novellのデスクトップ開発担当バイスプレジデントNat Friedmanは述べている。 Friedmanは、Xglで可能となる新たな機能
rsync と ssh でミラーリングアップロード
Landscape トップページ | < 前の日 2006-01-08 2006-01-10 次の日 2006-01-11 > Landscape - エンジニアのメモ 2006-01-10 rsync と ssh でミラーリングアップロード 当サイト内を Google 検索できます * rsync と ssh でミラーリングアップロードこの記事の直リンクURL: Permlink | この記事が属するカテゴリ: [ssh] [ネットワーク] [sonic64.com] 当サイト Landscape - エンジニアのメモのコンテンツのアップロードに、rsync を使うようにしてみた。 使ってみると、rsync は実に良くできた便利なツールであることがわかった。ちなみに今までは lftp を使っていた。詳しくは 2004-05-08 の「lftp を使った ftp ミラーリングと便利機能」を
Clouder::Blogger: coLinuxを入れてみる
coLinuxを使っているというのをmiyagawaさんのブログで見て喚起されたのでインストールしてみることにした。たしか1年ぐらい前に試そうと思って、挑んだときにはなんかめんどくさそうだったのでほっておいたんだけど…。 ということで自分なりにインストールで躓いたところなどを説明しつつインストールログを書いてみます。 ちなみにインストール環境はWindows XP SP2です。 coLinuxのダウンロード http://colinux.sourceforge.net/で最新版(2005年5月時点で0.6.2)をダウンロードしてくる。ダウンロードするファイルはcoLinux-0.6.2.exeです。colinux-0.6.2.tar.gzの方はソースなのでいりませんが、自分でコンパイルしたいという方(あんまりいないと思いますが…)はこちらをどうぞ。 とりあえず、インストール まず起動すると
＠IT：Linuxで無線LANを使うには
Fedora Core 4（FC4）に標準添付されているドライバで、無線LANを使用する手順を紹介する。使用するハードウェアは、Intel PRO/Wireless 2100という802.11bの無線LANアダプタを搭載したノートPCだ。 FC4を「ワークステーション」インストールすると、Intel PRO/Wireless 2100のドライバ（ipw2100）もインストールされる。 $ ls -l /lib/modules/2.6.12-1.1390_FC4/kernel/drivers/net/wireless/ipw2100 合計 112 -rwxr--r-- 1 root root 104688 7月 6 09:57 ipw2100.ko インストールされていなくても、Intel PRO/Wireless 2100ドライバのWebサイト（http://ipw2100.sour
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cron(crontab)で月末で指定する方法 - ぎじゅっやさん