mixi Engineers’ Blog » Linux Programming、epollの話
お久しぶりです、初めての日本の夏に圧倒されているトールマエサカです。 今日はLinuxにおけるネットワークプログラミング関連のネタです。分散データベースサーバの開発過程で最近よくLinuxのepollというイベントハンドリング機能を使っています。これがまた優秀な機能なので紹介します。 このContextでいうイベントハンドラーはサーバがクライエントのリクエストを処理するためのメカニズムです。イベントの感知と通知は大雑把にいうと以下の三つの処理で構成されています： 一つもしくは複数のディスクリプタを監視 ディスクリプタの準備が整うまでハチ公のごとくひたすら待ち続ける 準備が整ったディスクリプタの通知 アプリケーションでの実装は一昔までselect(2)、もしくはpoll(2)というシステムコールで行われていました。二つとも役目は同じですがselect(2)の場合、kernelをいじらない限り
Google DesktopがLinuxに対応
米Googleは6月27日、デスクトップ検索ソフト「Google Desktop」のLinux版（β版）をリリースした。 Linux版はテキスト、PDF、PS、ソースコード、HTML、Thunderbirdの電子メール、OpenOffice.org文書、画像、音楽などコンピュータ内のほとんどのファイルを検索できる。前のバージョンのファイルを探したり、うっかり消してしまったファイルを復元することも可能という。 コンピュータ内とGmailやWeb検索履歴、Webを簡単に同時に検索することも可能。オフライン時にGmailとWebの履歴にアクセスすることもできる。Webとデスクトップを検索できる「Quick Search Box」も利用できる。 Linux版Google Desktop β版は、英語、フランス語、イタリア語、ドイツ語、スペイン語、オランダ語、中国語（繁体字および簡体字）、日本語、韓
iPodでLinuxをブート、OSJがインストールサービス － ＠IT
2007/06/28 オープンソース・ジャパン（OSJ）は6月28日、iPodにLinuxをインストールするサービスを7月1日に始めると発表した。標準のApple OSと共存させることが可能で、iPodの可能性を音楽、ビデオ再生以外に広げることができる。OSJはLinuxをプレインストールしたiPodの販売も行う。 インストールするのは「iPodLinux」と「ROCKbox」。インストールするとApple OSとのトリプルブートが可能になる。iPodLinuxは音楽プレーヤーやゲームなどのアプリケーションが用意されていて、新たなアプリケーションを導入することもできる。ROCKboxは音楽再生を重視したOSで、MP3やAAC、AC3のほか、WAV、AIFFなども再生可能。イコライザ機能もあり、好みの音で音楽を楽しめる。 インストール料金は1万4700円（税込）。第5世代、第5.5世代のiP
パフォーマンス・マネージメント・ガイド - vmstat、iostat、netstat、および sar コマンドの使用法
vmstat、iostat、netstat、および sar コマンドは、システム・パフォーマンスの連続モニタに役立つ機能上の特性を持っています。これらのコマンドは、以下を行うことができます。 一定の間隔で無期限に報告書を作成する。 異なるタイプのロードによって変動するアクティビティについて報告する。 直前の最後の報告以降のアクティビティについて報告し (sar コマンドは除く)、アクティビティ内の変更点を検出しやすくする。 以下の例は、これらのプログラムによって作成される定期的な報告書のサンプルです。 # vmstat 5 2 kthr memory page faults cpu ----- ----------- ------------------------ ------------ ----------- r b avm fre re pi po fr sr cy in sy c
iostat で I/O の統計を見る
Red Hat Linux で I/O の統計を見るには top コマンドの画面を睨んでいても良いのですが、各ディスクの I/O まではわかりません。 iostat というコマンドを使うと各ディスクの I/O 統計値や、CPU 使用率がわかります。iostat コマンドは sysstat パッケージに含まれています。 $ rpm -q sysstat としてパッケージが無ければインストールします。 # up2date -i sysstat または # yum install sysstat などとしてパッケージをインストールしてください。iostat を実行すると、次のような結果が表示されます。 # iostat Linux 2.4.21-32.EL (filing1) 2005年05月25日 CPU平均: %user %nice %sys %iowait %idle 1.26 0.08
サーバやPCのボトルネック箇所の簡単な見分け方(Linux編)：佐野裕のサーバ管理者日記：ITpro
前回はWindowsでのサーバやPCのボトルネック箇所の簡単な見分け方をご紹介させていただきましたが、要望がありましたので今回はLinuxの場合をご紹介いたします。 4つの主要ボトルネック要素の復習です。 サーバやPCには4つの主要ボトルネック要素があります。このいずれかがボトルネックとなった場合システム全体のレスポンスが低下します。 CPU使用率 メモリ使用量 ディスクI/O TCPコネクション数 Linuxにおいてはボトルネック箇所を以下のように見分けることができます。 1. CPU使用率 CPU使用率が常に100%に近い場合はCPUがボトルネックであることが判明します。CPU使用状況を簡単に調べるには3つの方法があります。「top」「w」「vmstat」コマンドを使う方法です。 -----------------------------------------------------
「ディスク」への書き込み性能を上げるには - （ひ）メモ
ユーザランドのプロセスから見たwrite(2)は、ページキャッシュのおかげで(メモリが潤沢にある環境下では)ブロックされない(待たされない)というのは id:naoya さんの丁寧な解説のおかげでわかると思うのですが、一方、fsync(2)などの実際にディスクに書き込む処理、 あと id:hirose31 さんがコメントしてますが、アプリケーションが SYNC モードでファイルを開いてたり、明示的に fsync() してたりするとそこで wait が発生するのは言わずもがな、です。 Linux I/O のお話 write 編 - naoyaのはてなダイアリー The fsync() function does not return until the system has completed that action or until an error is detected. fsync
Linux/ntpサーバ - discypus
[編集]NTPサーバとの通信 # netstatがこういう状態で、 # netstat -a -n | grep :123 udp 0 0 192.0.2.1:123 0.0.0.0:* udp 0 0 127.0.0.1:123 0.0.0.0:* udp 0 0 0.0.0.0:123 0.0.0.0:* # ntpd <-> ntpdate 間で正常に通信できると、こうなる。 # ntpdate -d ntp.example.jp 23 Dec 10:13:30 ntpdate[20681]: ntpdate 4.1.0 Mon Mar 25 23:39:50 UTC 2002 (2) transmit(192.0.2.1) receive(192.0.2.1) transmit(192.0.2.1) receive(192.0.2.1) transmit(192.0.2.1) re
4.2.3 ntpdのインストールと設定
ネットワーク管理を行う場合、ネットワークに所属するサーバーやクライアントの時刻を正しい時刻で同期させておく必要がある。時刻を同期する理由はいくつかあるが、最大の理由は、これにより複数サーバーでのログ出力時間の信憑性を持たせるためである。もし時刻同期が取られていなければ、複数台のサーバーからなるネットワークが不正アクセスの被害を受けた場合、各ホストのログの関連性を解析することが非常に困難になる。これ以外にもネットワーク上のホストの時刻が同期していることによって、メールの配送が正しく行われるなどの利点がある。 1) 運用方針 ネットワーク内の時刻を同期させるために使用されるプロトコルをNTP(Network Time Protocol)という。NTPは、これを使用する全てのホストの時刻を正しい時刻(UTC：協定世界時)に合わせることを目的としている。 NTPによって時刻を合わせるには、ホストの
naoyaのはてなダイアリー - Linuxのページキャッシュ
世間では PHP が、Perl が、と盛り上がっているようですが空気を読まずまたカーネルの話です。今回はページキャッシュについて。 /dev/shm に参照系ＤＢを持っていくと I/O 負荷が激減した件（当たり前だけど） - drk7jp で、ディスク上にあったファイルを /dev/shm (tmpfs) に移したら I/O 待ちがなくなって負荷がさがった、ということなんですがおそらくこれは tmpfs に置く必要はないかなと思います。Linux (に限らず他の OS もそうですが) にはディスクの内容を一度読んだらそれはカーネルがキャッシュして、二度目以降はメモリから読む機構 = ページキャッシュがあります。tmpfs にデータを載せることができた、ということは物理メモリの容量に収まるだけのデータサイズかと思うので、放っておけば該当のファイルの内容すべてがメモリ上にキャッシュされて io
VIVER
VIVERとは？ VIVERは、１台のコンピュータをCDやDVD、USBメモリなどから起動し、続いて他のコンピュータを次々にネットワークブートすることで、瞬時にディスクレスネットワークを構築するシステムです。 VIVERを使うと、非常に簡単な手順で、今あるLinuxシステムをUSBメモリやネットワークブートからブートできるようにすることができます。 特定のLinuxディストリビューションには依存していないので、CentOSでもopenSUSEでもDebianでもMandrivaでも、ほとんどのディストリビューションをディスクレスブートさせられます。 ネットワークブートにはNFSを使いません。分散多重化共有ブロックデバイスV-FIELDを使います。 もっと詳しく デモムービーを見る
MySQL scalability on Linux with sysbench
A recent post at http://jeffr-tech.livejournal.com/6268.html#cutid1 pointed to a possible Linux scalability problem when compared to FreeBSD. Setup 4 core PowerPC64 system Debian unstable (MySQL 5.0.32-Debian_7) Linux 2.6.21-rc3 Baseline A baseline was taken to verify this setup sees the same scalability issue: We see a problem when the number of benchmark threads exceeds the number of cores in th
マルチコア時代のロードアベレージの見方 - naoyaのはてなダイアリー
ちょっと煽り気味のタイトルですが、CPU がマルチコアになり 2個、4個と増えていく中 Linux の負荷の指針になるロードアベレージをどう読むべきか、という話です。気になったところを少し調べたのでそのまとめを。 http://d.hatena.ne.jp/naoya/20070222/1172116665 でも書いたとおり、Linux のロードアベレージは「ロードアベレージは過去1分、5分、15分の間の実行待ちプロセス数の平均数 = 実行したくても他のプロセスが実行中で実行できないプロセスが平均で何個ぐらい存在してるか」を示す値です。ボトルネックが CPU、メモリ、ディスク等々どこにあるかは関係なく、仕事の実行までにどれぐらい待たされているかを示す値なので、システムのスループットを計測する指標の入り口になる値です。 このロードアベレージですが、実装を見るとランキュー(待ち行列)に溜まった
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
cron - Wikipedia
cronは、Unix系オペレーティングシステムのジョブ管理ツールである。cronジョブ[1][2]（コマンドまたはシェルスクリプト）を予約すると[3]、指定した日時または間隔でジョブを実行する[4]。cronは、主にシステムの管理・維持を自動化する目的で使用されるが、一定の間隔でファイルや電子メールをインターネットからダウンロードするなどの用途にも応用できる[5]。 cronは、反復的なタスクを予約するのに有用である。一度だけ実行するタスクの予約には、atコマンドを使用する。 名称は、「時間」を指すギリシア語の単語「chronos」に由来する[6]。 cronの動作は、crontab（cron table）ファイルで指定する。crontabは、一定のスケジュールで定期的に実行するシェルコマンドを指定する設定ファイルである。crontabファイルには、ジョブの一覧と、その他のcronデーモン
SolarisはLinuxよりも優れたLinux ― ＠IT
Linux開発者はサンで何をやっているのか？ これは米サン・マイクロシステムズのオープンソースプラットフォーム戦略責任者イアン・マードック氏が、司会を務めたサンのCommunityOne Dayのセッションで問いかけた疑問だ。このセッションは5月7日、JavaOneカンファレンスの開幕前に行われた。 「なぜ私がここにいるのか？ Linux開発者がサンで何をしているのか？ 宗旨替えをしたのか？」という質問をよく受けると、マードック氏は語った。「そういう見方をわたしはしていない」 1993年からLinuxを使っており、LSB（Linux Standards Base）会長のマードック氏は、「Linuxが欲しいといっている人は、実際にはLinuxが欲しいという意味でいっているのではない。彼らが欲しいのは、Linuxユーザー環境とLinuxビジネスモデルだ。彼らは選択肢を望んでいるのだ。彼らはLi
Linuxの仮想環境 - KVM+QEMU w/ Intel VTなCore 2 Duo はかなり速そう - （ひ）メモ
たまたまIntel VT対応なCPUのマシンが手に入ったので、ちょっとLinuxのKVM+QEMUを試してみました。その結果をちょちょっと書いてみます。 ちょちょちょっとなんで間違ってるとこがある可能性が高いのをまずお断りしておきます。m(_ _)m それから、ちょちょちょちょっとなんで、 Intel VT (Virtualization Technology) x86 virtualization Intel Core 2 KVM QEMU のあたりの説明とかインストール手順はさっくり省略します。 ちなみに Linuxの仮想環境の実装の比較は、 TechComparison - Linux Virtualization Wiki が見やすいかもです。 で、今回の環境： ハードウエア DELL, OptiPlex 745 Core 2 Duo - E6300 (2MB L2 キャッシュ、1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM リダイレクト - Japan
[ThinkIT] 第4回：システムの統計情報を知る (1/3)
おまかせブログ :: おまかせブログ