scale out の技術 (in UNIX magazine, April 2009)
scale outの技術 首藤 一幸 Last-updated: January 5, 2010 注: このページの文章は以下の記事の元原稿です。 首藤一幸, "スケールアウトの技術", クラウドの技術, pp.88-101, (株)アスキー・メディアワークス, ISBN978-4-04-868064-6, 2009年 11月 6日 アスキー・メディアワークス社の 書籍紹介ページ Amazon.co.jp の ページ 首藤一幸, "スケールアウトの技術", UNIX magazine 2009年 4月号, pp.78-91, (株)アスキー・メディアワークス, 2009年 3月 18日 データベースに求められる性能を試算したところ、 十台、百台…数万台のサーバが必要になった。 クラウドを構築する側はこういう問題に直面し、解決しようとしてきた。 台数に比例した性能を引き出すこと、つまりsca
WELL KNOWN PORT NUMBERS
Last Updated 2024-04-19 Expert(s) TCP/UDP: Joe Touch; Eliot Lear, Kumiko Ono, Wes Eddy, Brian Trammell, Jana Iyengar, and Michael Scharf SCTP: Michael Tuexen DCCP: Eddie Kohler and Yoshifumi Nishida Reference [RFC6335] Note Service names and port numbers are used to distinguish between different services that run over transport protocols such as TCP, UDP, DCCP, and SCTP. Service names are assigned
Stray Penguin - Linux Memo (NFSv4)
「良い意味でも悪い意味でも古いNFS」 を、インターネット経由でも使用できるようにと改良したのが、 NFSv4 すなわち NFS Version 4 だ。本当に安心してインターネット経由で使えるかどうかにあまり興味はないが、NFS の Version 2 や 3 に比べると、mountd, lockd, statd 及び quotad の機能を NFS デーモン内部に取り込んだこと、(基本的には) portmapper が必要なく、サーバは 2049 番ポートだけ解放すればよくなったこと。NFS over TCP が標準になったこと、デフォルトの読み取りブロックサイズが格段に大きくなったこと、ファイルのオープン/クローズやキャッシュなど多くのオペレーションをクライアントに任せるようになったことなどが特徴だ。従来の NFS と NFSv4 との違いは NFSv4 TESTING for Li
ftp
●ftpについて ftpでは、制御用とデータ転送用の２つのコネクションを使う。 通常、制御用には21番ポートを、データ転送用には20番ポートが使われる。 これらのポートは、それぞれftpとftp-dataと呼ばれる。 ftpの手順としては、 １、最初に制御コネクションを張り、ユーザ認証を行う。 ユーザ認証に成功しなかった場合には、ここから先へは進めない。 ユーザのコマンド操作は制御コネクションを使って行われる。 制御コネクションは、クライアントからサーバの21番ポートへ張られる。 図中、Pは一時的に使われるポートであり、1024番以上の値である。 以下、CTRLは制御コネクションを、DATAはデータコネクションを意味する。 +-Client--+ +--Server---+ | | | | | P -CTRL-> 21 | | | | | +---------+ +-----------+
iノード数の変更方法
Solaris 9を使用しているのですが、最近ファイル数が増加してきてiノードの残りが気になっています。iノードを増やすにはどのような方法がありますか？ iノード数を変更することは可能です。ただし、ファイルシステムを再構築する必要があるので、iノード変更前には必ず対象となるファイルシステムのバックアップを取りましょう。また、/や/varといったシステム領域は、OSが起動している状態では再構築できません。OSのCD/DVD-ROMからいったん起動させてから作業を行ってください。 iノードの変更方法と注意点 iノードを変更してファイルシステムの作成を行う場合は、次のようにオプションを指定しnewfsコマンドを実行します。
あるプロセスが利用しているメモリサイズを procfs 経由で調べる - naoyaのはてなダイアリー
お題は「あるプロセスがどの程度の物理メモリを利用したかを知りたい」です。 手っとりばやく知りたいときは top や ps などで調べると良いでしょうか。例えば手元の coLinux で top して M キーでソートすると emacs のプロセスが最もメモリを使っているようです。 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 1923 naoya 18 0 23120 19m 3096 S 0.0 2.0 0:55.40 emacsメモリサイズは VIRT と RES がありますが、VIRT は Virtual の略で仮想メモリ領域のサイズ、RES が Resident の略で、実際に使用している物理メモリ領域のサイズ。19MB ほど使っているようです。この emacs のプロセスが利用するメモリ領域はざっくり 20MB 程度と
マルチコア時代のロードアベレージの見方 - naoyaのはてなダイアリー
ちょっと煽り気味のタイトルですが、CPU がマルチコアになり 2個、4個と増えていく中 Linux の負荷の指針になるロードアベレージをどう読むべきか、という話です。気になったところを少し調べたのでそのまとめを。 http://d.hatena.ne.jp/naoya/20070222/1172116665 でも書いたとおり、Linux のロードアベレージは「ロードアベレージは過去1分、5分、15分の間の実行待ちプロセス数の平均数 = 実行したくても他のプロセスが実行中で実行できないプロセスが平均で何個ぐらい存在してるか」を示す値です。ボトルネックが CPU、メモリ、ディスク等々どこにあるかは関係なく、仕事の実行までにどれぐらい待たされているかを示す値なので、システムのスループットを計測する指標の入り口になる値です。 このロードアベレージですが、実装を見るとランキュー(待ち行列)に溜まった
puppet wiki （パペウィキ） - Trac
ここは システム管理ツール puppet の日本語情報 Wiki です。（通称パペウィキ） 関連リンク 本家サイト ソースコードリポジトリ mizzy.org 内の puppet 関連エントリ Tomoyuki Sakurai 氏による OSC2007 発表資料 「オープンソースによるシステム管理の自動化」(PDF) だ！日記 - タグ: puppet オープンソースなシステム自動管理ツール Puppet Wiki 編集について この Wiki はどなたでもご自由に編集できますが、スパム防止のためにログインが必要です。ユーザ名 puppet 、パスワード reductive でログインして編集を行ってください。 また、個別アカウントを発行させて頂くことも可能です。ご希望の場合は、ユーザ名・パスワードを htpasswd -nd でハッシュしたものを gosukenator at gmail
I, newbie » cfengineによるシステム管理の自動化: その1
システム管理の省力化は管理者の永遠のテーマだ。複雑化するシステム、多様な要求、コストダウンの圧力、管理者の悩みのタネは尽きない。 ほぼ同一の構成のclusterの管理であれば、HDDイメージによる複製や、pxeboot+NFSによるdiskless構成などで管理を省力化することができるが、複数のOSや複数の役割を果たすホストの混在環境や、NFSに依存できない状況では、多数のホストを一括管理するのがむずかしい。そこでcfengine。cfengineはUniversity of Osloで開発されたGPLソフトウェアで、 設定の一括管理 OSに依存しない言語(cfengineの設定ファイル)による統一管理 ネットワーク経由のファイル配信 階層的なホスト管理 条件に応じたジョブ管理 といった機能がある。このcfengineにSubversionなどのrevision control syste
ウノウラボ Unoh Labs: 専用サーバを構築するときにまず行う４つの設定
こんばんは、最近寒い夜が続いていて自転車通勤がつらくなってきた naoya です。 ウノウでは、フォト蔵や社内システムなどは、すべて専用サーバを構築して運用をしています。 今日は、専用サーバを構築するときに、僕がウノウで学んだ専用サーバでまず行う４つの設定を紹介します。 なお、今回の設定はすべて Fedora Core 5 をもとにしています。 (1) sudo を使えるようにする sudo コマンドを使えるようにします。sudo コマンドは、別のユーザとしてコマンドを実行できるコマンドです。 sudo コマンドを使えるようにするには、/etc/sudoers に sudo を許可するグループを追加します。次の例は、unoh グループを追加する例です。 %unoh ALL = (ALL) ALL, !/bin/su, /bin/su postgres, /bin/su * postgres
TheC10kProblem - 「C10K問題」（クライアント1万台問題）とは、ハードウェアの性能上は問題がなくても、あまりにもクライアントの数が多くなるとサーバがパンクする問題のこと
TheC10kProblem - 「C10K問題」（クライアント1万台問題）とは、ハードウェアの性能上は問題がなくても、あまりにもクライアントの数が多くなるとサーバがパンクする問題のこと 目次 この文書について C10K 問題 関連サイト まず読むべき本 I/O フレームワーク I/O 戦略 1. 各スレッドが複数のクライアントを受け付ける. そしてノンブロッキング I/O と レベル・トリガ型の完了通知を利用する. 伝統的な select() 伝統的な poll() /dev/poll kqueue() 2. 各スレッドが複数のクライアントを受け付ける. そしてノンブロッキング I/O と 変更型の完了通知(readiness change notification)を利用する. kqueue() epoll リアルタイム・シグナル fd 単位のシグナル (Signal-per-fd)
サーバやPCのボトルネック箇所の簡単な見分け方(Linux編)：佐野裕のサーバ管理者日記：ITpro
前回はWindowsでのサーバやPCのボトルネック箇所の簡単な見分け方をご紹介させていただきましたが、要望がありましたので今回はLinuxの場合をご紹介いたします。 4つの主要ボトルネック要素の復習です。 サーバやPCには4つの主要ボトルネック要素があります。このいずれかがボトルネックとなった場合システム全体のレスポンスが低下します。 CPU使用率 メモリ使用量 ディスクI/O TCPコネクション数 Linuxにおいてはボトルネック箇所を以下のように見分けることができます。 1. CPU使用率 CPU使用率が常に100%に近い場合はCPUがボトルネックであることが判明します。CPU使用状況を簡単に調べるには3つの方法があります。「top」「w」「vmstat」コマンドを使う方法です。 -----------------------------------------------------
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
developerWorks : IBM's resource for developers and IT professionals in Japan
怠惰な Linux: 管理者に必須の 10 の秘訣
Bacula, the Open Source, Enterprise ready, Network Backup Tool for Linux, Unix, and Windows