SATAのAHCIモードでディスクアクセスが遅い場合はNCQを無効にしてみる - pekeqのブログ
解決まで４，５時間を無駄にしてしまった。 起きた現象としては、ICH6RのマシンにSATAディスクを接続し、AHCIモードで起動。CentOS5を入れてインストーラでSoftware RAIDを設定後、rebootしたら激烈に遅くなってしまった、というもの。どれくらい遅いかというと、そもそも起動がとても遅く（linuxrcの実行がトロトロ状態）、常時ロードアベレージが４から５くらいあって、コマンド打ってから返ってくるまで３秒くらい平気でかかってしまうという感じ。いろいろ調べてみたら、LKMLに同じような現象に出会っている人がいて、NCQを無効にしたら（キューの長さを１にしたら）直ったらしい。 NCQを無効にしたらパフォーマンスが改善した人 http://lkml.org/lkml/2007/6/20/411 NCQを無効にする方法 http://linux-ata.org/faq.html
NFSv4の性能 - pekeqのブログ
Local $ dd if=/dev/zero of=/nfs/bom/bombom.local bs=8192 count=1000000 8192000000 bytes (8.2 GB) copied, 151.777 seconds, 54.0 MB/s NFSv4 $ mount -t nfs4 -o rsize=32768,wsize=32768 192.168.1.6:/ /nfs $ dd if=/dev/zero of=/nfs/bom/bombom.nfs4 bs=8192 count=1000000 8192000000 bytes (8.2 GB) copied, 211.635 seconds, 38.7 MB/s NFSv3 $ mount -t nfs -o tcp,rsize=32768,wsize=32768 192.168.1.6:/nfs /nfs $
アクセスカウンタ - pekeqのブログ
古い話題というか、もう議論は出尽くしているかもしれんが、 まあいまさら感は否めない。 何も考えてない 毎回readして+1してwrite 排他する 毎回flockしてreadして+1してwrite symlinkとかバリエーション多数。なぜかうまくいかない場合があったりして悩む。大抵処理の順序が間違ってるとかNFSしてたとか セマフォを使って排他 よく初心者向け掲示板とかで用語だけ書いている人がいるけど、実際に作った人はいるのだろうか DB使う updateで+1。DB接続コスト等が結構バカにならないのと結構遅いのとカウンタごときでDB使うのかという敗北感 GDBMなら壊れないという記述はどこまで本当なのだろうか 排他しなくていい方法を考える 毎回ファイルに1バイトずつappend。stat()でファイルサイズを読む 実は100万アクセスしても1MBだ。大抵の零細サイトならこれでおk? t
NFSv4 on Linux - pekeqのブログ
NetAppの人のblogを見つけた。 http://nfsworld.blogspot.com/2006/10/osdls-nfsv4-press-release.html NFSv3と違って、NFSv4の実装には商用ベンダーがバックについている NetAppからも$100,000が出ている（それ以外にもこまめに出しているらしい） （この時点におけるkernel.orgにあるカーネルの）NFSv4はEnterprise Readyである。 追記1 KEKの資料を見ると、NFSv4を/home等で使っているようだ。OSはAIXみたいだ。 http://kekcc.kek.jp/doc06/guidance/a0617/storage.ppt http://kekcc.kek.jp/doc06/guidance/a0617/storage.pdf 追記2 AIXだが、Redbooksから、I
分散ストレージについて再び(2) - pekeqのブログ
AFSは、かなりの歴史と実績がある分散ファイルシステムだ。umich, intel等、多くの環境で実際に利用されており、安定度もかなりのものだ（現在のOpenAFSはIBMが販売していたものがベースになっている）。日本語情報が少ないのが困った点だが、英語がちょっと読めるなら、AFS Workshopの資料を読めば、かなりの知識が手に入る。（AFSに興味がなくてもこの資料は読む価値があるかもしれない。ちょっとニヤっとしてしまうだろう） ただ、AFSを使おうと思う上で躊躇してしまうことのひとつは、テラバイト級のボリュームを作ったらどうなるか、いまいちよくわからない点だ。 AFSの制限値をまとめようとした投稿 リプライを読むと、実際どのへんまでいけるのかはよくわからないようだ Quotaは2TBまでしか効かないが、それ以外は動くのでは？という投稿 27TBのデータをOpenAFSで管理しているよ
分散ストレージについて再び(6) - pekeqのブログ
LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思う。ぼくのブログじゃ無理だ。 メタデータサーバとストレージノードが分かれたアーキテクチャ メタデータサーバはPostgreSQLで動く メタデータキャッシュサーバを立てることができ、メタデータサーバの負荷が高まらないようにできる（！） レプリケーション可能。しかもファイル単位で設定できる（！！！） 巨大なファイルを複数ノードに分散させることも可能 分散処理コマンドが豊富。gfgrepなんてもうシビれる 並列分散処理のための基盤としても使うことができる などなど、すてきな機能が盛りだくさん 詳しくはGfarm Workshopのページに資料
分散ストレージについて再び(1) - pekeqのブログ
まず以前の私の記事でLustreを推していたが、これは撤回すべきだと思う。 日本でLustreを本気で使っている組織のひとつに東工大がある。東工大はTsubameクラスタでLustreを使っているのだが、TSUBAMEグリッドクラスタのページを見てほしい。/work, /work2の障害のお知らせが定期的に載っているのがわかるだろうか。この/work, /work2というのがLustreで提供されているボリュームで、見てわかるように、とても頻繁に障害が起きている。 障害の主な原因のひとつは、LustreがノードをRAID0でまとめていることと、メタデータサーバが頻繁に止まってしまうことに起因しているようだ。RAID0の場合、ディスクが1台でも止まると、ボリューム全体にアクセスできなくなる。これと同じことがLustreではノードで発生し、ストレージノードが一台止まると、クラスタごと止まってし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DRBD or NBD - pekeqのブログ