L2ARCの容量を増やしてみた
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 最近、ftp.jaist.ac.jpのストレージの負荷が限界に達していて、サービスの品質がかなり低下していました。CPUやネットワークではなくストレージが先に限界に達したのは、以前説明したとおり性能よりも容量を重視してRAID-Zを組んであるからです。ストレージの負荷を減らすために、メモリが192GBのサーバーにリプレースしてARCを増やす予定でしたが、準備に時間が掛かるので現行のサーバーのL2ARCを増やしてみました。 L2ARCとして追加したのは4つのPlextor M5 Pro 512GBです。これまでのL2ARCは4つのIntel X25-M 160GBで6
Brendan's blog » Activity of the ZFS ARC
Notice: get_bloginfo was called with an argument that is deprecated since version 2.2! The home option is deprecated for the family of bloginfo() functions. Use the url option instead. in /home/knmngmprl21d/public_html/blogs/wp-includes/functions.php on line 3551 http://dtrace.org/blogs/brendan/"> Disk I/O is still a common source of performance issues, despite modern cloud environments, modern fi
L2ARCの仕組み
これは英語版の和訳です。 内容が重複する日本語の記事を2つ削除しました。 ZFSのL2ARCは名前こそL2ですが、CPUのL2キャッシュとは大きく異なっています。次の図はZFSのキャッシュの構造を示しています。L2ARCはHDDからARCに読み込まれたブロックのみをキャッシュします。ARCのHDDに書き込まれようとしているダーティなブロックはキャッシュしません。L2ARCとHDDの間のデータ転送はありません。ZFSは要求されたブロックがARCになくL2ARCにあったときに、L2ARCからARCに読み込んで返します. L2ARCはもうすぐARCから追い出されそうになっているブロックをキャッシュします。ZFSはARCを構成するLRUを後ろから一定の範囲走査して、まだL2ARCにキャッシュしていないブロックを合計のサイズがl2arc_write_maxに達するまで集めます。l2arc_write
大きすぎるl2arc_write_maxはよくない
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. この記事は全面的に間違えています。この記事はZFSのL2ARCの性能を向上させる方法として以下のものを紹介しています。 ZFSのレコードサイズを128KBよりずっと小さなものにする l2arc_write_maxをより大きくする l2arc_noprefetchを0に設定する これらすべては悪い結果しか生みません。 まず絶対にZFSのレコードサイズを特定の値に設定してはいけません。唯一の例外はZFSをDBMSに使うときだけです。ZFSは自動的にファイルごとにレコードサイズを適切に設定します。レコードサイズを設定するとこれが台なしになります。 L2ARCのSSDへの書
RAID-Zは遅いよ
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 以前紹介しましたが、ftp.jaist.ac.jpのストレージは2TBのDeskstar 7K2000を24個積んでいます。ZFSの構成は、11個ずつでRAID-Z2を2つ作りストライピングしています。残りの2個はRAID-Z2のスペアです。この構成の問題は読み込みのIOPS (1秒間あたりに可能な読み込み回数)がとても少ない低いことです。 RAID-Zは普通のRAIDと異なり、RAIDを組むディスクの個数を増やしても読み込みのIOPSは上がりません。普通のRAIDでは複数のブロックへのアクセスを複数のディスクで同時に行えるので、ディスクの数を増やせばIOPSが向上
ZFS on Linux @ZFS Day 2011.10
2. プロフィール 氏名 : 原 和久 (Kazuhisa Hara) ID: @kazuhisya 所属 某 DC 業の会社 入社以来、某親会社に出稼ぎ ( 社内ベンチャーとか ) 今はそこで研修講師しています Web3 層 , Linux, VMware, KVM, ZFS, GlusterFS(NEW!) 興味分野 おもに Linux や仮想化、ストレージ周り 3. プロフィール Linux 好き、主に RHEL 系 SUSE も昔ちょっと Deb 系は全く分からない でも普段 ZFS を使うときは基本 Solaris11-ex, OI, Nexenta になる BtrFS にも勿論期待してます プレビューレベルだけど、 RHEL6.2 にマージされましたね！ SmartOS にも注目してますよ！ Crossbow や COMSTAR の資産が使えるのは素敵ですね 様々な OS の良
紹介 - Software Design 2011年08月号 : 404 Blog Not Found
2011年07月19日12:30 カテゴリSoftware Design書評/画評/品評 紹介 - Software Design 2011年08月号 今月も Software Design が出る頃となりましたので紹介です。 Software Design 2011年08月号 電子版@fujisan.co.jp Software Design 2011年08月号｜gihyo.jp … 技術評論社 前回 OS X を取り上げた流れもあって、今回の連載ではZFSをとりあげました。OS X LionではついにRosettaもなくなり、「PowerPC で Mac OS」な Mac の 「Intel で NeXTStep」化もこれで完成という趣きですが、そんな中にあって HFS+ だけがそれに「勝った」ような印象すらあります。しかし Apple もかつて ZFS を導入しようと試みたことがあるの
ZFSの復旧に成功した「日本データテクノロジー」の研究チームとは
東京・銀座に社を構えるデータ復旧会社「日本データテクノロジー」が、特殊ファイルシステム「ZFS」の復旧に成功したそうです。日本データテクノロジーは、他社に先駆けて自社内にデータ復旧専門の研究チームを設けており、今回のZFS復旧成功もこの研究チームの成果ということで、データ復旧の研究とはいったいどんなものなのか、その実態を聞いてきました。 データ復旧|PC・サーバー・RAID機器のHDD復旧ならデータ復旧.com 銀座にある日本データテクノロジーの本社に到着。 「日本データテクノロジー」はデータ復旧のブランド名で、運営会社はOGID株式会社です。 インタビューに答えるのは、日本データテクノロジーのデータ復旧事業部復旧技術チームに所属する、西原世栄さん。 GIGAZINE（以下、G）： 今回は、これまで復旧の事例が無かったと言われるファイルシステムで、ファイルシステム自体がRAID機能を持つ「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
arcstat.pl で l2arc の統計をみる - ~fumi/ChangeLog
serverspec にいくつかの matcher を merge してもらった - ~fumi/ChangeLog
日本オラクル、Twitterを開始 - オラクル・アジアパシフィック＆ジャパン メディア・センター
ftp-adminの憂鬱: L2ARCの書き込みをdtraceで観察する
https://blogs.oracle.com/solaris/post/immutable-zones-on-encrypted-zfs
https://blogs.oracle.com/solaris/post/user-home-directory-encryption-with-zfs
ZFS Day 2011.10 ( #zfsday )
Documentation (Community Group zfs.docs) - XWiki
ZFSDay_2011.10_FreeBSD_and_ZFS
ZFSDay_2011.10_FreeBSD_and_ZFS
ニコニコ動画、保管ストレージに日本オラクルの「Sun ZFS Storage Appliance」を採用
OpenZFS on Linux