ZFSの性能測定とチューニング
2016/11/29 (c) Hiroki Sato https://people.allbsd.org/~hrs/sato-FBSDS20161129.pdf ZFS <hrs@FreeBSD.org> / FreeBSD Project 2016/11/29 1 2016/11/29 (c) Hiroki Sato https://people.allbsd.org/~hrs/sato-FBSDS20161129.pdf ▶ ▶ ▶ ▶ ▶ ▶ 2 2016/11/29 (c) Hiroki Sato https://people.allbsd.org/~hrs/sato-FBSDS20161129.pdf ▶ ▶ ▶ ▶ ▶ ▶ 3 2016/11/29 (c) Hiroki Sato https://people.allbsd.org/~hrs/sato-FBSDS20161129
ZFS のトラブル続き | HRS's Web Page - The Design and Implementation of the Gracious Days
新しい秩序の確立は、他の何にも増して難しく、 成功する可能性が低く、危険な事業である。 改革者は旧秩序から利益を得ている 全ての者を敵にまわし、 新秩序から利益を受けるはずの者からは 及び腰の支持しか集められない。 --- Niccolo Machiavelli, The Prince この種の「保護」は初心者を保護するかも知れないが、 熟練ユーザを窮地に追い込むことになる。 というのは、何が親切であり、何が適切でないかかという オペレーティングシステムの考え方の裏をかくことばかりに かなりの労力を費やさなければならないからである。 --- A.S.Tannenbaum, Modern Operating Systems 不定期更新の日記です。ディスクスペースの関係上、 あまりに古くなったものは順次消していきます。 この日記の更新は、今野さんの *BSD Diary Links から取得す
ZFSを運用する者が知っておくべきこと（障害対策） – 日曜研究室
ここ最近ZFS絡みの記事をいくつか投稿してきました。 どの記事も、ZFS利用中に問題が起き、そして何となく解決した（解決しそう）という事を書いた記事で、問題が起きた原因や解決した理由を、勝手な想像レベルでしか記していませんでした。 実は今回も、バックアップを取った後、不必要になったデータセットをzfs destroyした後にマシンが停止し、再起動後プールのインポートが出来なくなりまして、こう立て続けに問題が起きると今後もずっと運用で困りそうなので、ZFSの事を少し勉強することにしました。 （ちなみに、もの凄く時間は掛かりましたが今回も何事も無かったかのように復帰させることができました。） 同じような問題を回避するため、そしてもし問題にぶち当たってしまったら落ち着いて正しい操作を行うためです。 で、色んなところに分散している情報を総合してここにまとめようかと思ってたのですが、ZFSの仕組みや
ZFSのプールがインポート出来なくなったけどなんとかなりそう – 日曜研究室
現状ではまだ一部のデータは救出出来ない可能性が残ってるものの、最終的にはほとんどのデータが救出できそうではあります。 最重要データは置いてなかったので全部消えても喪失感だけで実害は大きくなかったかもしれませんが、今回かなり焦りました。 とりとめのない内容だし、何かのHow toになるとも思えないんですが、一応メモとして出来事を書き連ねておきます。 経緯 2TBのディスクx6のraidz2にZILとL2ARCを追加したプールの空きが少なくなってきた（使用率95%ほど）ので、不要な巨大スパースファイル２つ（iSCSIターゲット用のディスクイメージ、合わせて1.5TBほど）を消去。 消去した時点で、空き容量が回復しないことに気づいた。 しかし以前も同じようなことがあり、そのときは空き容量が回復しない事以外の問題はなく、最終的にsend/recvで他のプールに移したときに自動的に問題は解消。 それ
ZFSベースのDockerコンテナ管理ツール「Flocker」 | OSDN Magazine
英ClosterHQは8月13日、ZFSベースのDockerクラスタ管理ツール「Flocker」を発表した。これを利用することで、データとそれを利用するアプリケーションを同時にコントロールできるという。 Flockerは、データボリューム管理機能とマルチホストに対応したDockerクラスタ管理機能を備えるツール。データベースやキュー、key-valueストアをDockerを使って動作させ、さらにそれらを異なるマシン上に容易に移動させることが可能になるという。 独自技術であるZFSレプリケーション技術をLinuxとDockerコンテナで利用することを目的に開発したとのこと。ZFSベースのデータボリュームとネットワークプロキシレイヤーを持ち、Dockerコンテナ管理、データボリュームのマイグレーション、任意のノード上のコンテナにリクエストを送るグローバルルーティングなどの機能を持つ。デプロイし
Announcement - OpenZFS
OpenZFS launch announcement, September 17th, 2013: Today we announce OpenZFS: the truly open source successor to the ZFS project. ZFS is the world's most advanced filesystem, in active development for over a decade. Recent development has continued in the open, and OpenZFS is the new formal name for this open community of developers, users, and companies improving, using, and building on ZFS. Foun
Brendan's blog » Activity of the ZFS ARC
Notice: get_bloginfo was called with an argument that is deprecated since version 2.2! The home option is deprecated for the family of bloginfo() functions. Use the url option instead. in /home/knmngmprl21d/public_html/blogs/wp-includes/functions.php on line 3551 http://dtrace.org/blogs/brendan/"> Disk I/O is still a common source of performance issues, despite modern cloud environments, modern fi
HDDが買えないならZFSを使えばいいのに
タイの洪水被害の影響でハードディスク（HDD）の価格が高止まりしている。パーツショップでの実売価格は急騰前の3倍程度にまで跳ね上がり、今でも2倍弱の価格をつけている。5000円台で2TバイトのHDDが買えた記憶が新しいユーザーにとっては買い控えたくなる水準だ。フラッシュメモリーによる半導体ストレージであるSSDの容量単価は下落する一方だが、HDDが買えないならSSDを使えばいいのに…と言えるほどSSDは安くない。 もちろん、データの増加は待ってくれない。記者の自宅には、主にファイルサーバーとして利用するLinuxサーバーがある。タイ大洪水以前に約7000円で購入した1Tバイトの2.5型ハードディスクをストレージに充てた。写真1枚が10Mバイト近くある今の利用環境では、みるみる空き容量が減っていく。どのコンテンツもときめくものばかりで、整理には限界がある。「では増設」と思い立っても、HDDは
Quick Start Guide to FileBench (Community Group performance.quick_start) - XWiki
Temporary Note: we are about to give FileBench a much needed facelift. This guide does *NOT* represent the current bits hanging out on sourceforge. This guide is for bits that will update sourceforge and appear in ON. This guide is made temporary to help us get PSARC approval to integrate FileBench into Solaris, and will be made permanent once the PSARC case gets approved.FileBench Command The 'fi
「RAID-Z」で高速ストレージを構築しよう(2) - VMWare ESXiでFreeNAS iSCSIボリュームを利用する | OTTOSERVER Blog | コンピューターのおっと
前提条件・本体にHDDが3台以上搭載されている。 ・FreeNAS 0.7.1 stable (AMD64)がインストールされている。 新世代のRAID「RAID-Z」で高速ストレージを構築しよう(1)と、PRIMERGY TX100とFreeNASで、超かんたん格安静音ファイルサーバを構築しようの記事を、あわせてご覧ください。 注意点・FreeNASのZFSは多くの本番環境で運用されていますが、記事執筆時点では、基本的に「実験的」リリースです。自己責任でご利用ください。 （FreeBSD 8.0ベースのFreeNASでは、ZFSがv13となり、プロダクションレベルに達しています） 構築手順1)ZFS storage pool deviceでディスクをマウント メニューの[ディスク]→[マネージメント]から、ディスクを追加。 マウント時にファイルシステム事前フォーマットを「ZFS stor
ZFSを使ってみる - NO LIMIT Is. Wiki支部
概要 ZFSはSolaris10で新たに採用されたファイルシステムです。 ZFSには先進的な機能が多数盛り込まれており、以下のような特徴があります。 簡単(zpool, zfsの2つのコマンドだけで管理できる) 大容量(16エクサバイトのファイルを扱える) 高機能(RAID、スナップショット、クローン、クォータ、...) 安全(99.99999999999999999%の信頼性) 無料！ ZFSの基本的な使い方をまとめてみます。 ZFSファイルシステムの作成 /export/homeパーティションをZFSに移行してみます。ルートパーティションはSolaris10 11/06の時点では残念ながらZFSにできません。 ストレージプールの作成 まずストレージプールを作ります。 物理的なディスク(スライス)をいくつかまとめて仮想的なディスクとして扱うことができます。 ストレージプールはミラー(RA
FreeNAS 0.7 で ZFS と iSCSI Target を構成する - 環境さんぷる
テスト用のFreeNASのダウンロードはこちらから。 http://sourceforge.net/project/showfiles.php?group_id=151951&package_id=229704 以下の情報はnightly build 0.7.4541に基づいています。 ZFSでメモリが明らかに足りないのでKVA_PAGESを増加してもらいました。 r4537においてコミットされたので、それ以降であれば2GBがカーネル空間に 割り当てられます。 また、r4539において新バージョンのistgtに変更してもらいました。 この版はFreeBSD initiatorで発現するバグを修正したバージョンです。 １．カーネルメモリの増加(i386版の必須事項) まず事前準備として、設定を変更します。 この変更はi386版ではメモリ搭載量にかかわらずZFSを利用する場合は必
自宅ファイルサーバ構築メモ その3 FreeNAS 導入 最強のNAS OS = FreeNAS - When it’s ready.
ココ数日毎晩OS入れなおしたり、Diskフォーマットし直したりして日々勉強しております。遂に理想のOSが見つかった気がしているWWDCの夜です。 FreeNAS かなーり有名だけど今までしょぼいだろうと食わず嫌いで使ったこと有りませんでした。 公式ページによると FreeNAS is an embedded open source NAS (Network-Attached Storage) distribution based on FreeBSD, supporting the following protocols: CIFS (samba), FTP, NFS, TFTP, AFP, RSYNC, Unison, iSCSI (initiator and target) and UPnP. It supports Software RAID (0,1,5), ZFS, disk e
ZFS、デバイスの用途をまとめ。それとTIPS。 « SawanoBlog.
ZFSでzpoolを作成するとき、各デバイスまたはファイルに3種類の役割がある。 データ用、キャッシュ用、ログ用とあるが、zpool構成するときにそれぞれどのように使えるかまとめてみた。 検証に使ったのは取ったのはOpenSolarisのb131、zpoolバージョンは22だ。 デバイスの用途と構成・特徴一覧 ざっとこうなる。 zpool形式 data cache log スパン ○ ○ ○ ミラー ○ × ○ RAIDZ ○ × × RAIDZ2 ○ × × RAIDZ3 ○ × × detach 条件付○ ○ 条件付○ ファイルを指定 ○ × ○ dataとlogは似ている data用は取れる構成コンプリートなのは当たり前だが、detachには制限がある。 logも同様だが、完全なデータのコピーがないデバイスは取り外せない、すなわちミラー状態の片割れが唯一取り外しOKで他の
一瞬でのバックアップを実現するSolaris ZFS
一瞬でのバックアップを実現するSolaris ZFS：OpenSolarisで始めるブログサーバ構築（4）（1/4 ページ） この連載では、サーバOSとして十数年発展してきた「Solaris」をオープンソース化した「OpenSolaris」を紹介し、ブログサーバ「Roller」と組み合わせて運用していくうえで有用なさまざまな知識を紹介していきます。（編集部） 前回の「Solarisコンテナでセキュリティを強化」では、仮想化技術であるSolarisコンテナを用いて、ブログサイトをセキュアな環境に移行する方法について解説しました。Solarisコンテナを用いると、思ったよりも簡単な手順で仮想環境が構築できることがお分かりいただけたと思います。 今回は、最新のSolaris ZFS（以下ZFS）ファイルシステムを用いたデータ管理方法やSolarisコンテナとZFSの組み合わせによるプロビジョニン
ZFSでストレージ
hbstudy#12の資料です * こんなに速いZFS * ZFSが遅くなる訳 * ZFSストレージの実際 * ストレージ以外でも便利なZFSRead less
PC-BSD 8.1 を使って ZFS boot な FreeBSD をインストールする
PC-BSD 8.1 を使って ZFS boot な FreeBSD をインストールする 2010/11/16 2014/6/8 FreeBSD [PC-BSD](http://www.pcbsd.org/) と言えば、 FreeBSD をベースにしてより優れたデスクトップ環境を提供する プロジェクトと一般に認識されているわけですが、 実は PC-BSD 8.0 以降では FreeBSD の GUIインストーラとしても動作するようになっています。 1. [PC-BSD 8.0登場、FreeBSD 8.0インストーラ](http://journal.mycom.co.jp/news/2010/02/23/049/index.html) 2. [EuroBSDCon2010 – PC-BSD 9はKDE、GNOME、XFce4に対応](http://journal.mycom.co.jp/ar
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cannot auto import volume