ZFS 重複排除 を使用して節約バックアップ (CentOS7) - Qiita
某バックアップソフトウェアで取得していたCentOS サーバーのバックアップがある日突然エラーになり取得できなくなった。 ・メーカーサポートではRedhatしかサポートしてくれない。 ・上司もお金は出したくない（とは言わないがなんとかしろとしか言わない） ・取得するサイズはトータル 180GB。 ・社内規則により世代バックアップは欲しい(日次 7日) 某バックアップソフトウェアでは重複排除により容量を25% ほどに抑えていた。 最後の要件が普通のNASではだめだったので、ZFS環境で重複排除を試してみることに。 環境：CentOS7 １．ZFS インストール rpm -ivh http://download.zfsonlinux.org/epel/zfs-release.el7_3.noarch.rpm yum install -y kernel-devel zfs reboot ２．zf
ZFS send/recvとnetcatを使ってネットワーク越しにZFSのデータを移行する - mteramoto's blog
今回のサーバ更新では、ZFSからZFSへデータ移行をする必要があった。一般的にはrsyncやtarを使うんだろうけど、せっかくなのでZFSの機能を使って移行してみたら、かなり高速で快適だったのでメモ。 ZFSには、複製を作成するためのsend/recvという機能が用意されている。標準入出力を使ってデータをやりとりできるので、netcatを使ってネットワーク越しにつなぐことで、データを移行する。 まずは新サーバでの操作。netcatでネットワークからの入力を待ち受けて、標準出力へリダイレクトし、zfs recvで受信する。ポート番号は適当に選択する。受信するpoolはあらかじめ作成しておくこと。 # nc -l -p ポート番号 -w 120 | zfs recv -v pool/export@snapshot次は、旧サーバでの操作。zfs sendはスナップショットしか送信できないので、ス
「さくらのクラウド」障害多発で無償化、課金できる品質に達していないため
「弊社としても、お客様が安心してご利用頂けない現状を痛切に感じており、一日も早く正常化を目指しておりますが、現在は課金をさせて頂ける状況ではないと判断致しました。つきましては3月1日に遡り、当面の間は「さくらのクラウド利用料」について無償化させて頂くことをご報告致します」ということで、なんと「さくらのクラウド」が無償化されてしまいました。 さくらのクラウドの現状報告および課金対応について | IaaS型パブリッククラウド「さくらのクラウド」 http://cloud.sakura.ad.jp/news/sakurainfo/newsentry.php?id=622 無償化せざるを得なくなってしまった経緯は以下のように説明されています。 既に掲載のとおり、データを格納するストレージのパフォーマンス低下により、 頻繁に負荷が増大する状況が続いております。 その為、改善を図ることを目的としたファ
ZFSでストレージ
hbstudy#12の資料です * こんなに速いZFS * ZFSが遅くなる訳 * ZFSストレージの実際 * ストレージ以外でも便利なZFSRead less
SSD を買ってきて、セットアップまで (open solaris zfs SSD キャッシュ) - ふりだしに戻る
けっきょく、がまんできずに OCZSSD2-1VTX30G の SSD 買ってしまいました。 いちおう、今回の SSD キャッシュ zfs のマシン説明 BIOSTAR TA780G M2+ AMD PhenomX4 9350e DDR2 PC6400-2GB(DDR800) * 4 SEAGATE ST31000528AS OCZSSD2-1VTX30G ファイルサーバ用のマシンは、問題なく動いていて、速さとかそんなに気にならないので Zend Framework を動かしていた CentOS 5.3 のサーバを open solaris にすることにします。 インストール 先月リリースの open solaris 2009.06 をインストールしたら NIC が最初から動いてくれたのでいろいろ楽です。 少し前に、ネットワーク設定うんぬんを書いていましたが # sys-unconfig
豆知識/低価格・大容量NASの自作 - 三浦克介 - 情報科学研究科 - 大阪大学
概要 ♪ そこそこの信頼性・性能を有する大容量（>数TB）のNAS (Network Attached Storage) を自作するための情報ページです。組み立て方法、OSのインストール方法、設定方法等は示していません。主に、パーツの選択について記述しています。 大学の研究室等で利用することを前提に、以下のような要求仕様を満たすことを目的としています。 構築・運用に多少の手間が掛かることは惜しまない 大容量：数テラバイト以上 低価格：3万円/テラバイト以下が目標 ミッションクリティカルとまではいかないが、そこそこの信頼性と性能があること RAID 5等、ディスクドライブ1台が故障しても大丈夫な冗長構成を取れること。できれば、2台故障しても大丈夫なRAID 6等が望ましい ディスクドライブは十分に冷却すること NFS（UNIXファイル共有）、CIFS（Windowsファイル共有）のサーバーと
違いが分かるエンジニアのためのMySQL/InnoDB/ZFSチューニング！
明けましておめでとうございます。今年もコンピューター道に邁進して参りますのでよろしくお願いします！ さて、今年一発目のネタはMySQL利用時におけるZFSのチューニングについて取り上げようと思う。Solarisに搭載されている機能の中でも最も注目度の高いものの一つであるZFSであるが、MySQLのバックエンドとしてはあまり利用されていないように思う。（そもそもSolarisのユーザー数自体がそれほど多くないという話もあるが。）ZFSは優れたファイルシステムであり、ファイルシステム自体にスナップショット機能が搭載されていたり容量の限界に先が見えない（充分すぎるほど余裕がある）といった管理上のメリットがあり、DBAにとっては垂涎のファイルシステムであると言える。（Linuxで利用出来ないのが難点だが、ZFSを使うためにSolarisを使うのもアリだろう。） MySQL利用時におけるZFSのチュ
ZFSに「重複排除機能」が実装される | スラド
サン・マイクロシステムズのZFSに重複排除機能（dedupe：deduplication）が搭載されたとのこと（本家/.記事より）。 ZFSでは処理能力は要さないが効率の悪いファイル単位のdedupeではなく、高い処理能力を要するがバーチャルマシンイメージなどに適しているとされているブロック単位のdedupeが実装された。DedupeはSHA256ハッシュを使うとのことで、ZFSの256bitチェックサムとマップできるとのこと。マルチコアサーバなど処理能力の高いマルチスレッドOS上で走っていることを前提に、Dedupeはインラインで実行される仕様だそうだ。 仕様詳細やインプリ方法はJeff Bonwick氏のブログに掲載されているのでご確認を。
Snow LeopardのZFSはどこへ？
あれ？ って思っている人もいるのではないでしょうか？ さて、2008年にAppleが発表した時は、Snow Leopardサーバ版でZFS（Zettabyte File System）が対応ということでしたが、今回登場したSnow LeopardにはどこにもZFSは見当たりません。何があったのでしょう。 データストレージ界で長年活躍しているRobin Harrisさんが彼のブログStorageMojでこの理由についてディスカッションしています。 それによると、始めに考えていたマイグレーションやインテグレーションが原因ではなく、ZFSのライセンス問題にあったようだ、とのこと。ZFSの開発元であるSun MicrosystemsがCDDL（Common Development and Distribution License）ライセンスの元にZFSをオープンソース化したことが、AppleのZF
ZFSでNASアプライアンスをつくるとこうなる
サン・マイクロシステムズは11月19日、新たなNASストレージシリーズ「Sun Storage 7000」を販売開始したことを発表した。OpteronプロセッサをはじめとしたX86サーバで標準的に使われているハードウェアに、ZFSファイルシステムなどのOpenSolarisソフトウェアを組み合わせ、柔軟でコストパフォーマンスの高いストレージシステムを実現。さらに大容量のSSDを活用してパフォーマンスの向上を図った。サンは7000シリーズを、同社が2007年に提唱した「Open Storage」のコンセプトを具現化する製品の第1弾と表現し、ベンダの独自技術による囲い込みを避けられる製品として推進していく。 ZFSはサン・マイクロシステムズが開発し、OpenSolarisとSolaris 10に実装しているファイルシステム。現在ではオープンソースとして公開されており、Mac OS Xでも提供さ
ZFS、SMFなどSolaris由来の技術と13,000ものUbuntu由来パッケージが利用できる「Nexenta」レビュー | OSDN Magazine
商用UNIXの代表的存在であったサン・マイクロシステムズのSolarisが、OpenSolarisとしてオープンソース化されてから数年経過した現在、さまざまな派生ディストリビューションが登場してきている。今回紹介する「Nexenta」は、OpenSolarisのカーネルに、Ubuntuのユーザランドを組み合わせたものだ。Solarisの堅牢性や次世代ファイルシステムZFSやSMFによるサービスの管理といった先進性に、Linuxのユーティリプログラム群、APTによる強力なパッケージ管理システムといった使い勝手のよさが加わったようなイメージでとらえるとよいだろう。 Nexentaの最新版は、OpenSolarisのビルド104＋とUbuntu 8.04 LTS(Hardy Heron)をベースにした「Nexenta Core Platform 2.0」（リリースは2009年5月25日）である。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ZFSのL2ARCについての考察
日々の備忘録 ZFSでCIFSを使うとスナップショットが便利
Loading...
http://blog.ninth-nine.com/diary/20071103.txt