Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
SSDに対するBlock Discard/TRIMをSystemTapで可視化する - SH2の日記
パソコンを買いました。 CPU：Intel Core i5-2400S Motherboard：ASUS P8H67-M EVO Memory：Patriot PSD38G1333KH 4GB×2 2個 SSD：Intel X25-M G2 120GB HDD：HGST Deskstar 5K3000 2TB Power Supply：Owltech Xseries SS-650KM 今回はOLIOSPECさんのMicro Monster H67 Super Silentをカスタマイズして注文しました。デスクトップ機をリプレイスするのは実に9年ぶりなのですが、最近のパソコンはすごく良いですね。速くて静かで低消費電力です。本日はこのパソコンを使って、近年のLinuxにおけるSSD事情を確認していきたいと思います。 TRIMとは 近頃では定番SSDの座をすっかりCrucial RealSSD
XenのDomain-Uディスク拡張（LVMを使用しない） - Get crazy
XenのDomain-Uのディスク拡張方法として、LVMで構築されたゲストの拡張方法はよく見かけますが、LVMを使用していないゲストのディスク拡張方法があまり見つからず、e2fsckでエラーが出まくり、ハマっていたのですが、以下のページで紹介されていた方法をそのままやったらできました。 http://www.jaddog.org/2009/08/12/expanding-a-xen-disk-images-space/ 環境は、Red Hat Enterprise Linux 5.4です。xenのバージョンは、xen-3.0.3-94.el5_4.3を使用しています。 xenのバージョンや依存したような作業ではないと思うので、他のディストリビューションでも試す価値はあると思います。 ポイントは、xm block-attachです。 ちなみに、Linuxのコマンドライン操作をはてなダイアリー
Xenのディスクイメージファイルを拡張してみた - harry’s memorandum
Xenのディスクイメージファイルを拡張してみました。]]Ubuntu Japan[[ にXenのディスクイメージの拡張方法が書いてあったので試してみたのですが、なかなかうまくいきませんでした。 # cd /etc/xen/images # mv sarge-root.img sarge-root.img.old # dd if=/dev/zero of=zero-1gb.img bs=1024k count=1024 # cat sarge-root.img.old zero-1gb.img > sarge-root.img # e2fsck -fv sarge-root.img # resize2fs sarge-root.img # e2fsck -fv sarge-root.img # xm create /etc/xen/sarge -c上記の手順だと少なくともOSがLinuxでL
Fusion-ioのCOO・スミス氏、SSD「Fusion-io」の技術的特徴を解説 | エンタープライズ | マイコミジャーナル
フュージョンアイオーは10月15日、米Fusion-io COOのランス・スミス氏、ワールドワイド・セールス シニア・バイスプレジデントのジム・ドーソン氏の来日に合わせて、記者説明会を開催した。説明会では、両氏が同社の製品の特徴について解説したほか、デルよりFusion-io製品を搭載した同社サーバの検証結果が発表された。 米Fusion-io COO ランス・スミス氏 同社は、PCI Expressカード型SSD「ioDrive」と「ioDrive Duo」を開発・提供を行っている。両製品の特徴はNANDフラッシュメモリを搭載することで、ストレージにおけるI/O処理のボトルネックを解消している点だ。 スミス氏は、同社の製品はNANDフラッシュメモリが抱える「データの書き込み回数に限界がある」、「データロスのおそれがある」、「データが誤って書き換えられるおそれがある」といった課題を解決して
CASとかVentiとか - Plan9日記
SSDで遊んだりとストレージ周りの技術にいまさら注目し始めているところだが、この分野で最近ホットな話題というとdeduplication（重複排除）、thin provisioning、SSDの導入といったあたりなんだろうか。この辺りは@w_katsuraさんの「次世代ストレージシステムを語る」とかが参考になる*1。で、来週はファイル・ストレージシステムに関する国際会議USENIX FASTが開催される。プログラムを見る限りかなり楽しげだ。Twitterでも参加されるという方がちらほら。 @w_katsuraさんが関わっているシステムはHYDRAstorというCAS（Content Addressable Storage）ベースのストレージシステムらしいのだが、FASTにはその上に高性能なファイルシステムを構築する論文が採録されていたりする。CASは90年代前半頃から研究開発が進められてき
ここいらでfuseを一区切り - KoshigoeBLOG
どうすればfuseを使えるのかを知りたかったので、サンプルコードを参考にあれこれしていましたが、ここらで一区切り。 FUSEWiki - FusePython FUSEWiki - FUSE Python tutorial IBM dW : Linux : FUSEによる独自ファイルシステムの開発 - Japan FUSEWiki - FileSystems macfuse - Google Code SSH Filesystem rubyfs pyfs "ローカルファイル"以外の何かを使って読み書きが出来ればFUSEのさわり位は体験出来るだろうという事で、お題を『memcachedへの入出力をFUSEを使って書いてみる』としてみました。 書いたコードでは、読み・書き・削除くらいしか出来ませんが、カーネルもファイルシステムもろくに知らない自分でも、ls,cat,vi,rmなどのコマンドが使
drbd.conf
ストレージには寿命があり、保存された情報は永遠に正常性を保証されるわけではありません。その為に別のストレージにデータをバックアップしたり、ストレージそのものを多重化してデータを保護することが重要です。今回紹介するは、ストレージデバイスを多重化し、データを複数のストレージに保存する仕組みで、DRBD(Distributed Replicated Block Device)と呼ばれているものです。同様の仕組みにソフトウェア／ハードウェアRAIDがあります。 DRBD(Distributed Replicated Block Device)とは、TCP/IPネットワークを通じて複数のサーバのストレージ（パーティション）をリアルタイムにミラーリング（複製）するソフトウェアです。RAID1のようなミラーディスクを構築することができます。ソフトウェア／ハードウェアRAIDは同じサーバ内のストレージを使
kumofsから学ぶNot only SQLの技術 - Blog by Sadayuki Furuhashi
NoSQLを知る〜kumofsから学ぶNot only SQLの技術 と題して、Developers Summit 2010で発表しました。 twitterの#devsumi2010 kumofsを見る限りでは大変ご好評をいただいたようで、ひとまずほっとしています。 プレゼンテーションの資料を公開しました。内容はどれも同じですが、クリックで進むムービー版がオススメです。 クリックで進むムービー（クリック/矢印キーで進む） PDF Keynoteファイル（Keynote '09が必要） NoSQLを知るView more presentations from frsyuki. Consistent Hashingとdouble-hash-spaceアルゴリズムの紹介は、68ページ以降にあります。 第101回 カーネル読書会 2月25日に楽天タワーで行われるカーネル読書会でも、kumofs関連
Versioning Feature for Amazon S3 Now Available
We are pleased to announce the availability of the Versioning feature for beta use across all of our Amazon S3 Regions. Versioning allows you to preserve, retrieve, and restore every version of every object in an Amazon S3 bucket. Once you enable Versioning for a bucket, Amazon S3 preserves existing objects anytime you perform a PUT, POST, COPY, or DELETE operation on them. By default, GET request
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenZFS on Linux
PVFS.org
https://dl.acm.org/citation.cfm?id=1837915.1837922
Google Code Archive - Long-term storage for Google Code Project Hosting.
IBM Developer
Ubuntu 8.04 LTSでDRBD+OCFS2を試してみる
http://1978th.net/tech/promenade.cgi?id=80
Archived MSDN and TechNet Blogs | Microsoft Docs
IBM Developer
Examine VMWare ESX with libguestfs