Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
データセンター移転とDRBD - Cybozu Inside Out | サイボウズエンジニアのブログ
@ymmt2005 こと山本泰宇です。今回は去る 5 月から 6 月にかけて行った、cybozu.com のデータセンター移転作業について、失敗してしまったことを中心に解説します。 失敗と書いたのは、移転作業中に何度か、一部のお客様環境でストレージ高負荷による障害を起こしてしまったためです。移転作業自体はスケジュール通り進行し、6 月第二週に完了しています。障害に関しては、こちら（PDF）でお詫びとご報告をしていますが、この記事では技術面ならびに障害を引き起こすにいたった背景について詳述します。 移転に至った背景 移転方式の検討 ストレージ同期の方法 DRBD による同期の詳細 まずは自社環境を移転、成功 そして障害は発生した なぜ障害につながったのか まとめ 移転に至った背景 まず、なぜデータセンターを移転することにしたかを説明します。 端的に言うと、当時のデータセンターが手狭になり拡張
“第3のメモリー”の衝撃、ストレージとDBが一変する
出典：日経コンピュータ 2012年12月20日号 pp.70-77 （記事は執筆時の情報に基づいており、現在では異なる場合があります） 2012年、DRAMでもフラッシュメモリーでもない“第3のメモリー”の量産出荷が始まった。DRAM並みに高速でありながら、フラッシュ同様に電源をオフにしてもデータが消えない「新世代不揮発性メモリー」だ。新メモリーによってコンピュータのアーキテクチャーは激変し、入出力（I/O）の大幅な高速化が実現すると共に、消費電力は激減する。 コンピュータには、高速だが電源をオフにするとデータが消える「主記憶装置（メインメモリー）」と、低速だがデータが消えない「外部記憶装置（ストレージ）」という2種類の記憶装置がある。 こんなコンピュータアーキテクチャーの常識が一変する可能性が出てきた。DRAM並みに高速でありながら不揮発性を備えた「新世代不揮発性メモリー」の量産出荷が始
WalB v1.0 リリース - Cybozu Inside Out | サイボウズエンジニアのブログ
更新情報 2017年6月現在、WalB のプロジェクトページはhttps://walb-linux.github.io/です。 こんにちは．サイボウズ・ラボの星野です． 今日は，効率的なバックアップと非同期レプリケーションを目的とした Linux カーネルドライバ WalB についての簡単な紹介と，そのバージョン 1.0 のリリース告知をさせて頂きます． WalB って何？ WalB は「ワルビー」と発音します．名前の由来は Block-level WAL です．WAL は Write-Ahead Logging (ログ先行書き込み) のことで，データベースの一貫性制御等に用いられます． WalB を使うと，オンライン状態のブロックデバイスにおいて，アプリケーションやファイルシステムによるデータ書き込みによって生じる差分データを，ブロックデバイスをフルスキャンすることなく効率的に取得出来る
[P2PストレージLifeStuffの仕組み] Self-Encryption法によるデータ重複排除機構
LifeStuffは、ユーザのデータを暗号化してP2Pネットワーク上に保存するサービスです。このとき、「ユーザが保存するデータの75%から90%は重複している」という性質を利用し、同じデータを保存しないようにして、ストレージの節約を行います。しかし、誰かが暗号化して保存したファイルと、自分が暗号化して保存しようとしているファイルが「同じである」と、一体どのようにして見分けられるというのでしょうか（次画像・画像の説明は本文にて）。 ↓素朴なやり方ではうまく重複排除できない↓ 今回は、この問題を解決するためにLifeStuffが利用している技術Self-Encryptionについて、そのアイディアとエッセンスを紹介したいと思います。 私はこの方式を知ったとき「なるほど！」と思いました。この説明を読んだ方にも「なるほど！」と思っていただけると嬉しいです。 LifeStuff社の情報に、そうなった
![[P2PストレージLifeStuffの仕組み] Self-Encryption法によるデータ重複排除機構](https://cdn-ak-scissors.b.st-hatena.com/image/square/45929947fc2d0b34c4fd1e8d6b846bc457a4575d/height=288;version=1;width=512/https%3A%2F%2Fdid2memo.net%2Fwp-content%2Fuploads%2F2012%2F09%2Flifestuff-methods-deduplication-using-self-encryption-naive-encryption-cannot-deduplicate-500x3751-300x300.png)
【レポート】従来のRAIDの制限を克服する”BeyondRAID"ストレージ「Drobo」 | エンタープライズ | マイコミジャーナル
メーカー・容量・回転数の違うHDDを混載可能 今回試用した「Drobo FS」は、インタフェースとして有線LANのみを備えるNASだ。シリアルATAのHDDを最大5本搭載できる。最大の特徴は、ここに挿入するHDDは3.5インチのシリアルATAならば何でも良いということだ。通常のRAID製品ではメーカーはもちろん、回転数なども揃える必要がある。また、ケースに挿入するための専用ガイドが必要であるため、ケースメーカーからHDDを購入しなければならないのが普通だ。しかしDroboならば、そうした制限はない。 今回試用した「Drobo FS」 今回は、2TBのWestan Dedital製HDD(回転数非公開)、320GBのサムスン製HDD(回転数7200rpm)、160GBの日立製HDD(回転数7200rpm)を混在させてみたが、まったく問題なく動いた。通常はこうした容量の混在はなかなか行われない
JDSF | データ・ストレージに関する総合情報サイト | Japan Data Storage Forum
データ重複排除ツールは必要容量を大きく削減する可能性があるが、ニーズにぴったり適合する製品を選ぶとなると、なかなかやっかいである。 誇大広告、急速に変化し続ける技術、それに根強い俗説が重複排除技術の展望を語るのを難しくしている。だが、うまく導入できたときの利益は疑う余地がない。 「シングルインスタンス・ストレージの二次記憶装置とアーカイブ・システムの人気が上がって来ています。」と語るのは米国マサチューセッツ州ミルピタスにあるエンタープライズ・ストラテジー・グループ（ESG）のアナリスト、ローレン・ホワイトハウス氏である。「中には、一次記憶装置で使う重複排除ツールも出てきています。」 技術は急速に成熟している。「2年前にも重複排除ツールを見ましたが、まだ現場で使えるものではありませんでした。」とジョン・ウンダー氏は語る。彼はカリフォルニア州ミルピタスに本拠を置き、メディア向けチップを製造する
Kazuho@Cybozu Labs: Intruducing Incline - a synchronization tool for RDB shards
For the last weeks, I have been writing a tool called "Incline," a program that automatically maintains consistency between sharded MySQL databases. The aim of the software is to free application developers from hand-writing code for keeping consistency between RDB nodes, so that they can concentrate on writing the application logic. Background Denormalization is unavoidable in a sharded RDB envi
SSD（Solid State Drive）
ハードディスクの代わりとして、ノートPCでの採用が増えてきた「SSD」を取り上げる。SSDとは何か、その特徴やメリット／デメリットは？ 連載目次 ハードディスクを代替することを目的として、半導体素子を用いて作成された記憶装置。現在、最も競争と進歩が激しいデバイス領域の1つ。 記憶媒体としては、不揮発性の半導体記憶素子であるフラッシュメモリを用いるものが主流である（DRAMを採用したSSDも存在する）。ハードディスクのようにモータやヘッドなどの可動部品がないことから、衝撃に強く、消費電力が少ない、静穏であるなどの特長がある。そのため主にノートPCでSSDを採用するモデルが増えてきている。 いわゆる「5万円ノートPC」として大きく話題になったASUSTeK Computer製ネットブック「Eee PC 701 4G」がハードディスクの代わりとしてSSDを搭載したことや、フラッシュメモリの低価格
連載: IBM Watson Workspace #鬼わか アプリケーション開発: 第 7 回: IBM Watson Workspace で AI を利用したアプリ連携の実現 #鬼わか 解説（前編）
Key Value Store勉強会に行ってきました by kumofsのひと - Blog by Sadayuki Furuhashi
※分散Key-Valueストア「kumofs」を公開しました！ 先日開催されたKey Value Store勉強会に行ってきました。私の発表資料は↓ここからダウンロードできます。 kvs-kumofs.pdf 合わせて読むと理解が深まるかもしれない： スマートな分散で快適キャッシュライフ - mixi Engineer's Blog：Consistent Hashについて バイナリシリアライズ形式「MessagePack」：kumofsのプロトコル。高速なストリームバッファとストリームデシリアライザの実装も含まれています。 Protocol Buffersは遅い：MessagePackのベンチマークとProtocol Buffersとの比較。タイトルは釣り。 memstored：IOアーキテクチャのプロトタイピング マルチコア時代の高並列性IOアーキテクチャ Wavy memcached
制御ICで決まるSSD【後編】、微細化進展で信頼性確保が課題に(1/3) ― EE Times Japan
フラッシュをうまく使いこなす 今後、拡大が見込まれるSSD市場に向けて、半導体ベンダーやSSDベンダー各社は、SSDの新品種を続々と市場に投入する＊3）。これらの価格低減をけん引するのが、前述のようにNAND型フラッシュ・メモリーの微細化と多値（MLC：Multi Level Cell）化である（図4）。 図4 3ビット/セル品や34nmプロセス品が登場 微細化と多値化の進展に、各社がしのぎを削っている。東芝と米SanDisk社は56nmプロセスで技術で製造した3ビット/セルの品種の出荷を開始した。米Micron Technology社は、34nmプロセスで製造した品種のサンプル出荷をすでに開始しており、量産出荷を2008年末に開始する。 微細化については、「34nmプロセス技術を採用すれば、50nmプロセス技術適用品に比べて、記憶容量当たりのコストを50％削減できる」（Micron
制御ICで決まるSSD【前編】、微細化進展で信頼性確保が課題に(1/3) ― EE Times Japan
NAND型フラッシュ・メモリーをデータ格納用に使うSSD （Solid State Drive）は今後、さまざまな分野で急速に普及すると見られている。しかし、普及に向けた懸念事項がある。低コスト化のため、NAND型フラッシュ・メモリーの製造プロセスの微細化や多値化を進めると、データの書き換え可能な回数やデータ保持期間が低下してしまうというものだ。これを防ぐ重要な役割を担うのがコントローラ（制御）ICだ。SSDが普及する鍵は、コントローラICが握る。 「2008年は、SSD（Solid State Drive）の普及元年」――。SSDの市場が急速に拡大している。これまで、NAND型フラッシュ・メモリーにデータを格納するSSDの用途は、産業機器や軍事向けといった分野に限られていた。ところが2007～2008年にかけて、ハードディスク装置（HDD）の替わりにSSDを採用したノート・パソコンの
ソフトバンクのデータセンター事業、ヤフーに売却へ | スラド IT
ソフトバンクが、同社の全額出資子会社であるソフトバンクIDCソリューションズをヤフーに売却することを発表した（発表資料）。 ソフトバンクIDCソリューションズはデータセンター事業を展開する子会社で、ヤフーはこれを吸収合併する予定だそうだ。ヤフーはこれにより、自前でデータセンター事業も運営することになる。 グループ社間での譲渡ということではあるものの、インターネットで大規模なサービスを展開する企業がデータセンターまで運営するというのは珍しいのではないだろうか？ いちおうGoogleという例もありますが。 ヤフーは専用のデータセンターを利用していたようですが、自前での運営はしていなかったようです。日経ITproによると、これまではデータセンターの運用を他社に委託していたため、契約の関係で米Yahoo!がノウハウを持っているサーバー運用技術を利用できなかったそうですが、自前で運用することでこれら
Kazuho@Cybozu Labs: SSD (フラッシュメモリ) のベンチマークと選定基準
ベンチマークに使用したのは、一般的な HDD、高速性で有名な Intel の SSD、ネットブック (DELL Inspiron Mini 9) の内蔵 SSD (STEC 製, 32GB)、および SanDisk の SDHC カード (SanDisk Extreme III) です注。 この表を見て２つの SSD を比較すると、読み込みパフォーマンスの差がそれほど大きくないことに気づきます。また、SD カードの読み込み速度も、HDD を大きく上回っています。つまり、ランダムリードについては、メーカーや SSD 間の差は、あまり大きくない、ということになります。 一方で、書き込みパフォーマンスについては、非常に大きな差があります。X25-M と STEC の SSD の差は、実に 50 倍にのぼります (SSD の書き込みバッファをオフにした場合の値はこちらの表を参照のこと)。また、SD
Seekwatcher
Seekwatcher generates graphs from blktrace runs to help visualize IO patterns and performance. It can plot multiple blktrace runs together, making it easy to compare the differences between different benchmark runs. Download Version 0.12 HG repo tar.gz of the latest commit Examples: Btrfs streaming writes across multiple devices Ext3 Btrfs and XFS creating 20 copies of the Linux kernel sources Ext
クラウド型ストレージ「Amazon S3」は安いか？
Amazon S3は安いか高いかという議論を、この2日間で立て続けに3個所で耳（目）にした。 1人はネットサービスベンチャーのCTOで、クラウドへの移行を検討しているものの、Amazon S3やEC2の実際の価格や使い勝手がよく分からないという話だった。コスト的に見合うなら、もうサーバ運用に煩わされたくないと漏らしていた。 もう1つは、ベンチャーキャピタルとして知られるYコンビネーターの掲示板で見かけた「Does Amazon S3 really save money？」で始まる議論。1GB当たり1カ月で0.15ドルと聞くと安いようにも思えるが、1TBの月額は150ドル、2年にすると3600ドル（1ドル92円として約33万円）にもなる。しかも転送量に応じた課金もあるため、実際にはこれ以上になる。今や1TBのドライブ単価は1万円を割っていて、2年で3600ドルとは比較にもならない。「クラウド
不定期に接続するモバイルクライアントの自動バックアップを可能とするBox Backup | OSDN Magazine
特定の時刻にファイルの自動バックアップを行う中央管理型のマネージメントソリューションは確かに便利だが、重要な業務ファイルを収めたラップトップを脇に抱えて頻繁に出張をするというタイプの人間にとってはそれほど役に立たないはずだ。そうした場合に検討すべきツールが、暗号化リンクを介してラップトップからバックアップサーバへの直接的なファイルバックアップを実行するBox Backupである。 Box Backupのバックアッププロセスはサーバ主導型ではなく、ラップトップその他のクライアントによるバックアップサーバへの接続に応答して、必要な処理が自動で開始されるという方式で機能する。こうしたBox Backupのバックアップでは、SSL（Secure Sockets Layer）を用いて暗号化されたデータがバックアップサーバのディスクに直接書き込まれるため、ファイルのセキュリティも確保されるようになって
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mcpacino/dm-snap-mv @ GitHub
エンタープライズ分野にも普及、用途が拡大するSSD ― EE Times Japan