タグ

システム管理とバックアップに関するvccのブックマーク (115)

  • LTOを軽く超えた「新型テープ」“150TB到達”の衝撃

    関連キーワード バックアップ | データ | データセンター | ストレージ テープが依然として進化を続けている事実を印象付けたのは、IBMが2023年8月に発表した新型テープドライブ「IBM TS1170」だ。これはテープ規格として「LTO」(リニアテープオープン)ではなく、「IBM 3592」に従ったテープカートリッジを使用する。 IBMは1952年に「IBM 726」というテープドライブを発売した老舗のテープベンダーだ。2023年現在も企業向けにテープ製品を供給している。同社が今回発表したTS1170が採用するIBM 3592は、テープという点では同じだが、LTOとは別物になる。 「LTO」テープ超え? IBM“新型テープシステム”の正体 併せて読みたいお薦め記事 「テープ」が再び注目を集める理由とは 「テープ」はなぜ復活できたのか? その歩みを振り返る 「テープ」の出荷数が増える

    LTOを軽く超えた「新型テープ」“150TB到達”の衝撃
    vcc
    vcc 2023/11/22
    “新型テープドライブ「IBM TS1170」だ。これはテープ規格として「LTO」(リニアテープオープン)ではなく、「IBM 3592」に従ったテープカートリッジを使用する。”
  • 「結局HDDは何年間壊れずに動いてくれるのか?」をHDD故障率レポートで知られるBackblazeが解説

    例年「HDD/SSD故障率レポート」を公開していることでも知られるBackblazeが、同社が運用するHDDの総容量から、「そもそも故障率とは何なのか?」「バスタブ曲線とは何なのか?」「HDDは何年間使えるものなのか?」について解説しています。 How Long Do Disk Drives Last? https://www.backblaze.com/blog/how-long-do-disk-drives-last/ Backblazeは堅牢(けんろう)でスケーラブルながらも低コストというクラウドバックアップおよびストレージサービスを提供する企業で、その公式ページを見ると、50億個のファイルを900ペタバイト(90万テラバイト)も保存しているとアピールされています。 最高の無制限オンラインバックアップおよびクラウドストレージサービス https://www.backblaze.com

    「結局HDDは何年間壊れずに動いてくれるのか?」をHDD故障率レポートで知られるBackblazeが解説
    vcc
    vcc 2021/12/27
    “4年目まで使えるHDDは全体の90%ですが、そこから生き残れるHDDの割合はガクッと低下し、6年目生存率は65%ほど”
  • バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal

    はじめまして。技術部プラットフォームグループの sugy です。 私は主に弊社で運用しているカラーミーショップというサービスのインフラ周りの担当をしています。 記事では、カラーミーショップのバックアップサーバでデータ圧縮形式を変更して CPU 使用率を改善した話を書きます。 経緯 カラーミーショップではサービス利用者の方々の大切なデータをお預かりしているのですが、システムの可用性の確保のためにそれらのデータのバックアップを行っています。しかし、しばらくバックアップサーバの CPU 使用率が高い状態が継続していました。この状態が更に進むとバックアップ処理が完了する前に次のバックアップ処理が開始されてしまい慢性的なリソース不足になる懸念がありました。 バックアップデータは各サービス提供用サーバから、バックアップ用サーバにデータを同期した後、アーカイブ・圧縮して AWS S3 に転送・保管する

    バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal
    vcc
    vcc 2021/05/17
    gzipよりスピードが速くデータサイズが変わらないZstandard(zstd) を利用することにした。
  • 中古で入手した LTO ドライブの状態を調べる方法

    はじめに LTO ドライブは新品ではなかなか手が届かない価格なので,個人だと中古しか選択肢がありませんが,中古だとその状態が気になります.特に磁気ヘッドは磁気テープと接触して摩耗するにも関わらず,外観からは状態がわかりません. 気になって調べて見たところ,HP 製のドライブには状態を調査する手段が用意されていることが分かりました. 準備 HPE Library & Tape Tools を導入します. HPE Library & Tape Tools https://www.hpe.com/jp/ja/product-catalog/storage/storage-software/pip.hpe-library-and-tape-tools.406729.html 手元の環境は Ubuntu なので,例によって deb に変換してからインストールします. wget https://dow

    中古で入手した LTO ドライブの状態を調べる方法
  • lsyncd と rsnapshot でリアルタイム Time Machine 風バックアップを組もう - Qiita

    Apple 社の Time Machine に似た増分バックアップの仕組みに、さらにリアルタイム性を付加したバックアップシステムについて検討します。用途はホームディレクトリの世代バックアップやサーバ上の重要なデータの保全などです。 思考実験以上・運用レポート以下といったところです、長期の運用はしていないため何か落とし穴があるかもしれません。 目指すこと 「データのリアルタイムなコピー(レプリカ)をローカルに保全」しつつ、かつそれの「1時間ごとの世代バックアップを作成」することを目指します。 典型的には、ローカルマシンにマウントした外付けディスクや NAS をバックアップ先に指定することになるでしょう。別マシンへ直接バックアップする方法についてものちほど検討しますが、ひとまずローカルディスクに保存し、そのデータをさらに他のサーバへ定期的にコピーする運用を考えます。 変更のあったファイルを数

    lsyncd と rsnapshot でリアルタイム Time Machine 風バックアップを組もう - Qiita
  • 大容量記録メディア「LTO-8テープ」が日本企業間の争いによって不足

    リニア・テープ・オープン(LTO)とはコンピューター用の磁気テープ型記録媒体であり、主にバックアップやアーカイブ用途としてエンタープライズ向けに販売されています。そんなLTOの最新世代はLTO-8となっていますが、市場を専有する日企業同士の争いによってこのLTO-8の磁気テープが不足していると、クラウドストレージサービスを提供するBackblazeが報じています。 What to Do About the LTO-8 Tape Shortage https://www.backblaze.com/blog/how-to-survive-the-lto-8-tape-shortage/ 2017年、IBMをはじめとするLTOテープドライブメーカーが、LTO-8に対応した新たなテープドライブを発表しました。ところがBackblazeによると、記事作成時点でLTO-8にデータを実際に書き込んで

    大容量記録メディア「LTO-8テープ」が日本企業間の争いによって不足
    vcc
    vcc 2019/06/13
    “LTOテープメーカーは富士フイルムとソニーの2社です。2016年に富士フイルムがソニーをLTOテープ関連の特許侵害で訴え、その後ソニーが富士フイルムを反訴するという事態に発展した。”
  • 機能の一時停止

    この機能の使用ペースが早過ぎるため、機能の使用が一時的にブロックされました。 コミュニティ規定に違反していないと思われる場合は、Facebookにお知らせください。

    機能の一時停止
  • archive.kernel.org

  • linux環境を複製する方法 - pyopyopyo - Linuxとかプログラミングの覚え書き -

    以下の手順で,インストール済みの linux環境 を新しいHDDやSSDに複製できます (2016/3/22追記: 細かい点について説明を加筆しました) 新しいHDDのフォーマット 予め新しいHDDやSSDPCに接続し,フォーマットしておきます おすすめの手順は別エントリに書いてます http://d.hatena.ne.jp/pyopyopyo/20160604/p1 以下,フォーマット済みのパーティションを /dev/sde1 とし, /mnt にmountするものとして手順を説明します $ sudo mount /dev/sde1 /mnt 既存システムのマウント システムを複製する場合は /proc や /sys などの複製しなくて良いディレクトリを除外する必要があります 除外する方法はいくつかありますが,今回は手っ取り早い方法として 既存システムの / パーティションを /me

    linux環境を複製する方法 - pyopyopyo - Linuxとかプログラミングの覚え書き -
  • Windows Serverのデータ重複除去解除後のサイズを推定する方法

    Windows Serverの重複除去はとっても便利!Windows Server 2012、Windows Server 2012 R2で使用可能になったとっても便利な機能の1つに、データ重複除去機能があります。 これはデータの重複している部分(冗長部分)を排除することで、保存に必要なストレージ(データ保存用のディスクなど)の領域(容量・サイズ)を減らす機能です。 一般的なファイルサーバーでは、類似性の高いデータ、または完全に同一なファイルが多数アップロードされる傾向があるといわれています。 そしてこのデータの重複している部分(冗長部分)を排除することで、保存に必要な記憶領域を大幅に削減することが可能になる、というわけ。 そのためファイルサーバーの容量が足りない時には、この重複除去を有効にすることで、追加の記憶領域を別途調達する必要がなくなるなど、コストを低く抑えることが可能です。 また

    Windows Serverのデータ重複除去解除後のサイズを推定する方法
  • ウェブリブログ:サービスは終了しました。

    「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 BIGLOBEのサービス一覧

    ウェブリブログ:サービスは終了しました。
  • ワンライナーでtarバックアップ - harry’s memorandum

    Sourceforge.jp Magazineで連載?中のOne-Linerです。 忘れないように自分が昔から使っているのと新しく覚えたものを備忘録。 http://sourceforge.jp/magazine/09/01/14/0134202 Tarアーカイブとバックアップ 普通のtarとgzip $ tar cvf dir.tar ./dir $ gzip -1 dir.tar GNUtarでtgz $ tar cvzf dir.tgz ./dir GNUtarがない場合をパイプを使って。option '-[1-9]' は 圧縮時間を速くするか圧縮率を上げるか。 $ tar cf - ./dir | gzip -1 > dir.tar.gz もちろんgzipではなく高圧縮のbzip2でもOK. $ tar cf - ./dir | bzip2 -9 > dir.tar.bz2 もちろ

    ワンライナーでtarバックアップ - harry’s memorandum
  • 第10回 Docker環境におけるバックアップ/リストアの罠

    第10回 Docker環境におけるバックアップ/リストアの罠:古賀政純の「攻めのITのためのDocker塾」(1/4 ページ) “攻めのIT”を考える情シスが今後知っておくべき注目の技術Docker」を基から応用まで解説します。今回はDocker環境におけるバックアップ/リストアでの注意点をご紹介します。 今回は、Dockerにおけるバックアップとリストアについての話題です。「バックアップなんてツールを使えば簡単にできるでしょ?」「とりあえずユーザーデータをコピーしておけば安心でしょ?」という声があるかもしれませんが、バックアップ/リストアには、多くの罠が存在します。しかもDocker特有の罠も存在します。今回は、昔からあるバックアップ手法を紹介しながら、Dockerにおけるバックアップとリストアの世界をひも解いていきます。 古くからあるシステムバックアップ…実はそんなに甘くない IT

    第10回 Docker環境におけるバックアップ/リストアの罠
  • 日本IBMがUSBポート搭載のLTOテープ装置、同社では初

    IBMは2014年8月19日、同社としては初めてUSBポートを搭載したLTOテープ装置の新製品「TS2260」(LTO 6)およびTS2250」(LTO 5)を発表した(写真1)。8月15日から出荷を開始している。価格(税別)は、LTO 6テープドライブを搭載したTS2260が88万7100円。 TS2260とTS2250は、シングルドライブ構成のテープ装置である。同社製のテープドライブ1基と、パソコンやサーバーを接続するための外部インタフェース(SAS/USBポート)を備える。テープは手動で出し入れして使う。テープおよびドライブの規格に応じて、LTO 6用のTS2260と、LTO 5用のTS2250を用意した。 今回の製品は、日IBMにとって初めての、USBポートを備えたテープ装置となる。他のベンダーからは、すでにUSBポート接続型のテープ装置は出荷されている。そうした製品にはIB

    日本IBMがUSBポート搭載のLTOテープ装置、同社では初
    vcc
    vcc 2016/05/30
    USBポートを搭載したLTOテープ装置の新製品「TS2260」(LTO 6)およびTS2250」(LTO 5)を発表。価格(税別)は、LTO 6テープドライブを搭載したTS2260が88万7100円。
  • データセンター移転とDRBD - Cybozu Inside Out | サイボウズエンジニアのブログ

    @ymmt2005 こと山泰宇です。今回は去る 5 月から 6 月にかけて行った、cybozu.com のデータセンター移転作業について、失敗してしまったことを中心に解説します。 失敗と書いたのは、移転作業中に何度か、一部のお客様環境でストレージ高負荷による障害を起こしてしまったためです。移転作業自体はスケジュール通り進行し、6 月第二週に完了しています。障害に関しては、こちら(PDF)でお詫びとご報告をしていますが、この記事では技術面ならびに障害を引き起こすにいたった背景について詳述します。 移転に至った背景 移転方式の検討 ストレージ同期の方法 DRBD による同期の詳細 まずは自社環境を移転、成功 そして障害は発生した なぜ障害につながったのか まとめ 移転に至った背景 まず、なぜデータセンターを移転することにしたかを説明します。 端的に言うと、当時のデータセンターが手狭になり拡張

    データセンター移転とDRBD - Cybozu Inside Out | サイボウズエンジニアのブログ
    vcc
    vcc 2015/07/14
    DRBD の非同期モードは障害につながりやすい仕様。プライマリデバイス側の TCP 送信バッファが一杯になると、プライマリデバイスへの書き込みが停止する。
  • バッファロー、PCのバックアップに特化した小規模オフィス向けNAS

    バッファロー、PCのバックアップに特化した小規模オフィス向けNAS
  • ネットギア、15分ごとにフルバックアップを行うWindows用バックアップ製品

    ネットギアジャパンは12月9日、OS領域を含めたWindows PCのすべてのHDDイメージを最短15分ごとにネットワークストレージへのフルバックアップを可能とするソリューション「ReadyRECOVER」の販売を開始した。 同製品は、ネットワークストレージ「ReadyDATAシリーズ」と、Windows PCにインストールするバックアップエージェントの組み合わせで実現するバックアップソリューション。 15分ごとに行われるバックアップはすべてフルバックアップであるため、任意の時点のバックアップからの復旧が高速に行うことができ、PCの故障などでHDDの内容が失われても、代替PCを用意してから1時間程度で復旧できる。 また、ReadyDATA上で消費する保存領域は、初回のフルバックアップに15分ごとの増分バックアップを合計したものだけであるため、必要なディスク容量は従来のバックアップ方式と同程

    ネットギア、15分ごとにフルバックアップを行うWindows用バックアップ製品
  • VMware環境に最適なDR製品の選び方 ~バックアップデータの遠隔地保管編

    関連キーワード VMware | VMware vSphere | レプリケーション | BCP(事業継続計画) | 仮想化 | 災害対策 第1回「VMware環境のBCP/DR対策で陥りやすい失敗」では、災害対策(DR)の検討で陥りやすい失敗と、DRを構成する2つの仕組み(データレプリケーションとグローバルクラスタ)を解説した。 参考 第1回:VMware環境のBCP/DR対策で陥りやすい失敗 連載:仮想環境の事業継続製品 選定ポイント 連載:仮想環境のバックアップ製品 選定ポイント 連載:仮想環境のHAクラスタ製品 選定ポイント まず、DRの仕組みついておさらいしよう。前回の繰り返しになるが、守るべきものはデータである。そのためには、「(1)バックアップデータの遠隔地保管」が必須となる。それに加え、リモートサイトに「(2)スタンバイ機」を用意し、「(3)プライマリデータのレプリケーショ

    VMware環境に最適なDR製品の選び方 ~バックアップデータの遠隔地保管編
  • cpで大量のファイルをコピーした(4億3200万件、39TB)

    GNUのcpを使って大量のファイルをコピーしたところ、cpの設計上の問題で、極めてコピーが遅かったというお話。 My experience with using cp to copy a lot of files (432 millions, 39 TB) よう。俺は最近、大量のファイルをコピーする必要があったんだが、UNIXは20年もやってきた俺の経験からも、cpの挙動には驚かされたし、俺の意見はコミュニティに共有されるべきだと思う。 環境:古いDellのサーバー(2コア、初期メモリ2GB、追加して10GB、Ubuntu Trusty)と、新しいDellのストレージ格納機(MD 1200)にある、12個の4TBディスクでRAID 6が設定してあって、全体で40TBの要領を持ち、二つのドライブが同時に失敗しても問題ない環境。サーバーは遠隔地バックアップに使われていて、ディスクへの書き込みし

  • 再評価されるテープ・ストレージ~日本IBMが新しい用途を紹介

    vcc
    vcc 2014/08/21
    USB対応のLTOドライブ装置「IBM TS2260(LTO 6)」の価格は88万7100円(税別)