九州支社技術部(九州・中四国事業部)所属。自作パソコン好きで、ハードウェア選定の仕事を与えると喜ぶ。最近は何でもコンテナにしたい教に入信し、コンテナ化の機会を虎視眈々と狙っている。 【IIJ 2023 TECHアドベントカレンダー 12/11の記事です】 こんにちは、九州支社技術部(九州・中四国事業部)所属のy-morimotoです。 ふとしたことから、自宅に大容量の記憶媒体が欲しくなる時があるかと思います。 最近では、単体で22TBなHDDや、30.72TBなSSDなど、ラックマウントサーバ的な物を使わなくても、大容量が準備しやすい時代になりました。 ただ、1PB(1000TB)を目指した際に、意外とつまずきポイントがあったので、今回ご紹介させて頂きます。 今後、ご自宅に1PB(1000TB)を置かれる際の参考になれば幸いです。 1.USB接続の限界 簡単にHDDを接続する方法、まず思い
Amazon Web Services(AWS)は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、従来のAmazon S3 Standardストレージクラスより最大10倍高速な「Amazon S3 Express One Zone」ストレージクラスを発表しました。 Need low latency & high performance? Accelerate workloads with #AWS Amazon #S3 Express One Zone delivers the fastest data access in the cloud with the lowest-latency cloud #Storage. Speed up data processing & cross the finish with time to spare. htt
みなさん、こんな経験はありませんか もちろんありますよね。ということで無料で無限にクラウドストレージを使う方法を考えました。(月額130円で50GBは破格だけど) Youtube好き 今回使うのはYoutubeです。ほぼ全員Youtubeを見たことあると思いますが、Youtubeに動画をあげたことがある人はあんまりいないんじゃないでしょうか。 なんとこのYoutube、動画のアップロード数に制限がありません!!!じゃあファイルを動画にしてアップロードしたら好きな時にダウンロードして使えるじゃん。 動画化の方法 ということでやっていきます。まず、ファイルを動画化する方法を考えます。 すべてのファイルはバイト列なので、そいつらをそのまま画像のピクセルにして、そいつらを動画にしたらいいんじゃないかというのが一番最初に思いつくと思いますが、それは甘いです。甘すぎます。 Youtubeに動画をアップ
世間ではあらためてHDDのドリルでの破壊が話題になっているようですが、では実際、どのようにしたらドリルで確実にHDDを破壊できるのでしょうか? そこは筆者、ドリル北村にお任せください。確実に破壊する方法をレクチャーしましょう。 HDDの破壊には、ドリルで穴を開ける穿孔破壊のほか、打撃衝撃による粉砕破壊、磁気を照射する磁気消去という3つの方法があります。なかでも一番簡単なのが穿孔破壊です。 電動ドリルは、金属を貫通する必要があるので5N・m以上のトルクがあるものが望ましく、ドリルビット(替芯)は鉄工用が必要です。筆者はカインズのACドリルドライバー「KT-01」(3280円)と、直径6mmの鉄工用ドリルビット(2本で578円)を使用しました。 単純にドリルでHDDに穴を開ければ破壊はできますが、穴を開ける場所を間違えるとデータの復元ができてしまう可能性があります。データの復元を阻止するために
夏も終わりに近づいた時期ですが、エンジニア必読のストレージ入門が発売されました[1]。 基礎からの新しいストレージ入門 基本技術から設計・運用管理の実践まで こちらはゼットラボやSNIAで最新ストレージの情報発信をして下さっている坂下さんの待望の新刊技術書です。 クラウド時代にも陳腐化しないストレージ技術について、基礎からわかりやすく説明してくれています。 (私が考える)対象となる読者 アプリケーション開発をしている方からストレージ以外のインフラエンジニアまで、「ストレージなんもわからん」と感じている人々に、ぜひおすすめしたい入門書です。 特にクラウドからシステム開発に入って、 EBSとかEFSとか雰囲気で使ってる とりあえずS3、他は難しくて分からない ファイルストレージ?ファイルシステム?マウント?なんのこと?? という方は、最初から最後まで本書を通して読んでもらえれば、会社に1人は居
Backblazeは、2023年第2四半期の自社データセンターにおけるデータドライブの統計レポートを発表した。 クラウドストレージやクラウドバックアップサービスを提供するBackblazeは2023年8月3日(米国時間)、2023年第2四半期の自社データセンターにおけるデータドライブの統計レポートを発表した。 2023年第2四半期末の時点で、Backblazeは世界中のデータセンターで24万5757台のHDDとSSDを管理していた。そのうち4460台が起動ドライブで、その内訳は3144台がSSD、1316台がHDDだった。同レポートでは、BackBlazeの管理下にある24万1297台のデータドライブに焦点を当て、2023年第2四半期と生涯の故障率を報告した。 2023年第2四半期のハードドライブの故障率 2023年第2四半期では、顧客データの保存に使用される24万1297台のハードドライ
Cache Storageがめちゃくちゃ肥大化する問題 TBSのニュースサイト、TBS NEWS DIGがめちゃくちゃブラウザのストレージを消費しているという話がはてブや増田で話題になっています。 TBSのニュースサイトヤバない? – はてな匿名ダイアリー 同・はてなブックマーク 確かに、手元でも同様の状況を観測できる。 当該サイトのストレージ使用状況 はたして、これは真実なのだろうか。本当に1.4GBも食うことがあるのだろうか…… そんなわけない、ということで調査 まずは再現性を確認するためにChromeのゲストモードで当該のサイトのDevtoolを開いてましょう。すると、StorageのUsageは386MBになっていました。(適当なページを開き、リロードした時点で340MB程度であった) 当該サイトのストレージ割合 上記のスクリーンショットをよく見ていただけるとわかると思いますが、こ
2023年6月23日更新 当ブログは2021年4月に公開しOneDriveの古い仕様で説明をしております。 2023年版の記事を公開しましたので、こちらもご参考ください。 OneDriveとは OneDriveとは、マイクロソフトのクラウドストレージサービスで、Windows10とクラウドを同期するアプリケーションです。 マイクロソフトアカウントでWindows10にログインするとOneDriveが自動的に有効になり、初期設定のフリープランで保存できる容量は5GB。 最近は、パソコンセットアップ時にマイクロソフトアカウントを強要されるので、これからは多くの人がマイクロソフトアカウントでログインした状態でWindows10とOneDriveを使うようになります。 OneDriveには主に2つの機能があります。 ファイルオンデマンド機能 ファイルオンデマンドとは、パソコンのOneDriveフォ
クラウドストレージは便利だけど 何十年もお金を払い続けられるか心配…… あらゆるファイルのサイズが拡大傾向にある昨今。スマホで撮影した写真は1枚あたり数MB、画面キャプチャなら10MBを超えることも。子どもの成長記録を動画で保存しようものならGB単位でデータが増えていく。 そうしたファイルの保存先として選択されるHDDは、大容量化・低価格化が進んでいる。大量のデータを低コストで保存できるのはうれしい限りだが、使い続けるほどに故障のリスクも増える、つまり大切なデータを失ってしまう可能性が高まる。 ならばNASという選択肢はどうだろう。しかしNAS環境を自分で構築できるほどITリテラシーが豊富な人ばかりとも限らない。いくら大容量HDDが手に入れやすくなったとは言え、多くのファイルを長期間、的確に管理するのはハードルが高い。 というわけで、このところHDDよりも頼りにされているのが「クラウドスト
どうやら1TB相当のSSDは240TBまでの書き込みが保証されているようです。 「基本PCは落とさずにスリープ状態にしてるし、毎日多くても数百KBのコードしか書かないし、240TB/500KB = 131万年。 無限に使えるな」と思ったあなた、実はSSDには書き込もうと思った以上の書き込みが発生しているんです。 実際はOS起動時の読み込みがGB単位であるのでもっと使われてます。 とは言えより多く、一日5GBの書き込みを想定しても130年持つので、コードを書くだけならそこまで気にする必要はないかもしれませんが... ブラウザの設定で動画のcacheをしていたり、大量の画像を保存して編集して、とやっていると瞬く間に寿命がやってきます。 SSD めっちゃ書き込まれる問題 「諸々の理由」により、SSDへの書き込みはOSが書き込もうと思った以上の書き込み量へと増幅されます。この現象をWrite Am
CloudflareがSQLデータベースD1をアナウンスして衝撃を受けましたが、「R2もいいぞ!」というお話。 R2はS3みたいなストレージエンジンで、Sの前「R」、3の前の「2」ともじってて、AWS対抗といえます。で、ちょうどD1がアナウンスされた昨日にベータオープンしました。 A New Hope for Object Storage: R2 enters open beta 「ただのストレージだろ」とたかをくくってたんですが、使ってみてだいぶよいです。 先にまとめると以下の3つのことが言えます。 安い DX(Developer Experience)がよい Cloudflareの他の製品を組み合わせるとヤバい 詳しく紹介します。 作ったアプリ R2を評価するために、以前S3をバックエンドにして作ったアプリケーションをR2に置き換えるというのをやりました。そのアプリケーションについては
オンラインバックアップサービス企業のBackblazeは5月4日(米国時間)、「Backblaze Drive Stats for Q1 2022」において、2022年第1四半期のハードディスク故障率の調査結果を公開した。Backblazeは2022年第1四半期に21万1,732台のハードディスクおよびSSDを使用(起動ディスク3,860台、データディスク20万7,872台)。統計データとして使用できるディスクとして、20万7,478台のデータディスクに関する故障率の分析データを公開した。 Backblaze Drive Stats for Q1 2022 2022年第1四半期における注目点は次のとおり。 Seagateの6TBモデル「ST6000DX000」が、平均使用年数7年(約83.7カ月)であるにもかかわらず、2022年第1四半期において故障率0%を達成。同様に東芝の4TBモデル「
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか? そのようなS3でも巨大な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く