データベースリライアビリティエンジニアリング
テクノロジーの進化に合わせて、データベースもまた進化しています。従来のパフォーマンス、スケーラビリティが重要なことはもちろん、今日ではセキュリティ、インフラのコード化、CI/CD、クラウド活用といったタスクにも取り組んでいかなければなりません。 データベースの本質は、長期的に安定していること。つまりリライアビリティ（信頼性）です。時代とともにアーキテクチャやツールが変わってもこの原則は変わりません。本書はデータベースのリライアビリティを実現するための考え方を「データベースリライアビリティエンジニアリング」と定義して、その具体的な手法を紹介します。 はじめにDBREの基本概念を解説し、サービスレベルの定義と測定、リスク評価と管理、オペレーションの可視化に進みます。そして、データベースを取り巻くインフラストラクチャの構成管理と自動化、バックアップとリカバリ、リリースマネジメント、セキュリティ、
配信基盤を支えるオンプレ技術 - DMM inside
｜DMM inside
※本ブログは2022/2に執筆されています。そのため、アップデートによって内容が現在と異なる可能性があります。 はじめに モバイル事業本部プロダクトエンジニアリングセクション マネージャーの安田です。 インフラっぽいことやクラウドっぽいことやデータエンジニアっぽいことをやってます。 今回、モバイル事業部で使うS3のコスト削減のため、ストレージクラスの移行等を行うライフサイクルの設定を行いましたのでご紹介します。 これからS3の管理を行っていく方、コスト削減に興味のある方の参考になれば幸いです。 実施の背景 モバイル事業本部ではドワンゴジェイピーやアニメロミックスなど音楽配信ビジネスを中心に展開しており、様々なレーベルからお預かりした楽曲データを管理しています。 また、ニコニコ事業本部ができる前からサービスを行っており、多大な量のシステムログやクラウドサービスのログデータなどが存在しています
フロッピーディスクに保存された情報をどうやって長期的に保存するのか。ゲーム保存協会が設立当初から追い続けてきた課題に、いよいよ決定打となる答えが出されました。 ゲーム保存協会はゲーム資料の劣化と戦い続けています。特に日本のゲーム史を支えてきた80年代PCゲームの数々はフロッピーディスクという形で発売されていますが、フロッピーなどの磁気媒体は年数がたてば磁気が弱くなりデータが読めなくなります。さらに日本の高温多湿な環境では、遺された多くの資料がカビの被害にあうなど、損傷も進んでいました。少しでもこうした劣化を遅らせるための保管方法を模索するとともに、根本的な解決策として、フロッピーディスクに記録された情報の移行（マイグレーション）の方法を見つけることが急務でした。 ゲーム保存協会はもともとKryoFluxと呼ばれるフロッピーディスク保存技術の開発に関わっており、これまで団体内でもこのKryo
というアプローチを紹介してる記事があって、なるほど？と思ったのでまとめてみる。 元記事はこちら。 Leveraging Web Workers to Safely Store Access Tokens – The New Stack 毎度のことながら、今にはじまったことではない。 元記事いわく WebWorkerであれば、メインスレッドで実行されるであろうXSSや3rdのコードから触れないので安全！ 設計としては、 メイン: まず`Worker`をロード メイン: 初期化のメッセージを`postMessage()` クレデンシャルがあるならそれを渡す ワーカー: アクセストークンの準備 受け取ったやつ or そこで`fetch()`して、オンメモリに保存 （これで準備OK） メイン: APIにリクエストしてほしいと`postMessage()` ワーカー: APIに向けてアクセストークン
SSDストレージがほぼ同時に3本故障した――。東京・大田区が2024年4月17日、昨秋発生したシステム障害の検証結果を明らかにした。複数のシステムが利用できない状態に陥ったことで行政サービスの停止に追い込まれたトラブルは、ハードウエアを冗長化していた同区の想定を上回る事態によって生じたものだった。 トラブルのあらましはこうだ。2023年10月9日から10日未明にかけて大田区の情報システム基盤に障害が発生。住民記録システム、国保年金システム、税務システム、介護保険システム、生活保護システムが使用不可となった。結果、証明書類の発行など各種行政手続きは停止を余儀なくされた。 同月12日に3つのシステム、15日には全てのシステムが利用可能な状態に復旧。保留していた処理を完了し、完全復旧にこぎ着けたのは18日のことだ。障害発生から9日が経過していた。 「大田区において、ここまで大規模なシステム障害は
はじめに コンピュータの世界では「性能」および「性能測定」という言葉があります。これらの言葉にはたくさんの意味があるのですが、業務システムの構築、運用にかかわったような人でなければ、「PCの新しいパーツに対して様々なベンチマークソフトウェアを走らせること」が性能測定であり、その結果得られるものが「性能」といったところでしょう。本記事ではそれ以外の、業務システムにおける性能や性能測定について述べます。 性能 ひとくちに性能といっても、さまざまな指標があります。代表的なものは「スループット」、「IOPS」、そして「レイテンシ」です。これらについてストレージデバイスを例に説明します。 スループットは単位時間あたりにどれだけのデータを送受信できるかであり、XX MB/sやYY GB/sのようにあらわします。性能といって一番イメージしやすいのはこれでしょう。スループットが重要な意味をもつのは大きなデ
Backblazeは、2023年第2四半期の自社データセンターにおけるデータドライブの統計レポートを発表した。 クラウドストレージやクラウドバックアップサービスを提供するBackblazeは2023年8月3日（米国時間）、2023年第2四半期の自社データセンターにおけるデータドライブの統計レポートを発表した。 2023年第2四半期末の時点で、Backblazeは世界中のデータセンターで24万5757台のHDDとSSDを管理していた。そのうち4460台が起動ドライブで、その内訳は3144台がSSD、1316台がHDDだった。同レポートでは、BackBlazeの管理下にある24万1297台のデータドライブに焦点を当て、2023年第2四半期と生涯の故障率を報告した。 2023年第2四半期のハードドライブの故障率 2023年第2四半期では、顧客データの保存に使用される24万1297台のハードドライ
外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 | Amazon Web Services
Amazon Web Services ブログ 外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 このブログは 2022 年 3 月 24 日に Anderson Hiraoka (Solutions Architect) と、Rafael Koike (Principal Solutions Architect) によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 企業では、ファイルや画像などのデジタル資産をリポジトリに保存することが求められることが多くあります。多くの場合、これらのファイルのソースは、社内システムに接続されていないパートナーまたは個人であり、ファイルをアップロードするためには、企業の認証が必要となります。お客様は従来、ファイルのアップロードを処理するためにサーバーを使用していましたが、大量のネットワー
埼玉大学は2月9日、業務で使っているNASが不正アクセスされ、ランサムウェアによりデータが改変される被害に遭ったと明かした。ネットワーク設定に不備があった上、NASのパスワードが破られたのが原因としている。 不正アクセスがあったのは2022年6月7日。午前8時ごろにネットワークアクセス制限の設定を変更したところ、設定不備が発生し、外部からNASにアクセスできるようになった。同日正午ごろになると外部からのログイン試行が繰り返され、NAS2台のパスワードが破られたという。攻撃者は侵入したNAS経由で他のNAS4台にも不正アクセスし、データを改変した。 埼玉大学は午後3時ごろに異常を確認し外部からのアクセスを遮断。学内の担当者が調査やデータ復旧作業、学内にある全NASの点検や設定見直しなどの対応をとった。 同学は「本件の発生を厳粛に受けとめ、情報管理体制の強化と再発防止に取り組んでまいります」と
各種メモリ／ストレージについて，2023年時点で標準的なアクセス時間，所要クロックサイクル，転送速度，容量を，各種カタログスペックを参考にまとめてみました． レジスタ(レジスタファイル) 最近のCPUのレジスタ(register)のアクセスは，通常CPUの1クロックサイクルで完了します．2023年時点では，標準的なCPUのクロック周波数は，1〜4GHz程度のオーダーです．1GHzは1秒あたり10億回，すなわち1クロックサイクルは1ナノ秒です． したがって，2023年時点では，レジスタには0.25〜1ナノ秒程度でアクセスできると言えます． レジスタのメモリ容量は，レジスタファイルに存在するレジスタ数に依存します，これは命令で明示的に指定できるレジスタ数という解釈もありますが，レジスタ・リネーミングのようなプロセッサ技術を用いると，実際にはより多くのレジスタ数を持っていると解釈することもできま
AWS、Azure、GCPのどの仮想マシンからでもiSCSIでアクセス可能なブロックストレージ「HPE Cloud Volumes」、HPEが国内リージョンで提供開始
AWS、Azure、GCPのどの仮想マシンからでもiSCSIでアクセス可能なブロックストレージ「HPE Cloud Volumes」、HPEが国内リージョンで提供開始 Hewlett-Packard Enterprise（HPE）は、AWSやAzure、GCPのどのクラウド内の仮想マシンからでもiSCSIで高速にアクセスできるフルマネージドなブロックストレージサービス「HPE Cloud Volumes」を、日本国内にある同社のデータセンターから提供を開始し、11月1日より販売を開始すると発表しました。 11月1日の時点でAWSとAzureに対応。GCPへの対応は近日中に行われるとのこと。 特定のクラウドに依存しないストレージを作成できる Cloud Volumesの大きな特徴は、特定のクラウドに依存しないブロックストレージが提供されていることです。 一般に、例えばAWSのブロックストレー
Litestream メモ
Litestream Litestream - Streaming SQLite Replication benbjohnson/litestream: Streaming replication for SQLite. SQLite を S3 のようなオンラインオブジェクトストレージにリアルタイムでレプリケーションをとる仕組み。 事例 A database for 2022 · Tailscale Tailscale が Litestream へ移行している
ITP更新: IntelligentではなくなったIntelligent Tracking Prevention｜AD EBiS マーテック研究会
iOS13.4やSafari13.1と一緒に新しいITPがリリースされました。主な変更点は二つ。 * 全ての3rd party cookieをブロック * Local Storage等、クッキー以外のストレージを最後のインタラクションから7日後に削除 インタラクションとは、クリック・タップ・入力のことで、ドメイン毎に監視され、7日以内にインタラクションがないドメインのLocal Storageは削除されます。 その他に、JavaScriptからdocument.referrerで取得する全てのクロスサイトリファラーのダウングレード（"https://store.example/baby/strollers/deluxe-stroller-navy-blue.html"の場合、"https://store.example/"しか取得できなくなる）、および5秒以内の自動ページ遷移の検知も追加さ
はじめに 参考書籍が非常に参考になったのでテーブル設計に関する内容のみをピックアップまとめてみました。普段テーブル設計をしていれば"当たり前"に実践している方も多いと思いますが、今回チーム内での勉強会用の資料の意味合いも込めて作成しました。本記事では、基本的にリレーショナルデータベースにおける設計を想定しています。 ご留意ください 本記事は"何があってもこのような設計が非推奨される"というものではありません。その時々のコンテキストによっては採用することが妥当な場合もあるかと思います。 1. 正規化が不十分 非正規化とは、データベース設計において、データの重複や冗長性を意図的に許容することを指します。正規化は、データの整合性と効率的なストレージのためにデータの重複を排除するプロセスですが、非正規化はそれとは逆のアプローチをとります。非正規化の目的は主にパフォーマンスの向上です。ジョイン操作の
福井県産業情報ネットワーク「ふくいナビ」の利用者データ（10/5時点）の復元およびシステムの復旧時期（予定）について | 公益財団法人ふくい産業支援センター
令和２年１１月１日（日）から全データの消失により使用できなくなっております福井県産業情報ネットワーク「ふくいナビ」の令和２年１０月５日時点での利用者データのバックアップが確認され、メールマガジン、メーリングリストの配信先メールアドレス等の情報を抽出できることになりましたのでご報告します。 また、「ふくいナビ」のクラウドサーバーに移行する前の旧システムプログラムも確認され、システムの復旧時期（予定）が決まりましたので併せてご報告します。 障害発表以降の経緯について サーバー管理会社であるＮＥＣキャピタルソリューション（株）福井営業所（以下、「ＮＥＣキャピタルソリューション」という）と「ふくいナビ」システムの運用保守会社（以下、「保守業者」という）に調査をさせたところ、システムプログラムと登録されていたデータが完全消失し、復旧できない旨の報告を受け、１１月５日（木）に「ふくいナビ」の障害につい
三井住友カード ゴールド(NL)のデメリットは?メリットない・いらないは勘違い【年会費無料になる100万円修行のコツ】
カセットからフロッピー、そしてハードディスクを制御するSASI、SCSI、IDE、ATA、SATA――さまよえるストレージ用インタフェース標準を語る
カセットからフロッピー、そしてハードディスクを制御するSASI、SCSI、IDE、ATA、SATA――さまよえるストレージ用インタフェース標準を語る：“PC”あるいは“Personal Computer”と呼ばれるもの、その変遷を辿る（1/5 ページ） 昔ながらのIBM PC、PC/AT互換機からDOS/Vマシン、さらにはArmベースのWindows PC、M1 Mac、そしてラズパイまでがPCと呼ばれている昨今。その源流からたどっていく連載。第15回はちょっと目先を変えて、ストレージ用インタフェースの進化について。 第1回：“PC”の定義は何か まずはIBM PC登場以前のお話から 第2回：「IBM PC」がやってきた エストリッジ、シュタゲ、そして互換機の台頭 第3回：PCから“IBM”が外れるまで 「IBM PC」からただの「PC」へ 第4回：EISAの出現とISAバスの確立 PC標
はじめに AWSのクラウドストレージであるAmazon S3は、AWS上にファイルを保存する際に第一の選択肢となるサービスです。その普及度の高さから進化も早く、最新機能も含めた全体像の理解は労力が掛かります。 そこで備忘録も兼ねて、2023年4月時点での機能および使用法を、初学者でも理解しやすいことを心掛けてまとめました。 網羅度にこだわってまとめたので、「S3の全体像を理解したい！」という方は、ぜひご一読頂ければと思います。 また、S3のセキュリティとバックアップ機能は別記事にまとめたので、よければこちらもご参照ください。 Amazon S3とは 「Amazon Simple Storage Service」の略です。後ろの3つの単語の頭文字が全てSなので、S3と略しているようです。 S3は端的に言うとクラウド上にファイルを保存するためのサービスで、Googleドライブのようなオンライン
HSEとは何か
Heterogeneous-Memory Storage Engineについて解説します これは2020年6月6日に行われた カーネル/VM探検隊 online part1での発表資料です 参考文献 Heterogeneous-Memory Storage Engine: https://www.micron.com/hse Don't stack your log on my log: https://www.usenix.org/node/187064 電源を切っても消えないメモリとの付き合い方: https://speakerdeck.com/fadis/dian-yuan-woqie-tutemoxiao-enaimemoritofalsefu-kihe-ifang この資料のサンプルコード: https://github.com/Fadis/hse_demo カーネル/VM探検隊
無料でGoogleドライブ・FTPなど70以上のストレージサービスに対応しているファイル転送・同期アプリ「Rclone」を使ってみたレビュー
さまざまなクラウドサービスを使っている場合、それぞれのシステムに応じたファイルの転送手段を準備するのは面倒なもの。「Rclone」は70種類以上のストレージサービスに対応しており1つのアプリでほぼ全てのストレージサービスとファイルのやりとりをできるとのことなので、実際に使ってみました。 Rclone https://rclone.org/ RcloneはUNIXコマンドで言うところの「rsync(同期)」「cp(コピー)」「mv(移動)」「mount(マウント)」「ls(ファイル一覧表示)」「ncdu(ディスク使用量確認)」「tree(ディレクトリ構造をツリー表示)」「rm(削除)」「cat(ファイルの中身表示)」の動作が行えるとのこと。 また、「--dry-run」に対応しており事前にコマンドの結果をプレビューすることで重要なファイルを削除してしまうというミスを減らすことが可能となってい
Rustは2006年に開発がスタートし、Mozillaが開発を支援。近年では開発者向けのQ&Aサイト「スタック・オーバーフロー」でも好きな言語ランキングで人気を博しています。 システムプログラミングに適した言語であり、CやC++からの移行を考えている方もいるのではないでしょうか。 『詳解Rustプログラミング』ではRustの基礎や独自機能だけでなく、システムプログラミングのノウハウについても解説されています。 【本書で取り上げるジャンル】 ・メモリ操作 ・ファイルとストレージ ・ネットワーク ・時間管理 ・プロセスとスレッド ・カーネル ・割り込みと例外処理 Rustをしっかり学びたいとき、読み通すことで確かな知識を得られる1冊となっています。 目次 第1章：はじめに 第1部：Rust言語の独自機能 第2章：言語の基礎 第3章：複合データ型 第4章：ライフタイムと所有権と借用 第2部：シス
S3のAPIと互換性を持ったオブジェクトストレージの運用についてお話します - Pepabo Tech Portal
はじめまして。 技術部プラットフォームグループの@rsym1290です。 弊社ではBayt(ベイト)というプライベートなオブジェクトストレージを運用しています。 本記事では、Baytの紹介と最近の取り組みについて紹介したいと思います。 Baytとは？ Baytとは、S3と互換性のあるAPIを提供しているプライベートなオブジェクトストレージです。 弊社では様々なサービスを提供していますが、各サービスで画像・動画・テキストなどのコンテンツを扱うことが多々あり、 それらを保存できるストレージが必要です。 このストレージを提供しているのがBaytです。 特に利用しているのはカラーミーショップとグーペです。 カラーミーショップで利用する商品画像や、グーペで利用するホームページ用の画像の保存先としてBaytを利用しています。 カラーミーショップについては、昨年12月に「カラーミーショップの商品画像の最
ゲームクリエイターがゲーム制作に使っていたGoogleドライブがいきなり垢バンされてデータが全部消える危機に「手元にバックアップはしておこう」
いづみ上総（作家） @gold_9_tail ゲーム制作に使っていたGoogleドライブが垢バンされました。 データは全てそこに保存していました。異議申し立てはしました。受理されなかった場合は全ての制作中の物が消滅します。 みなさん、Googleに制作データを保存するのは止めましょう。 2023-04-01 02:59:46
本記事の読者層向けに「バッファローの」と書いたが、実際の「おもいでばこ」ユーザーは、バッファローというメーカーのことはほとんど何も知らないはずである。なぜならば、本体にもリモコンにもBUFFALOの赤いロゴはどこにもなく、本体底の製造番号シールのところに小さく「Buffalo Inc.」と書いてあるだけだからだ。 われわれIT／PC系オジサンの知るバッファローは、ヨドバシやビックカメラのストレージ売り場やLAN売り場の目立つ場所にやたらと箱を積み上げるメーカーであり、アキバの裏通りで「玄人志向」シリーズを売るメーカーだ（現在はグループ内の別会社）。ストレージやルータは、その時々で最も最新規格に対応し、最も速く、そして店頭に早く並ぶことが求められる。競合他社が2万9800円で売れば、2万9500円で売るような、ヒリヒリしたビジネスだ。 一方「おもいでばこ」は、そのバッファローから20光年ぐら
23万台超のHDD運用実績からぶっ壊れやすいモデルを統計的にまとめたBackblazeの「メーカー・モデル別統計データ2022年版」が公開
2022年12月31日時点で23万以上のHDDを運用しているBackblazeが、どのモデルのHDDが故障しやすいのかがわかる統計データ「メーカー・モデル別統計データ2022年版」を公開しました。 Backblaze Drive Stats for 2022 https://www.backblaze.com/blog/backblaze-drive-stats-for-2022/ 2022年にBackblazeが運用したHDDの数は23万5608台で、その内訳はブートドライブとして利用されたものが4299台、データドライブとして利用されたものが23万1309台でした。データドライブとして利用された23万1309台のうち、テスト目的で使用された388台と60台未満しか運用されていないモデルのデータを除外して、BackblazeはHDDの故障率をまとめた統計データを公開しています。 2022
BetaNewsは5月5日(米国時間)、「Windows Defender bug creating thousands of files on Windows 10 systems」において、Windows Defenderをデフォルトのセキュリティソリューションとして使っている場合、Windowsのシステムストレージ容量が予測外に不足する状況が発生していると伝えた。あるユーザーはWindows Server 2019のストレージ上に一晩で400万個のファイル（11GB以上）が生成されたと報告しているほか、Windows 10, version 20H2で一晩で10,800個以上のファイルが生成されたいう報告も見られる。 BetaNewsはこの問題について、Windows Defenderをデフォルトのセキュリティソリューションとして使用している場合に発生していると説明しており、特にエン
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
S3のコストダウンを実施してみた - dwango on GitHub
フロッピー保存の新時代がはじまります！ – ゲーム保存協会
【レビュー】 楽しくいじれる4万円の10GbE対応NASキット「TerraMaster F2-422」
macOS向け「Dropbox」、外付けドライブのサポートを終了。回避方法はなくユーザー阿鼻叫喚【やじうまWatch】
アクセストークンをWebWorkerで扱う - console.lealog();
SSDの3本同時故障でシステム障害に見舞われた大田区、NECが486万円賠償し和解
性能と性能測定の基礎 - 覚書
8TBのHDDだけ故障率が高い謎――自社利用HDDの調査で分かった「気になる真実」とは
「パスワード破られた」 埼玉大のNASで不正アクセス被害 ネットワーク設定ミス発生から数時間で侵入許す
QNAP製NAS、再びランサムウェアの標的に
各種メモリ／ストレージのアクセス時間，所要クロックサイクル，転送速度，容量の目安 - Qiita
NASの文書をChatGPTのコンテキストに！ QNAPの全文検索エンジン「Qsirch」を活用【イニシャルB】
【随時更新】テーブル設計でミスらないために確認したいアンチパターン - Qiita
GmailとGoogleドライブの容量を空ける6つの方法 | ライフハッカー・ジャパン
【AWS】Amazon S3 を徹底的にまとめてみた！ - Qiita
Windowsゲームのロードを高速化するDirectStorage技術が一般公開へ
WD製NASに脆弱性、今すぐネット切断を。フルリセットで全データ消失
「Synology Drive」でテレワークもファイル共有も！ 1万円台のNASでもPCとファイルを自動同期【イニシャルB】
システムプログラミングが得意なRustを学ぶなら今！『詳解Rustプログラミング』発売
バッファロー、USBメモリのようなスティック型SSD
【Mac Info】 Macの高速化に効果的!「ストレージ不足」を解消する"無料"のメンテナンステクニック
発売から11年、進化だけを目指さない「おもいでばこ」の歩み
HDDの容量を10倍にする技術。プラッタのグラフェンコーティングで実現
【データ復旧のプロに聞く ストレージ運用のコツ】 HDDの構造と消耗、高密度プラッタが復旧難易度を上げてしまう理由
NASのデータを「Microsoft Teams」（SharePoint）に移行してみた【イニシャルB】
Windows 10でWindows Defenderが数千のファイル生成する問題確認
https://tech.pepabo.com/2021/04/13/storage_management/