AWS、他社クラウドなどへの移行時にはデータ転送料金を無料にすると発表
AWSはこれまで、外部へのデータ転送料金の高さを競合ベンダから何度か非難されてきました。AWSにデータを蓄積すればするほど他社クラウドへ移行する際のデータ転送料金が高額になるため、顧客のデータを人質にしていると指摘されていました。 そのAWSが今日、他社のクラウドへ移行する際にはインターネットへのデータ転送料金を無料にすると発表しました。 ブログ「Free data transfer out to internet when moving out of AWS」（AWSから移行する際にはインターネットへの転送料金を無料にします）では、AWSは幅広いサービスを提供しており顧客はそれらを自由に選べるが、その選択肢には他社のサービスも含まれるべきだとして、次のようにデータ転送量の無料化を発表しました。 That’s why, starting today, we’re waiving data
Amazon Aurora MySQLの不具合でローカルディスクが枯渇しクエリが実行出来なくなった話 - Kaizen Platform 開発者ブログ
SRE Group Managerをしている前田です。今回の記事は当社で遭遇したAmazon Aurora MySQLの不具合の話になります。 3行まとめ Amazon Aurora MySQLのローカルストレージが異常な速度で消費、枯渇しクエリを実行するとエラーが発生するようになった 原因調査とAWSサポートへの問い合わせの結果、Aurora MySQL 2.10.0 の不具合と判明し、2.10.2へバージョンアップで解消 Auroraのローカルストレージは自動拡張されないので、残容量の監視をしましょう 事象発生と解決までを時系列で記載。 2021年10月、Auroraに対してクエリが実行出来なくなる 社内メンバーよりBIツールからAurora MySQLに対してのクエリがエラーになるとのことで、クエリに limit 100 を付けると実行出来、 limit 1000だと Error w
個人開発のコストはDB次第 - laiso
個人でWebサービスを継続的に運用するのは金がかかってかなわんという問題がある 「個人開発」だと定義が曖昧なので自己資金かつ赤字のプロジェクト(Webサービス)ということにする。 そういうプロジェクトではプロダクトオーナー=自分、開発者=自分、予算管理者=自分というロールになるので予算管理者としてコストを図る必要がある(ここでいうコストはWebサービスを実現するアプリケーションのランニングコストのこと)。 通常はみんな自分の人件費を0として計算していると思う(逆にいうとそれが負債という考え方もできると思う)。 ただしメンテナンス時間とコストのトレードオフもあるので、人件費0ではあるけど有限の時間は別軸として管理しているのが普通だと思う。極端な例だと「コスト削減できるけどメンテナンス時間10倍になる」というのは避けられる。 仮に個人開発のプロジェクトの予算を月数千円から高くても1万円ぐらいか
Docker、ボリューム(Volume)について真面目に調べた
2019-10-5追記 この記事を書いて１年が経ちましたが、実は今もほぼ毎日いいねやストックをもらっています。 やはり、Docker の Volume が気になる人は多いんだな、と感じています。 その一方、同じテーマで書いた 『[Docker] containerが使ってる全てのvolumeをCSV出力するワンライナー - Qiita』 は、未だに「１いいね」なのですが、どちらかと言えば、こちらの記事のほうが実践的なので、紹介しておきます。 具体的には「gitからcloneしてきてdocker-composeで起動したけど、これのコンテナとボリュームってどうつながってるの？」といった疑問の解決に使える思います はじめに Docker の Volume って難しくないですか？ 理解に自信が無かった部分を、真面目に調べてまとめてみました。 これを読むとわかること コンテナ と ボリューム の違
Googleサービスでの8月20日の大規模障害について、Googleが原因と対策を説明
この障害は、19日の午後8時55分～20日の午前3時30日に、複数のG SuiteおよびGoogle Cloud Platform製品でエラー、利用不可、配信の遅延が発生したというもの。日本でもGmailにファイルを添付しようとするとエラーが表示されるなどの不具合が数時間にわたって報告された。 問題は、小規模なものも含めると、Gmail、Googleドライブ、Google Docs、New Google Sites、Chat、Meet、Keep、Google Voice、Jamboard、Admin Console、App Engine、Cloud Logging、Cloud Storageなど多岐にわたった。 根本的な原因は、Googleの多様なサービスで使っている、BLOB（Binary Large OBject）と呼ばれる非構造化データに共通の内部分散システムでの過負荷。このBLOB
Deep Dive: NewSQL Databases
Overview One of my colleagues, @margo_hdb, recently posted a great article Database Architectures & Use Cases - Explained here on dev.to. In response a user asked for a deeper dive on NewSQL databases, so I thought I would put one together. The term NewSQL was coined in 2011 by 451 Group analyst Matthew Aslett. Wikipedia defines the term below: “ NewSQL is a class of relational database management
Dropbox Businessは非常に危険です | 江口某の不如意研究室
（この記事は、Dropbox社に対してフェアじゃないものになっています。続きの「Dropbox Businessは馬鹿が使うと非常に危険なことを検証しました」も読んでください） 最近、非常に重大な事故を起こしてしまったので報告します。実際の被害は、最高が7だとすると3か4ぐらい、しかし潜在的な危険度からいうと7段階で7、ってくらい重大。Dropboxでファイルを大量に失なってしまったばかりか、個人情報流出の危険をおかしてしまいました。（実際には流出といえるものはありませんでしたが） Dropbox Businessチームに招待され参加して「アカウントを統合」すると、自分では抜けられない状態になる それだけでなく、それまで自分がもっていたファイルもすべてチームのものになる 個人用の契約が勝手に解除されてしまう 私のアカウントを削除すると、管理者は私のファイルを自分のものにすることができる 管
_Details)
Linux Multi-Queue Block IO Queueing Mechanism (blk-mq) Details - Thomas-Krenn-Wiki-en
Blk-mq integrates seamlessly into the Linux storage stack. It provides basic functions to device drivers for mapping I/O enquiries to multiple queues. The tasks are distributed across multiple threads and therefore to multiple CPU cores (per-core software queues). Blk-mq compatible drivers inform blk-mq how many parallel hardware queues a device supports (number of submission queues as part of the
日本でも廃止 Amazonの容量無制限ストレージ
Amazon.co.jpのオンラインストレージサービス「Amazon Drive」に容量無制限でファイルを保存できる「Unlimitedストレージプラン」の提供が、11月20日に終了した。2017年6月には米Amazon.comでも同様のプランを終了しており、それに追従した形だ。 Amazon.co.jpのUnlimitedストレージは、16年7月に提供を始め、年額1万3800円（税込、以下同）で写真や動画、楽曲、ドキュメントなどを容量無制限でアップロードできるプランだった。 サービス終了後の切り替え先のプランは、100GB～30TBのプランが用意されている。Unlimitedストレージプランと同じ年額1万3800円で利用できるのは1TBプラン。最大の30TBプランは年額41万4000円。 Unlimitedストレージを契約していて自動更新設定をしているユーザーは、有効期間終了後に自動的に
Linuxカーネル5.0ではCFQ, Deadlineと言ったシングルキュースケジューラが全て削除されてカーネルのデフォルトIOスケジューラ設定も無くなっていました
Linuxカーネル5.0ではCFQ, Deadlineと言ったシングルキュースケジューラが全て削除されてカーネルのデフォルトIOスケジューラ設定も無くなっていました Linux 5.0での変更 5.0での全体の変更はここで見れます. 今回ビックリしたのは block/cfq-iosched.c と block/deadline-iosched.c の削除です. CFQが主にSSDで性能が良くないことは知っていましたが, Deadlineが削除されるとは思っていませんでした. まあパフォーマンスの最大化 - ArchWiki を信じるならCFQとDeadlineはマルチスレッドに対応していないので削除は時代の流れでしょう. 言及はコミット上ではここでされています. すごい破壊的変更なのに, Linux 5.0のリリースニュースにもチェンジログをまとめたサイトでも全然取り上げられて無くて, m
Rust製の分散オブジェクトストレージをOSSとして公開しました - dwango on GitHub
はじめに ドワンゴではniconicoの配信系サービスのバックエンドで利用するために、Frugalosという名前の分散オブジェクトストレージを開発しているのですが、この度OSSとして公開することとなりましたので、この場を借りて軽く紹介させて貰います。 FrugalosはRustで実装されており、現時点では以下のリポジトリが公開されています: raftlog_protobuf: raftlogへのProtocol Buffersサポートの追加 “Frugalos"って何？ “Frugal object storage"の略です。 “frugal"は日本語では「倹約な」や「節約する」といった意味となり、「読み書き性能を犠牲にせずに、膨大な数のBLOB（Binary Large OBject）を、容量効率良く保持する」ことを目指して開発されているオブジェクトストレージです。 提供されている機能は
btrfs? Dropboxさん, あなたが見ているのはext4ですよ - Gentoo metalog
注意: この記事の内容はわりと危険な部分があります. 使いたくなってもよく注意して理解して使ってください わたしもまだ大して実動テストしてません. Dropboxの中身が消失したり, FSがこわれたり, なんかおもしろいことになっても責任は一切とれません. 技術的な観賞用に留めるのが無難です はじめに Dropboxがext4しか対応しなくなるらしいですね. btrfs愛用者としてはハチャメチャめんどいです. ということで, なんとかしたくなりますね. 1つの方法として, 下の記事のようにbtrfs上にext4のイメージファイルを作ってあげるという方法があります. qiita.com ただこの方法だと, kernelの中で無駄にext4をDropboxのためだけに動かすことになりますね. ext4のmoduleなんか置いておきたくない. そう思いませんか システムコールの結果を書きかえる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
屋内型トランクルーム・レンタル収納スペース スペラボ
ストレージの基礎
大規模データ活用向けストレージレイヤソフトのこれまでとこれから（NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05）
Using an external journal with ext4 – Jean's Blog
ext4: using external journal to optimise performance
OS Configurations for Better Hadoop Performance
Storage Administration Guide | Red Hat Enterprise Linux | 7 | Red Hat Documentation
HP Smart array CLI commands