2022年コンテナ/Kubernetes向けストレージ技術の最新動向2022/9/9に開催されたSNIA日本支部主催「2022年度ストレージトレンドセミナー（第一回）」で発表したスライドです
Googleドライブの容量を奪う「使っていないファイル」の見つけ方 | ライフハッカー・ジャパン
どういうわけか、Googleドライブがいつもあふれそうになっている…。あなたのその問題の原因は、大量の「みなしご」ファイルがストレージ容量をひそかに奪っているからかもしれません。 みなしごファイルが生まれるのは、親ディレクトリーが削除されたのに、ファイルそのものが削除されていない場合です。 たとえば、あなたがあるドキュメントを友人のGoogleドライブフォルダにアップロードしたとします。そしてその後、あなたの友人がそのフォルダを削除し、あなたがアップしたファイルに直接アクセスできなくなっていても、あなたのストレージ内に残り、データ上限に不利に働きます。 これは稀な現象ですが、Google Play Musicの終了により、サービス終了前にきちんと削除されなかった音楽やポッドキャストなどのファイルが「みなしご」になる確率が劇的に上がってしまいました。このことは、こちらのredditスレッドで
【ストレージ初心者向け】分散ストレージ、Cephの速度を計る（１） - Qiita
こんにちは。「Rookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020」6日目は、タイトルの通り、ストレージ初心者だった筆者がCephのベンチマークを計測した際に学んだストレージシステムの性能指標とCephに代表されるような分散ストレージを計測する上での特徴や注意点について簡単にまとめます。 Rookではなくてもクラウドネイティブなストレージに関する投稿であればヨシという参加条件でしたので、Rookでもよく利用されているCephをこよなく愛する筆者としては、のりと勢いだけで応募しました。ろくに熟考もせず記載しているため間違いがあれば優しくご指摘ください！ はじめに さて、本記事は上記の通り、ストレージ素人だった筆者がCephのベンチマーク等を担当したときに、事前にこんな知識を知っておきたかったと感じた事柄について、記載したいと考えております。 また断り
ヤフー/ゼットラボのステートフルアプリケーションへの挑戦 #k8sjp
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ゼットラボ(※1)の坂下とヤフーの飯田です。コンテナオーケストレーション Kubernetesの国内イベントとして開催されたKubeFest Tokyo 2020(2020/6/13)で発表した「ヤフー/ゼットラボのステートフルアプリケーションへの挑戦」について紹介します。 ※1ゼットラボはヤフーの子会社 はじめに これまで、コンテナはステート(データ)を持つアプリケーション(ステートフルアプリケーション)が苦手と言われてきました。しかし、Kubernetesなどコンテナ関連技術の進歩により、ステートフルアプリケーションも扱えるようになってきました。そこで、ヤフーとゼットラボにて取り組んでいるKubernetes as a Ser
安全な廃棄のために使用すべきストレージの機能(2/2) - Qiita
はじめに 前回の記事では、2019年末に報じられた「個人情報が保存された自治体のHDDが、廃棄処理委託先業者の従業員によって、データ復元可能な状態のまま転売された」という事件を題材に、ストレージを安全に廃棄するために行うべき対策としてストレージのロックと難読化を挙げ、SATAおよびNVMeストレージのロックの具体的な方法をまとめました。 同じく前回の記事で指摘した通り、「データ流出」に対する根本的な対策は「難読化」です。そこで今回の記事では、この難読化についてまとめます。 難読化には、「物理的破壊」、「記憶媒体を消去状態にする」、「複数回データを上書きする」といった従来から広く行われている方法や、暗号化機能を利用した「暗号的消去(Cryptographic Erase)」まで、様々な方法があります。 この記事では、まずストレージ廃棄時の難読化に関する国内外のガイドラインを概観し、その後難読
ストレージオーケストレーター Rook : 第1話 Rook大地に立つ!! - 赤帽エンジニアブログ
こんにちは、Red Hatでストレージを中心にクラウドインフラを生業にしている宇都宮です。 今回から、Kubernetes(k8s)におけるストレージという狭ーいちょびっと深ーい話を連続で紹介します。 ご存知の方も多いと思いますが、k8sにはPersistent Volume(PV)という無敵に素敵なストレージ抽象化の仕組みがあります。だからアプリケーションからボリュームを使えるようにする辺りの処理に関してはほとんど考えなくて大丈夫。 じゃあバックエンドのストレージ自身はどうあるべきか？みたいな話って、あんまりされないんじゃないかなって思ってます。それは、k8sには多くの外部ストレージに対応したvolume driverやpluginがあって、既存の外部ストレージをそのままPVとして使えるから。実際には外部ストレージによってできる事できない事は色々ありますが、「今あるストレージが使えるんな
高負荷システムでNVMeデバイス使用時のfstrimとdiscard mount optionの話 - たごもりすメモ
先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや
iostat の見方 - ablog
出力例 $ iostat -x 30 avg-cpu: %user %nice %system %iowait %steal %idle 0.87 0.01 2.53 0.49 0.00 96.11 Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util sda 0.05 16.03 0.36 13.74 5.77 238.22 17.31 0.15 10.39 0.98 1.38 sda1 0.00 0.00 0.00 0.00 0.00 0.00 15.53 0.00 12.81 11.47 0.00 sda2 0.05 16.03 0.36 13.74 5.77 238.22 17.31 0.15 10.39 0.98 1.38 avg-cpu: %user %nice %syst
iostat await svctm の 見かた、考え方
4. 4 下記はiostat -x のログのサンプル iostat -x 1 ： avg-cpu: %user %nice %system %iowait %steal %idle 0.76 0.00 0.51 1.52 0.00 97.22 Device: rrqm/s … rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util sda 0.00 … 2000.00 88.00 208.80 0.14 13.70 8.00 8.00 sdb 0.00 … 0.00 24.00 8.00 0.09 31.33 21.67 6.50 avg-cpu: %user %nice %system %iowait %steal %idle 0.76 0.00 0.51 0.25 0.00 98.48 Device: rrqm/s … rsec/s ws
[速報] EFS（Elastic File System）が2018年7月に東京リージョンで提供開始！ #AWSSummit | DevelopersIO
こんにちは、菊池です。 追記：予告通り、日本時間の7月12日に東京リージョンでの提供が開始されました。 ついにきた！EFS（Elastic File System）が東京リージョンで利用可能になりました！ いよいよ、ついに、この日がきました！現在開催されている、AWS Summit 2018 Tokyoのキーノートにて、EFS（Elastic File System）が2018年7月に東京リージョンで提供開始されることがアナウンスされました！ Amazon Elastic File System (EFS)の東京リージョン対応がアナウンスされました EFSとは EFSは、複数のサーバでNFSマウント可能な共有ストレージサービスです。 2015年4月に発表、2016年6月に正式サービスリリースされたものの、東京リージョン（ap-northeast-1）での提供がされていませんでした。最初の発
![[速報] EFS（Elastic File System）が2018年7月に東京リージョンで提供開始！ #AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/03c1e1204c7553dee92c22b93f054a1aeb2cedf2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F04%2F400x400.png)
ネットワーク/ストレージの処理能力をチェックするためのベンチマークツール 2ページ | さくらのナレッジ
ストレージの性能を調査するベンチマークツール 続いて、ストレージの性能を調査するためのベンチマークツールについて紹介しよう。ストレージ性能の評価基準としては、まず読み書き速度が挙げられる。ただ、ネットワークの場合とは異なり、多くのストレージではアクセスのしかたによってそのパフォーマンスが異なる。一般的にもっともパフォーマンスが高いのが、「シーケンシャルアクセス」という、連続したデータを一気に書き込むようなアクセスだ。いっぽう、小さいデータをさまざまな個所に書き込むような「ランダムアクセス」はシーケンシャルアクセスよりもパフォーマンスが落ちることが多い。ベンチマークツールにはシーケンシャルアクセスのみの性能測定しかできないものもあるので、目的に応じて使用するベンチマークツールを選択する必要がある。 ベンチマークツールとしてよく知られているものとしては、表1が挙げられる。 表1 ストレージ向け
【和訳】コンテナとストレージの問題：コンテナ普及の要因分析 #docker - クリエーションライン株式会社
本稿は2017年4月7日「Containers and Storage: Why We Aren’t There Yet」を和訳したものです。 IBMのコンテナ技術の専門家、James Bottomley氏の 先日ボストンで開催されたLinux Foundation Vault storage カンファレンスでの発表の内容によると、コンテナのオーケストレーション系の技術が多く登場しているが、定常的ストレージの問題が解決されなければ、本格的な普及は難しい、と述べている。 根本的な問題：ステートフルストレージ（恒常的ストレージ）はLinux系のアーキテクチャにおいては、外部ストレージシステムのファイルシステム自体のユーザID (fsuid) と コンテナ内で生成されるユーザID (uids) との連携を維持する事が出来ない事。 Linuxカーネル側は、superblock user names
The History of etcd | CoreOS
For customersCustomer supportSubscription managementSupport casesRed Hat Ecosystem CatalogFind a partnerFor partnersPartner portalPartner supportBecome a partner Try, buy, & sellRed Hat MarketplaceRed Hat StoreContact salesStart a trialLearning resourcesDocumentationTraining and certification Hybrid cloud learning hubInteractive labsLearning communityRed Hat TVOpen source communitiesAnsibleGlobal
Page Not Found
High-Performance Shared Storage Quantum high-performance storage enables coordinated and shared access to your critical data. Powered by StorNext, it includes an Xcellis for system management and client connectivity, and RAID storage for data. Overview File System StorNext®, a combination of a high-speed, parallel file system and data management software, was created to solve the daunting problem
“第3のメモリー”の衝撃、ストレージとDBが一変する
出典：日経コンピュータ 2012年12月20日号 pp.70-77 （記事は執筆時の情報に基づいており、現在では異なる場合があります） 2012年、DRAMでもフラッシュメモリーでもない“第3のメモリー”の量産出荷が始まった。DRAM並みに高速でありながら、フラッシュ同様に電源をオフにしてもデータが消えない「新世代不揮発性メモリー」だ。新メモリーによってコンピュータのアーキテクチャーは激変し、入出力（I/O）の大幅な高速化が実現すると共に、消費電力は激減する。 コンピュータには、高速だが電源をオフにするとデータが消える「主記憶装置（メインメモリー）」と、低速だがデータが消えない「外部記憶装置（ストレージ）」という2種類の記憶装置がある。 こんなコンピュータアーキテクチャーの常識が一変する可能性が出てきた。DRAM並みに高速でありながら不揮発性を備えた「新世代不揮発性メモリー」の量産出荷が始
An Efficient Backup and Replication of Storage
This document describes WalB, a Linux kernel device driver that provides efficient backup and replication of storage using block-level write-ahead logging (WAL). It has negligible performance overhead and avoids issues like fragmentation. WalB works by wrapping a block device and writing redo logs to a separate log device. It then extracts diffs for backup/replication. The document discusses WalB'
さくらインターネット、分散ストレージサービスを今秋に開始へ
さくらインターネットは2013年秋に、分散ストレージサービスを開始する。同社の田中邦裕社長が、インテルが2013年5月22日に開催した記者説明会に登壇して明らかにした（写真1）。分散ストレージソフトにはインテルが出資する米アンプリデータの「Amplidata」を、ハードウエアにはインテルのCPUを搭載したPCサーバーを使用する。サービスはさくらインターネットの「石狩データセンター」から提供する。 さくらインターネットの田中社長は、同社の分散ストレージサービスについて「『Amazon S3』に相当するもの」と述べ、「さくらのクラウド」で仮想マシンを利用するユーザーが、データのアーカイブや仮想マシンのバックアップに使用するものになると説明した。 また分散ストレージは、さくらインターネット自身も使用する。「当社では現在、サーバーログが1日で1テラバイト増えている。そのためサーバーログは、半年で消
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ストレージの基礎
https://jp.techcrunch.com/2014/05/01/20140430red-hat-buys-ceph-provider-inktank-for-175m-in-cash-to-beef-up-its-cloud-storage-offerings/
■SNIA日本支部主催「ストレージトレンドセミナー」開催のお知らせ■ : SNIA-J