Amazon Elastic File System – Production-Ready in Three Regions | Amazon Web Services
AWS News Blog Amazon Elastic File System – Production-Ready in Three Regions The portfolio of AWS storage products has grown increasingly rich and diverse over time. Amazon S3 started out with a single storage class and has grown to include storage classes for regular, infrequently accessed, and archived objects. Similarly, Amazon Elastic Block Store (Amazon EBS) began with a single volume type an
【新機能】Amazon Elastic File System (Amazon EFS)がついにGA (一般利用可能)に！ | DevelopersIO
CloudWatchには[BurstCreditBalance]という項目がありますので、こちらをチェックしてみるとどれくらいの容量が必要か見積が出せると思います。 非同期書き込み EFSは共有ストレージ、ということで非同期による書き込みが出来るようにマウント時に非同期オプション（async)をつけることができます。その場合バッファはEC2内にキャッシュされます。 またパフォーマンスを確保するためにはEC2そのもののメモリやCPU処理能力も関係します。パフォーマンスが出ないと感じた時はインスタンスタイプを上げてみるのも手です。尚EBS最適化されたインスタンスでもEFSにはその影響はないので注意しましょう。 制限事項 その他制限事項を羅列します。 最大ファイルシステム数: 10 AZ毎の最大ターゲットマウント数: 1 ターゲット毎の最大セキュリティグループ数: 5 ファイルシステム毎の最大タ
至高のファイルアップロード - Qiita
システムエンジニアにとって頻出機能のひとつで、要件がモリッとしがちなファイルアップロードについてです。アップロードファイルもただの画像やPDFではなく、ExcelやCSVファイルをアップロードして、中身を読み取ってデータベースに格納する、あれを対象とします。 標準的なファイルアップロードでの設計ポイント ファイルのアップロード機能を実装しようとなると、以下のような点の設計を考える必要があります。 同期? 非同期? タイムアウトのリスクがあれば、非同期にする ブラウザのタイムアウト 通信経路(プロキシやファイヤウォール)でのタイムアウト Webサーバのタイムアウト ユーザがレスポンス返ってこないので、処理を中止するリスク 非同期の場合の実行方式 Webサーバ内でスレッドを新規に作る or 別プロセスへ処理をディスパッチする 流量制御のためリクエストをキューイングする Progress 長時間
SSDにしたのでI/Oスケジューラを noop に変更してみた - ablog
PC の HDD を SSD に変更したので、I/Oスケジューラを noop に変更してみた。 SSD は HDD のようにシーク（目的のレコードが記憶されたシリンダにヘッドを移動）したり、サーチ（目的のセクタの先頭がヘッドの位置に来るのを待つ）したり、物理的な動きはない。なので、OSのI/OスケジューラでソートなんかせずにI/Oリクエストを渡してくれたほうが速いとという話だと思う。 簡単に noop が速いことを検証した上で、noop に変更した。 cfq I/Oスケジューラを cfq に設定する [root@yazekats-linux queue]# echo cfq > /sys/block/sda/queue/scheduler [root@yazekats-linux queue]# cat /sys/block/sda/queue/scheduler noop deadlin
Streaming File Synchronization
Our users love Dropbox for many reasons, sync performance being chief among them. We’re going to look at a recent performance improvement called Streaming Sync which can improve sync latency by up to 2x. Prior to Streaming Sync, file synchronization was partitioned into two phases: upload and download. The entire file must be uploaded to our servers and committed to our databases before any other
Announcing Unco - undo changes to files made by any command
Being sick of myself occasionally wiping off the changes made to files by running wrong commands, I have started writing a program called "Unco" (pronunciation: an-ko) - a command that records the changes to the file system, and let the users undo the changes afterwards if necessary. Unlike existing command-level solutions like aliasing rm to trash-cli, Unco is designed to be capable of undoing ch
そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）
ハートビーツ最年長エンジニアの滝澤です。以前、弊社CTOにシニアおっさんエンジニアから若手エンジニアに向けて何か書いてくれと言われた気がしたので、アトミック（atomic）なファイル操作について3編に分けて紹介します。この内容は弊社の社内勉強会で話した内容をまとめ直したものです。 そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）←今回 そのファイル、安全に作成できていますか？（アトミックなファイル操作：中編） そのファイル、安全にロックできていますか？（アトミックなファイル操作：後編） 今回は「みなさん、安全にファイルの更新ができていますか？」ということについて、考えてみましょう。 あなたはあるサーバ上のファイルの更新を依頼され、もらったファイルをサーバ上でコピーして上書きしました。しばらくして、データに異常が発生したので調べて欲しいと言われました。さて、何が起き
ext3ファイルシステムとファイルの削除・復元について
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 研究の一環でext3ファイルシステムのファイル管理方法や、ファイルを削除した時の復元について色々調べたので、それを忘れないように記事にしておこうと思います。 はじめに 今回はext3ファイルシステムについて調査してみました。僕はLinuxでファイルを扱う前提の研究をしているし、大規模環境でのファイルの処理はとても重要だと思っています。 また、ファイルシステムについて理解を深めておく事で、今後新たなネタにならないか等も考えています。現在はext4やBtrfs等の調査が進んでいますが、改めて基本に戻ってext3について調査しました。 まずは、分かりやすいようにext3ファイルシステムでファイルを削除した場合に、どのようにファイル復元ができるのかを
Sheepdog Project
Overview Sheepdog is a distributed storage system for KVM. It provides highly available block level storage volumes that can be attached to KVM virtual machines. Sheepdog supports advanced volume management features such as snapshot, cloning, and thin provisioning. sheep is a disk I/O management process, dog is a cluster management process, and KVM is patched virtual machine monitor
『【研究レポート抜粋】P2P Replicated File Store の実装』
上記表の通り、仮想ノードにより偏りは少なくなったが、仮想ノードの導入により以下の問題が発生する。 ノード追加時のデータコピーの局所性物理ノードだけでコンシステントハッシングを行う場合、ノードを追加した際は新ノードが配置される場所の次に位置するノードからデータをコピーするだけでよいという特徴がある。 しかし仮想ノードを導入すると仮想的なノードが入り混じる形で配置されるので、結果的に全ての物理ノードにデータコピーが発生する。 そのため、P2P Replicated File Storeではオンラインでのノード追加機能を諦め、ノード追加時には再起動による再配置に絞ることにした。 耐障害性 レプリケーション P2P Replicated File Store では、ファイルの格納時にノード側でレプリケーションを自動的に行う。 上図のようにシーケンシャルにファイルレプリケーションを行う。 非同期での
jQuery File Upload Demo
jQuery File Upload Demo File Upload widget with multiple file selection, drag&drop support, progress bars, validation and preview images, audio and video for jQuery. Supports cross-domain, chunked and resumable file uploads and client-side image resizing. Works with any server-side platform (PHP, Python, Ruby on Rails, Java, Node.js, Go etc.) that supports standard HTML form file uploads. Pintura
HDFSはファイルサーバーに使うものじゃないよ
Hadoop（0.22以前や1.0.0）のHDFSはNameNodeがSPOF（単一障害点）なので、ファイルサーバーやデータの“バックアップ”には向かないという話です。 HDFS上に構築されているHBaseの場合、（HBase自身にはSPOFは無いけれども）HDFSにSPOFがあるので、NameNodeは冗長化した方が良いようです。 冗長化には以下のような仕組みが考えられているようです。 続きを読む
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Shared File Storage - Amazon Elastic File System (EFS) - AWS
420682 – In Indigo, Open File dialog only appears once in OS X Mavericks (10.9)
Google Code Archive - Long-term storage for Google Code Project Hosting.
Google Code Archive - Long-term storage for Google Code Project Hosting.
Charming Python: Functional programming in Python, Part 3
Loading...
IBM Developer
GitHub - cloudhead/node-static: rfc 2616 compliant HTTP static-file server module, with built-in caching.
