GCSバケットをマウントする Cloud Storage FUSE - rakumoコンサルティング部 Tech Blog
こんにちは。rakumoコンサルティング部の末木（id:ksueki）です。 本記事ではGoogleから提供されているCloud Storage FUSE(GCS FUSE)について扱います。 GCS FUSEはオープンソース(Apache License)のFuseアダプタで、 これを利用することでGoogle Cloud Storage(GCS)のバケットをLinuxもしくはOS X上でファイルシステムとしてマウントすることが可能です。 今回はGCS FUSEをGCPリソース上で利用する方法、 またGoogle Compute Engine(GCE)インスタンスでGCSバケットをマウントした環境におけるベンチマークの結果について紹介します。 GCP環境 前述の通り、今回はGCEインスタンスにGCSバケットをマウントする構成を想定しました。 以下にGCE・GCSの構成を列挙します。 GC
40ギガのピカチュウ画像をやりとり、社内データはテラバイト級――ポケモン社が「Box」「Googleドライブ」を使い分ける理由
40ギガのピカチュウ画像をやりとり、社内データはテラバイト級――ポケモン社が「Box」「Googleドライブ」を使い分ける理由（1/2 ページ） 「ポケットモンスター」シリーズの版権管理を手掛ける「株式会社ポケモン」（以下「ポケモン社」）。ピカチュウなどおなじみのキャラクターが米Nianticの「Pokemon GO」など他社のゲームに登場するのは、ポケモン社がIPを提供しているためだ。同社は他にも多様なパートナー企業と組み、ポケモンを起用した商品・サービスの展開を支援している。だが、保有するポケモンの画像・動画のデータ量が膨大であるため、共有や管理に苦労する場合が多いという。 40GBのピカチュウ画像をやりとり ポケモン社テクニカルディレクターの関剛さんは、Box Japanがこのほど開いた年次カンファレンス「Box World Tour Tokyo 2019」に登壇し、「キャラクターご
［速報］顧客のデータセンターに大型トラックで乗り付け、100PBのデータを吸い上げる「AWS Snowmobile」発表。AWS re:Invent 2016
［速報］顧客のデータセンターに大型トラックで乗り付け、100PBのデータを吸い上げる「AWS Snowmobile」発表。AWS re:Invent 2016 AWSは大容量のデータを顧客のデータセンターからAWSのクラウドへ物理ストレージを利用して効率よく転送するために「Amazon Snowball」を2015年に発表しました。 今回のAWS re:Invent 2016では、このAmazon Snowballの進化形として「AWS Snowball Edge」が発表されました。 Snowball Edgeは100TBの頑丈なストレージにコンピュート機能などを内蔵したことで、処理中のサーバに接続し、ストレージとして直接データを受け取るといったことが可能になります。 しかし「企業が保存しているデータがエクサバイトだったらどうだろう？」と、AWS CEOのAndy Jassy氏。「エクサバ
「最大容量10TB」「動画向け高速通信」などおすすめクラウドストレージサービス24選 | Boxilが運営するBtoBサービス・資料紹介メディア ボクシルマガジン！
はじめに 普段何気なく撮影している写真や編集したデータなどは当然、写真を撮影したりファイルを編集した端末の中に保存されていますよね？ しかしそれらのデータを端末内ではなくインターネット上に保存するのがクラウドストレージです。 例えると今まで家の中に保管しておいた物を、インターネットという共有の倉庫に保管ができかつ好きなときに出し入れできるものとなります。 しかもどこにいてもその倉庫にアクセスできるので、共有倉庫へのどこでもドアを手に入れたも同然です。 しかし、様々なストレージサービスが登場したため、「結局どのサービスが良いの？」という方も多いかもしれません。 そこで今回は、おすすめのクラウドストレージサービスを24個集め、その特徴や料金を比較してみました。 オンラインストレージもありますが、クラウドストレージの方が初期費用が少なくなり、初めて使う方にも導入しやすいので、今回はクラウド
新ストレージサービス「Amazon Elastic File System」（Amazon EFS）登場。NFSでマウント、ファイル容量にあわせて自動的にキャパシティが増減しプロビジョニング不要
新ストレージサービス「Amazon Elastic File System」（Amazon EFS）登場。NFSでマウント、ファイル容量にあわせて自動的にキャパシティが増減しプロビジョニング不要 Amazon EFSは、Amazon EC2からNFSv4でマウントして利用するストレージサービスです。あらかじめ容量を決めてプロビジョニングする必要がなく、保存するファイルの大きさに対して自動的にキャパシティが増減していくのが特長。 また、同時に数千もの同時接続にも対応するスケーラビリティを備えていると説明されています。 自動的にキャパシティが増減、保存データの冗長性も Amazon EFSは通常のNFSサーバと同じように振る舞うため、既存のアプリケーションは何も書き換える必要なくそのまま利用可能。フルマネージドサービスのため運用の手間は必要なく、前述のように保存されたファイルの大きさに応じて自
HDD約3万5000台を運用した実績からSeagate製品の圧倒的壊れっぷりが明らかに
By Bill Dickinson オンラインストレージサービスBackblazeが、自社のサービスに使用してきた200種類、合計約3万5000台の運用データから算出した、「HDDの信頼性データ」の2014年9月最新版を発表しました。以前からメーカーやモデルによって壊れやすさの偏りは明らかでしたが、その傾向はあまり改善されていないようです。 Backblaze Blog » Hard Drive Reliability Update – Sep 2014 https://www.backblaze.com/blog/hard-drive-reliability-update-september-2014/ どこのメーカーのHDDが信頼性が高いのかが一発で分かるグラフがこれ。灰色の棒グラフは2013年通年での故障・エラー発生率、色の付いた棒グラフは2014年6月までに生じたエラー発生率を示し
%E8%87%AA%E5%AE%85%E3%81%A7%E5%A4%A7%E5%AE%B9%E9%87%8F%E3%82%B9%E3%83%88%E3%83%AC%E3%83%BC%E3%82%B8%E3%82%92%E9%81%8B%E7%94%A8%E3%81%99%E3%82%8B
前回 RAID に関するちょっとした話を書きましたが個人が巨大なストレージを運用するにあたって得られたノウハウをだいたい全部書いておきます。 そもそもメリットあるのか？ メリットはあります。金です。 Google Drive は安いですが、それでも 1TB 月 1000 円です。しかし運用にかなり制限がでます。柔軟に使える Amazon Web Service ならその 3 倍+転送量課金です。 16TB だと月 5 万円もかかってしまいます。ちなみにもっとも柔軟に使える EBS だと 16TB で 83000 円ぐらいです。 Google Compute Engine の低冗長性ストレージは S3 より少し安かった気はするけど別にとても安いわけではなかったと思う(よく覚えていないし調べるのがめんどくさい)。 50TB のストレージを Google Drive でごまかしごまかし運用したと
スプーン1杯1TB 。情報を保存できる液体ストレージが誕生へ
スプーン1杯1TB 。情報を保存できる液体ストレージが誕生へ2014.08.11 12:306,435 進化が止まらない。 ミシガン大学とニューヨーク大学の研究者によって、情報が保存できる液体ストレージが研究されています。ナノ粒子のクラスタが浮遊する液体テクノロジーで、これまでの0と1を用いたコンピュータのストレージと比較してはるかに多くの情報を保存できるようになる、というものです。 MICHIGAN ENGINEERINGの発表によると、そのナノ粒子のクラスタというのはルービックキューブに似た働きをしていて、さまざまなストレージの状態をとることができるんだそう。中央の球体のまわりを4つのナノ粒子メモリクラスタが動きまわっているのがわかると思います。ルービックキューブに似ているかと聞かれると正直ちょっと微妙な気もしますが…。 上の動画では4つでしたが、例えば中央の球体と繋がったナノ粒子メモ
Nexus 7（2012）のファイルシステムを「F2FS」に変更してストレージ性能を高める方法が公開 | juggly.cn
Nexus 7（2012）のファイルシステムをNANDフラッシュ用に開発されたF2FS（Flash-Friendly File System）に変更して、端末のI/O性能を高めようという実験的な開発作業がXDA Developersで進められています。 F2FSは、Samsungが中心となって開発したSSDやeMMC、SDメモリなどのNAND型フラッシュメモリに特化したファイルシステムで、Linuxカーネル3.8でメインラインにマージされました。特にNANDフラッシュへのランダムライトで他のファイルシステムよりも良い性能を発揮するとされています。ちなみに、F2FSはMoto Xなど一部のAndroid端末では既に採用されています。 ストレージのI/O性能が改善されるとプチフリといった現象が軽減され、体感的にも動作が軽くなった印象を受けるはずです。 XDA Developersで公開された導
IaaS型クラウド「さくらのクラウド」 | さくらインターネット
アプリケーションとサービス さくらのクラウドと併せて利用できる様々なアプリケーションやサービスです。
“第3のメモリー”の衝撃、ストレージとDBが一変する
出典：日経コンピュータ 2012年12月20日号 pp.70-77 （記事は執筆時の情報に基づいており、現在では異なる場合があります） 2012年、DRAMでもフラッシュメモリーでもない“第3のメモリー”の量産出荷が始まった。DRAM並みに高速でありながら、フラッシュ同様に電源をオフにしてもデータが消えない「新世代不揮発性メモリー」だ。新メモリーによってコンピュータのアーキテクチャーは激変し、入出力（I/O）の大幅な高速化が実現すると共に、消費電力は激減する。 コンピュータには、高速だが電源をオフにするとデータが消える「主記憶装置（メインメモリー）」と、低速だがデータが消えない「外部記憶装置（ストレージ）」という2種類の記憶装置がある。 こんなコンピュータアーキテクチャーの常識が一変する可能性が出てきた。DRAM並みに高速でありながら不揮発性を備えた「新世代不揮発性メモリー」の量産出荷が始
Engadget | Technology News & Reviews
The Polaris Dawn crew is back on Earth after a historic mission
月額1GBあたり1円以下で上限無制限に利用可能なオンラインストレージ「Amazon Glacier」
By Bank of England オンラインストレージというと基本料金で使える容量は決まっていて、それ以上の容量については追加不可能か、追加料金が必要になるというサービスが多い中、Amazonが1GBあたりの料金が月額0.01ドル(約0.8円)で、データ量自体は無制限に利用可能なストレージ「Amazon Glacier」をリリースしました。 Amazon Glacier http://aws.amazon.com/jp/glacier/ 【AWS発表】 Glacier – 1GBあたり月額約1円で利用可能なアーカイブストレージが登場 - Amazon Web Services ブログ 手元にファイルを保管しておこうと思うとHDDやSSD、Blu-rayやDVDといった記憶媒体を保存したい容量分だけ用意しておき、足りなくなったら買ってこなければいけませんが、Amazon Glacierは
さくらのクラウド、新ストレージでは性能限界テストをやりやすく、自社開発をまずは採用。さくらの夕べで参加者に説明
さくらのクラウド、新ストレージでは性能限界テストをやりやすく、自社開発をまずは採用。さくらの夕べで参加者に説明 さくらインターネットは25日、都内で同社のユーザー会「さくらの夕べ」を開催。冒頭で同社代表取締役社長 田中邦裕氏は、さくらのクラウドのストレージ障害について「そもそも製品選択のところで十分にできなかった。その結果、ストレージの性能が十分でなかったなどのトラブルにつながった。大変申し訳ありませんでした」と、参加者の前で頭を下げました。 トラブルの経緯を説明後、新ストレージの概要を発表 トラブルに至った原因として、自社で十分なテストができなかったこと、ベンダに依存したことで自社での問題解決ができなかったこと、などがあらためて示されました。さくらのクラウドのストレージ障害については、以下の関連記事をご参照ください。 「さくらのクラウド」で続いていたストレージ障害、報告書をさくらインター
低価格で誰でも簡単にスマホ対応の大容量プライベートクラウドが実現できる「RockDisk」ならバックアップもラクラク
iPhone/Androidなどのスマートフォンで撮った写真やムービーなどの各種ファイルをその場から自宅のハードディスクへ容量を気にせずどんどんアップロード＆保存＆バックアップが可能、しかも友人や家族などに向けてネット経由で見られるように公開・共有ができ、何よりも既に手持ちのハードディスクを使い回したりすることで圧倒的に激安のプライベートクラウド・パーソナルクラウド環境がすぐに手に入るのがこの「RockDisk」です。 ioPLAZA:RockDisk（ロックディスク） トップページPC周辺機器 IO DATA 通販 ioPLAZA ◆実際にRockDiskを利用する場面 例えば、家族や友人と外食へ。 おいしそうな商品を注文し、運ばれてくるまで待ちます。 商品到着。この瞬間をこの場にいない家族・友人だけに見せたかったり、写真を撮ったりするそんな時…… 早速、スマートフォンを取り出し、Roc
グリーの大規模分散ストレージ戦略(nanofs) | GREE Engineering
はじめに はじめまして、グリー株式会社でエンジニアをしておりますkgwsと申します。今回は、グリー内で写真データの保存を行っている分散ストレージ(nanofs)を紹介させていただければと思います。 背景 弊社で運営させていただいている "GREE" ではユーザの写真や動画データを保存することができます。1億ユーザを目指すグリーは、ユーザの増加とともに写真や動画データは上限なしに増加していきます。またユーザの皆様の大切なデータを失うことは許されませんし、サービスを止めることも許されません。そんな状況の中、様々な技術や仕組みを使いサービスを運営してまいりました。 グリーのストレージの歴史は大きく分けて3世代がありました。 第一世代 第一世代ではアプリケーションサーバからNFSサーバをマウントし画像データを保存しておりました。簡単に導入できることと高価なサーバを使用すれば信頼性や安定性も保たれる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Jottacloud – Cloud storage made easy
Amazon、クラウド・ストレージで強烈攻勢―月1ドルで写真を無制限に保存、5ドルなら全種類無制限 - TechCrunch
ソニーとパナソニック、容量1TBを狙う長期保存用の光ディスク規格「Archival Disc」
HGST、ヘリウムガス封入で6TBを実現した3.5インチHDD「Ultrastar He6」