「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
Amazon Cloud Driveの容量無制限プランが素晴らしすぎるという話 - さわっても熱くない花火
「夏は暑い」そんな当たり前の事実を今認識しております。yanoshiです。 7月からの新アニメのために怒涛のエンコード祭りを行っておりまして、お部屋は常時エアコン稼働中です。電気代とは？ データが増える一方なわけですが何とかその波に抗いたい！今日はそんなお話。 Amazon Cloud Driveの容量無制限プランを使い始めて半年が経過したのでそろそろレビューをしておこうと思います。 Seagate シーゲイト 内蔵ハードディスク Archive 8TB (3.5 インチ / SATA 6Gb/s NCQ / 5900rpm / 128MB) 正規代理店品 ST8000AS0002 出版社/メーカー: Seagate発売日: 2014/12/04メディア: Personal Computersこの商品を含むブログを見る Amazon Cloud Drive 使い放題プランについて 「Ama
「最大容量10TB」「動画向け高速通信」などおすすめクラウドストレージサービス24選 | Boxilが運営するBtoBサービス・資料紹介メディア ボクシルマガジン！
はじめに 普段何気なく撮影している写真や編集したデータなどは当然、写真を撮影したりファイルを編集した端末の中に保存されていますよね？ しかしそれらのデータを端末内ではなくインターネット上に保存するのがクラウドストレージです。 例えると今まで家の中に保管しておいた物を、インターネットという共有の倉庫に保管ができかつ好きなときに出し入れできるものとなります。 しかもどこにいてもその倉庫にアクセスできるので、共有倉庫へのどこでもドアを手に入れたも同然です。 しかし、様々なストレージサービスが登場したため、「結局どのサービスが良いの？」という方も多いかもしれません。 そこで今回は、おすすめのクラウドストレージサービスを24個集め、その特徴や料金を比較してみました。 オンラインストレージもありますが、クラウドストレージの方が初期費用が少なくなり、初めて使う方にも導入しやすいので、今回はクラウド
Amazon EC2を(なるべく)使わずにシステムを構築してみる | DevelopersIO
こんにちは、せーのです。AWSは現在40以上のサービスがあり、なかなか把握しきれないことも多いかと思います。そこで今日は現在のサービスを組み合わせたシステム構築の一例をご紹介致します。 最もコストがかかるのはEC2 そもそもオンプレではなくクラウドサービスを選ぶ理由は安価で簡単にサーバーやストレージを調達でき、障害対策や電源管理等をAWS側が行ってくれるから、という方も多いかと思います。 ではAWSの各サービスでコストを抑える秘訣はなんなのでしょう。それは「EC2を使わないこと」です。例えばDBとしてmySqlを使いたいとします。時間あたりの単価を考えるとEC2の中にmySqlをインストールするよりもRDSでmySqlを立てたほうがお得です。また障害が起きてダウンした際にEC2は自分でフェールオーバー等の対策を打つ必要がありますが、RDSはmulti-AZの設定をしておくだけで後はAWSが
さくらぽけっと - レンタルサーバーはさくらインターネット
さくらぽけっとは、レンタルサーバの使いきれない容量を活用し、写真や動画、ドキュメントファイルのアップロードと閲覧が可能になるサービスです。 ご契約中のレンタルサーバーサービスの無料オプションとして利用できます。 主な特長 サーバーの空き容量が 写真や動画のストレージに レンタルサーバーへアップロードするだけでパソコンやスマートフォンの容量不足が解消できます。 ダウンロードせずに 写真や動画の閲覧が可能 写真や動画・音楽ファイルも端末にダウンロードすることなくサーバー上から閲覧、再生できます。 ブラウザやアプリ どちらも利用可能 ファイルのアップロードと閲覧はブラウザやFTPソフトから簡単に行えます。 サイトとは別の非公開領域にアップロード可能 アップロードディレクトリは非公開領域なので外部から覗かれる心配もありません。
Google、1GB当たり1セントながら3秒以内にデータ取得できるニアラインストレージ「Cloud Storage Nearline」提供開始
Google、1GB当たり1セントながら3秒以内にデータ取得できるニアラインストレージ「Cloud Storage Nearline」提供開始 一般にITのシステムおいてストレージはシステム全体の性能を左右する重要なコンポーネントであるため、高性能なSASドライブやSANストレージ、最近ではフラッシュストレージなどが多く用いられます。 こうした性能重視のストレージは一般にオンラインストレージ、あるいはプライマリストレージなどと呼ばれますが、これに対してバックアップ用途や、容量あたりのコストなどを重視したストレージを「ニアラインストレージ」と呼びます。低価格なSATAハードディスクなどを用いたストレージなどがこれに相当します。 長期保存やアーカイブが主目的となり、光学ディスクや磁気テープのように読み出し時にメディアを交換したりマウントするようなストレージのことを「オフラインストレージ」と呼び
%E8%87%AA%E5%AE%85%E3%81%A7%E5%A4%A7%E5%AE%B9%E9%87%8F%E3%82%B9%E3%83%88%E3%83%AC%E3%83%BC%E3%82%B8%E3%82%92%E9%81%8B%E7%94%A8%E3%81%99%E3%82%8B
前回 RAID に関するちょっとした話を書きましたが個人が巨大なストレージを運用するにあたって得られたノウハウをだいたい全部書いておきます。 そもそもメリットあるのか？ メリットはあります。金です。 Google Drive は安いですが、それでも 1TB 月 1000 円です。しかし運用にかなり制限がでます。柔軟に使える Amazon Web Service ならその 3 倍+転送量課金です。 16TB だと月 5 万円もかかってしまいます。ちなみにもっとも柔軟に使える EBS だと 16TB で 83000 円ぐらいです。 Google Compute Engine の低冗長性ストレージは S3 より少し安かった気はするけど別にとても安いわけではなかったと思う(よく覚えていないし調べるのがめんどくさい)。 50TB のストレージを Google Drive でごまかしごまかし運用したと
Dropbox全盛のいまだからこそ比較したいクラウド・ストレージの容量と価格
MicrosoftがオンラインストレージOneDrive（旧SkyDrive）の料金体系を変更して、7月からは無料ストレージの上限を15GBに引き上げるという発表がありました。Office 365利用者には1TBの利用が可能という太っ腹な情報もあります。 ここで「おや？」と思ったのは、さまざまなサービスのバックエンドとして強固な地位を固めた Dropboxがいまも強いものの、価格的には割高で魅力が削がれてきているという点です。 Apple が発表した iCloud Drive をここに投げ込むと、Dropbox がもっているパソコン同士、あるいはパソコンとモバイル端末を結ぶストレージとしての地位も揺らいでいる可能性があります。 というわけで、主要なプランの無料ストレージ、価格帯などをまとめてみて、予定されている iCloud Drive とも比較して今後の流れを予想してみましょう。 （追記
高価な共有ストレージアレイを不要にする「VMware Virtual SAN」導入済みサーバ、主要サーバベンダから登場
高価な共有ストレージアレイを不要にする「VMware Virtual SAN」導入済みサーバ、主要サーバベンダから登場 仮想マシンによるシステムを構築する際に、コスト上昇の大きな要因になるのが共有ストレージアレイでした。仮想化の大きな特長であるライブマイグレーションは、共有ストレージアレイを通じて仮想マシンのイメージが物理サーバを移動する仕組だったため、高性能な共有ストレージアレイは仮想化システムに不可欠なものでした。 VMwareが今年3月から出荷を開始した「VMware Virtual SAN」は、物理サーバに内蔵されているストレージをネットワーク越しに束ねて仮想的な共有ストレージアレイを実現することで、物理的な共有ストレージアレイを不要にするソフトウェアです。 これにより仮想化システム全体のコストを下げるだけでなく、システム構成が物理サーバのクラスタというシンプルなものになることや、
IaaS型クラウド「さくらのクラウド」 | さくらインターネット
ビジネス規模や成長にフィットする さくらのクラウド クラウドはもちろん、物理も併用して最適なインフラ構成を実現 圧倒的なコストパフォーマンスデータ転送量無料！ データ転送量による従量課金がないため、コスト算出が容易で、想定外の出費となることがありません。
KitKat端末では今後アプリからMicro SDカードへの書き込みができくなる模様 | juggly.cn
Micro SDカードスロットを備えたAndroid 4.4.x（KitKat）端末において、今後アプリから外部ストレージへの書き込みが不可になるという話が伝えられています。 これは、Android.comの「外部ストレージ技術情報」というWEBページに掲載されていた情報に基づくものです。Googleがこのページの中で、Android 4.4における外部ストレージの取り扱い方に関する同社の方針を示していたことで明らかになりました。 WRITE_EXTERNAL_STORAGE権限は、デバイス上のプライマリストレージ（内蔵ストレージのこと）への書き込みだけを許可すべきです。合成されたアクセス権で許可されているように、アプリがそのパッケージ固有のディレクトリを持つ場合を除いては、セカンダリストレージ（Micro SDなど）への書き込みを許可してはいけません。 これが意味するところは、Micro
もう他のサービスに戻れない!? 容量無制限、無料で高速のファイル共有サービス「Minbox」 | ライフハッカー・ジャパン
Mac：『Minbox』は、速くて無料の新しいファイル共有サービスです。どんなサイズの、どんなタイプのファイルでも、アップロードしてすぐに送ることができます。とにかく、ファイルをアップロードするのに待たなくていいという点がすばらしい。サッとファイルを共有して、サッと仕事に戻れます。冒頭のビデオを見ると、Minboxの良さが分かりやすく強調されています。Dropboxや他のクラウドストレージサービスは、共有したいファイルをアップロードして、それが同期されるのを待たなくてはなりません。 同サービスは共有したいファイルをメニューバーのMinboxのアイコンにドラッグ＆ドロップして、相手のメールアドレスを入力すれば、ファイルがアップロードされたと同時に相手にリンクのメールを送ります。圧縮・変換技術のお陰でアップロードスピードはDropboxの2倍速いと公言されています。 また、共有したいファイルの
無料で容量1TBに増えた「Flickr」にどんなファイルでも保存できるようにするストレージエンジン「Filr」
by Graham Smith PNGのtEXtチャンクとしてどのような形式のファイルでも埋め込んでしまい、リニューアルしたFlickrの無料で1TBもあるスペースを大容量ストレージのようにして扱ってしまおうというのが「Filr」です。 ricardobeat/filr · GitHub https://github.com/ricardobeat/filr 実際に使っているデモムービーがYouTubeにアップロードされており、どのように使うのかが大体分かります。 filr - YouTube 使い方は簡単、インストール後にfilrまでパスを通してから、「The App Garden on Flickr」にてAPIキーを申請して認証キーをゲット、あとは、 filr my_file1.txt my_file2.txt というような感じでアップロードしたいファイル名を列挙していくだけ。アップロ
Kim Dotcom
Kim Dotcom aka MEGARACER is #1 in Modern Warfare 3. Leaderboards #1 for Kills and Leaderboards #1 for Free-For-All. Currently over 150,000 kills. Best of 15+ million online players! Don't hate me because I beat you. Respect me because I teach you :-) 2011 fireworks by Kim Dotcom gifted to Auckland, New Zealand. This US$ 500,000 fireworks display of 10 minutes (video showing the best parts of 3:41
レプリケーションを使わないMySQLの冗長化
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、DBMSチームの三谷です。 ヤフーでは多くのサービスでMySQLを利用しています。MySQLはヤフーを支える重要な技術の1つです。 私のチームではヤフーのさまざまなサービスのデータベースを集約して管理・運用しています。 集約することでコストの削減やノウハウの蓄積といった効果を生み出しています。 今回はこの集約環境の冗長化方法についてご紹介します。 集約環境の構成 集約環境ではマスターの冗長化にレプリケーションを利用せず、エンタープライズ向けの共有ストレージを利用したアクティブ・パッシブ型のHA構成を採用しています。 データファイルを共有ストレージに置き、どのマスターサーバーからでも同じデータに対してアクセスできるように
AWS News Blog
AWS Week in Review – New Open-Source Updates for Snapchange, Cedar, and Jupyter Community Contributions – May 15, 2023 A new week has begun. Last week, there was a lot of news related to AWS. I have compiled a few announcements you need to know. Let’s get started right away! Last Week’s Launches Let’s take a look at some launches from the last week that I want to remind you of: New Amazon EC2 […]
Winnyの金子氏が夢見る次世代高速ネットの世界 (1/5)
2011年、8年をかけた「Winny」裁判が終わった。渦中にいたのは「2ちゃんねる」では「47氏」と呼ばれていた金子勇氏だ。裁判後のインタビュー（関連記事）では、編集部の「これからどうしていきたいか？」という質問に「決めてないです」と答えていた金子氏であるが、着実に次のステップに進み始めている。 6月12日、Skeed社とデータホテルが業務提携して「CLOUD CONNECT」というデータセンター間を高速接続するサービスを展開すると発表（関連記事）したが、金子氏は現在、このSkeed社の社外取締役となっており、新たなプロダクトの開発に専念している。今回のインタビューでは、この金子氏とともに代表取締役社長である明石昌也氏も同席を願い、Winny事件をきっかけにできあがったというSkeed社や、事件の思い出、そして彼らが現在広めようとしている高速データ転送技術について尋ねてみたい。 Winny
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2014年版オンラインストレージサービス30選--無料でここまで使える（後編）
TechCrunch | Startup and Technology News
Nドライブ