タグ

hadoopに関するstokiwaのブックマーク (5)

  • NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮

    業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成21年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発(分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業)」という

    NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
  • cassandra調査レポート

    個人的な興味からcassandraについてしらべてみました。 間違っている部分など、指摘や質問などあればお知らせいただけるとうれしいです。Read less

    cassandra調査レポート
  • Hadoopとは?|Littel-hadoop

    Hadoop(ハドゥープ)とは、Googleの分散ファイルシステムを応用して オープンソース化したプラットフォームです。 分散ファイルシステムとは、複数のマシンのディスクを組み合わせて 1つのファイルシステムとして見せる技術です。 これは1つのディスクで保存しきれないような大量のデータを並列化することで 非常に高速に効率良く処理することができるのです。 Hadoopプラットフォームは安全です。 分散ファイルシステムにより、同じファイルを異なるマシンに重複して持たせることで、 一台のマシンが故障した場合でもファイルが失われません。 つまり、耐障害性の高い・安全性の高いとプラットフォームであると言えるのです。 Hadoopプラットフォーム、始まりはGoogleから・・・ グーグルが独自に開発したMapReduceは、 同社の検索エンジンを支える中核技術であるため詳細は未公開ですが、

  • CassandraとHadoop Hbaseなどの性能比較

    Cassandra versus HBase performance study の結果が興味深かったので、メモ。 Yahoo.incの社員が、以下のcloud serviceについて ベンチマークをとったようです。 cassandra 0.4 and 0.5 MySQL Hbase Sherpa 結果については、PDFの通りだけど、 個人的な感想を書いちゃうと以下の通り cassandraはリアルタイム処理系としてはいけてるんじゃないか バージョンが上がることで性能がかなり上がっているので将来性がありそう MySQLベースのものはスケールしにくい? 現状の話、今後改善されるのかも Hbaseはリアルタイム系処理を想定されて作られているのか? cassandraとHbaseを同じ土俵で比べない方がいい気がする 自分が言うリアルタイム系処理、とは、 多くのユーザに同時にアクセスされ、そのリク

  • クックパッドのデータ処理、たった5万円:日経ビジネスオンライン

    気になる記事をスクラップできます。保存した記事は、マイページでスマホ、タブレットからでもご確認頂けます。※会員限定 無料会員登録 詳細 | ログイン 月間ユニークユーザー数、884万人、月間ページビュー数、4億6000万(2010年3月)を誇る国内ナンバーワンの料理レシピの投稿・検索サイト「クックパッド」。 日常的に料理をする人はもちろんのこと、たまにしか包丁を握らない人でもクックパッドのウェブサイトを一度は訪れたことがあるのではないか。 2ちゃんねるTwitterを凌駕する それくらい、クックパッドレシピの投稿・検索サイトとして不動の地位を築いているように思える。なにしろ、母の日とカミサンの誕生日くらいしか、料理をしない筆者でさえも、クックパッドは何度かのぞき、お世話になったことがあるくらいだ。 ページビュー数の比較でいえば、この4億6000万という数字は、2ちゃんねるや今流行りのT

    クックパッドのデータ処理、たった5万円:日経ビジネスオンライン
  • 1