DMMのビッグデータ収集のご紹介Kafka, HBase, SparkStreamingによる大規模情報収集解析
Kuduリリース！
オープンソースの新しいストレージエンジン、Kudu ついに本日アナウンスされた Kudu (クドゥ）、次世代ハードウェアにも対応するオープンソースのストレージエンジンです。まだベータ版ですが、3年もの開発期間を経てついに公開されました！ Super excited to finally talk about what I've been working on the last 3 years: Kudu! http://t.co/1W4sqFBcyH http://t.co/1mZCwgdOO5 — Todd Lipcon (@tlipcon) September 28, 2015 数日前にリークされた記事に「KuduはHDFSやHBaseを置き換えるものだ」と書かれていましたが、それは間違いです。詳細はFAQなどにも書かれていますが、HDFSとHBaseを補う新しいストレージエンジンです
FacebookがHBaseを大規模リアルタイム処理に利用している理由（後編）
Facebookは大規模なデータ処理の基盤としてHBaseを利用しています。なぜFacebookはHBaseを用いているのか、どのように利用しているのでしょうか？ 7月1日に都内で行われた勉強会で、Facebookのソフトウェアエンジニアであるジョナサン・グレイ（Jonathan Gray）氏による解説が行われました。 この記事は、「FacebookがHBaseを大規模リアルタイム処理に利用している理由（前編）」の続きです。 事例1 Titan（Facebookメッセージ） HBaseがFacebookでどのようなアプリケ－ションで使われているのかを紹介しよう。 Facebookの新メッセージ機能。
FacebookがHBaseを大規模リアルタイム処理に利用している理由（前編）
Facebookは大規模なデータ処理の基盤としてHBaseを利用しています。なぜFacebookはHBaseを用いているのか、どのように利用しているのでしょうか？ 7月1日に都内で行われた勉強会で、Facebookのソフトウェアエンジニアであるジョナサン・グレイ（Jonathan Gray）氏による解説が行われました。 解説はほぼスライドの内容そのままでした。当日使われた日本語訳されたスライドが公開されているので、ポイントとなるページを紹介しましょう。 Realtime Apache Hadoop at Facebook なぜリアルタイムデータの分析に、Hadoop/HBaseを使うのか？ MySQLは安定しているが、分散システムとして設計されておらず、サイズにも上限がある。一方、Hadoopはスケーラブルだがプログラミングが難しく、ランダムな書き込みや読み込みに向いていない。 Faceb
Outerthought :: Lily - the Scalable Content Repository
What is Lily? Lily does Smart Data, at Scale. Lily is the first Big Data content storage and search repository, built on top of Apache HBase and SOLR. It is made available under the Apache license by Outerthought. Lily is a scalable foundation for large-scale content applications, such as SaaS-style content management, archiving, media publishing, and document management. It offers a flexible data
第1回HBaseとCassandra討論会
ICHIRO SATOH @ichiro_satoh 分散システム屋的にはVector Clockは実システムでは使えないという、よく知られた経験則がありまして（スケールしないんですよ）RT @shot6: ちなみにCassandraで採用しようとしているのはVector ClockではなくVersioned Clockなのでっす。
Hadoopソースコードリーディング第3回 ハッシュタグまとめ
Tatsuya Kawano @tatsuya6502 今日はヨメさんにお願いして、育児と家事を半日お休み。近所のカフェで、 #hadoopreading のスライド作成。連続作業時間が１時間を超えるとペースが数倍に上がる。はかどる、はかどる ♬ Tatsuya Kawano @tatsuya6502 #hadoopreading 明日（6/28）のプレゼン資料のドラフト版ができました。もう少し修正する予定ですが、現時点でいったん公開します。 Cassandra については詳しくないので、間違いなどあればご指摘いただけると嬉しいです。 http://ow.ly/23Ka4
へ〜たのめも:Riak と Cassandra と HBase、あらまー! - livedoor Blog（ブログ）
2010年05月25日 Riak と Cassandra と HBase、あらまー! Mozilla Blog Riak and Cassandra and HBase, Oh My!の勝手訳。各分散 KVS の特徴が分析されていて興味深い……と思って訳してみた。この無様なタイトルは Google 翻訳による。 Riak と Cassandra と HBase、あらまー! 我々は、SoCorro Crash プロジェクトにおいて HBase との統合を進めているが、その話はちょっと置いておいて、今回はメトリック・チームが巻き込まれている別のプロジェクトについて話をしよう。 Mozilla Labs Test Pilotは、実世界の Firefox ユーザをから集めたデータを分析して、ユーザ・エクスペリエンスを向上させるための実験をしたり、定量的データを集めたりするためのプロジェクトだ。 私
Arbitrarily anything...: Comparing PNUTS, HBase and Cassandra
Tuesday, May 18, 2010 Comparing PNUTS, HBase and Cassandra A lot of NoSQL systems have been sprouting up recently and an increasing number of people are using NoSQL data stores and moving away from RDBMS systems. There's nothing wrong with relational database systems but they are optimized for certain use cases, which they handle very well. NoSQL systems (Bigtable, Dynamo, PNUTS, CouchDB, MongoDB,
HBase vs Cassandra: why we moved
Occasionally useful posts about RIAs, Web scale computing & miscellanea My team is currently working on a brand new product – the forthcoming MMO www.FightMyMonster.com. This has given us the luxury of building against a NOSQL database, which means we can put the horrors of MySQL sharding and expensive scalability behind us. Recently a few people have been asking why we seem to have changed our pr
Pig, Cascalog & HBase Among Highlights of May Hadoop Meet-Up (Hadoop and Distributed Computing at Yahoo!)
YDN Hadoop and Distributed Computing at Yahoo! Pig, Cascalog & HBase Among Highlights of May Hadoop Meet-Up Hi Hadoopers Thanks to close to 300 developers who came this week to Yahoo! for our monthly Hadoop User Group meeting. The energy in the packed room was phenomenal and conversations continued long after the formal sessions. Hundreds of Hadoop Fans Flock to Yahoo! for the May Hadoop User Grou
Hadoopリンクまとめ(1) - 科学と非科学の迷宮
Part1 / Part2 更新履歴 2010/06/20 リンク追加 入門、事例紹介、ニュース Part2へ移動 EC2、Pig、MapReduce、HDFS 新規追加 性能測定 公式 Welcome to Apache Hadoop! 日本語訳 Hadoopユーザー会 Welcome to Hadoop MapReduce! "大規模な計算ノード・クラスタ上において膨大なデータを高速で並列処理するアプリケーションを作成するためのプログラミングモデルおよびソフトウェアフレームワーク" Welcome to Pig! "大規模なデータセットを分析するためのプラットフォーム""Pig の言語レイヤを構成しているのは、Pig Latin と呼ばれるテキストベースの言語" wikipedia Apache Hadoop - Wikipedia, the free encyclopedia Apa
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Socorro: Mozilla’s Crash Reporting System
NoSQL Case Study: Migrating to HBase/Hadoop to Handle Firefox Crash Reports at Mozilla
Good night, Posterous