Hw09 Hadoop Based Data Mining Platform For The Telecom Industry
1. Parallel Data Mining Platform in Telecom Industry -- Big Cloud based Parallel Data Mining Platform Friday, Oct 2, 2009 NYC Research Institute of China Mobile Communication Corporation Feng Cao 3. Large scale data in China Mobile Communication Corporation (CMCC) Subscribers: 500 million Subscribers’ CDR(calling data record) data 5~8TB/day in CMCC For a branch company (> 20 million subscribers) V
Project Kafka, a distributed publish-subscribe messaging system, reaches v0.6
Project Kafka, a distributed publish-subscribe messaging system, reaches v0.6 Kafka is a distributed publish-subscribe messaging system. It is open-sourced under the Apache 2.0 license and also submitted to be an Apache incubator project. A paper on this project was published in the NetDB ’11 conference. This system is aimed at providing a publish-subscribe solution that can handle all activity st
Jubatusを公開しました - Preferred Networks Research & Development
先日、NTTと共同研究開発したJubatusを公開しました。 OSSで公開されてますので、興味がある方は使ってみるなり、ソースコードを眺めるなり、できればプロジェクトに参加していただけたらと思います。 Jubatus（ユバタス）は、大規模分散上でリアルタイムで機械学習を行うためのフレームワークです。 このプロジェクトは元々、機械学習やデータ解析が好きなPFIと、ネットワークやシステム運用実績が豊富で技術力があるNTT情報流通プラットフォーム研究所と組んで何かできないかということで始めました。 「大規模分散」＋「リアルタイム」＋「深い解析」という三つの特徴を持った上でデータを分析するためにどのようなアーキテクチャが考えられて、その上でどのような解析ができるのかというのを日々試行錯誤して作っています。 今回はリリース第１段ということで、手法としては分類（教師有学習の多クラス分類）に絞ってOSS
分散Key-Valueストア「Riak 1.0」リリース | gihyo.jp
2011年9月30日、オープンソースのKey-Valueストア「Riak 1.0」がリリースされました。RiakはAmazon Dynamoの思想をもとにBashoという企業が開発している分散データストアシステムです。RiakはErlangで作られており、HTTP/JSONインタフェースが用意されています。また単体でMapReduce実行をサポートしており、map関数reduce関数ともにJavaScriptで記述します。今回の1.0のリリースでアップデートされた主な内容は次のとおりです。 セカンダリインデックスのサポート 新しいデータ処理機構「Riak Pipe」の導入 ロギングフレームワーク「Lager」の導入 検索エンジン「Riak Search」を統合 対応ストレージエンジンにLevelDBをサポート RiakはFirefoxのユーザフィードバック収集システムやWikiのホスティン
Twitter、分散リアルタイム処理システム「Storm」公開 | gihyo.jp
2011年9月18日、Twitterは分散リアルタイム処理システム「Storm」をオープンソースで公開しました。より正確に言うと、2011年7月に買収されたBackTypeのメンバーが買収以前より開発を進めていたものです。BackTypeはTwitterのつぶやきを解析するシステムを開発していたスタートアップ企業でHadoopのヘビーユーザでもありましたが、リアルタイム性の問題点を解消すべくStormの開発に至ったようです。ちなみに同じオープンソースの分散リアルタイム処理システムとして米Yahoo! が「S4」を公開していますが、Stormはデータを処理する信頼性の高さやAPIのシンプルさに違いがあります。 StormのアーキテクチャはHadoopと似通っており、クラスタはMaster-Workerパターンに基づいています。Masterノードには「Nimbus」、Workerノードには
Facebookの新しいリアルタイム解析システムとは？ - nokunoの日記
Facebookの新しいリアルタイム解析のシステムでは、HBaseで1日200億件のイベントを処理しているそうです。以下の記事の翻訳です。High Scalability - High Scalability - Facebook’s New Realtime Analytics System: HBase to Process 20 Billion Events Per DayFacebookがまたやってくれた。彼らは巨大なリアルタイムデータのストリームを処理するもう1つのシステムを構築したのだ。以前にもFacebookはリアルタイムなメッセージシステムをHBaseで構築している(http://highscalability.com/blog/2010/11/16/facebooks-new-real-time-messaging-system-hbase-to-store-135.ht
映画「種まく旅人〜みのりの茶〜」公式サイト
金欠の時に、すぐにお金を借りる方がおられます。 万一の時に備えて、日頃から貯蓄する癖を付け、借りる癖を改める様にしましょう。 節約しているつもりでも、なぜかお金が貯まらないと嘆いている人もいるのではないでしょうか。 なかには、貯めるどころか、信販会社や消費者金融会社でお金を借りる方もおられます。 お金がなかなか貯まらないのには、必ず原因があります。 まずはその原因を探すことから始めましょう。 お金が貯まらない、つい借りる人の最も大きな原因は、過去のお金の使い道を思い出せないことです。 思いだせないということは、お金を使うことに対しての自覚が足りないのです。 今月何か大きな買い物をしていないか、そしてどこで何をいくらで買ったか覚えていますか？ 思い出せないようでは、無駄遣いしている傾向があります。 これでは使っているつもりはないのに、いつの間にかお金が減っているという感覚に陥るのも無理はあり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NetDB 2011 - Microsoft Research