Hadoop MapReduceを全置き換え、スペインStratioがSpark採用事例を発表
ビッグデータ分析ソフトを手掛けるスペインのStratioは、インメモリーのビッグデータ分析ソフト「Spark」の採用事例を公開した（発表資料）。同社は7年以上前から、顧客向けのビッグデータ分析にHadoop MapReduceを使ってきたが、2013年からSparkの利用を始め、今ではMapReduceを完全にSparkに置き換えたという。 同社は2013年までの6年間ほど、MapReduceにリアルタイム処理エンジンの「Storm」を組み合わせたラムダアーキテクチャを採用してきたが、「開発やデプロイ、サポートなどの面で、次第に複雑さが増してきたため、より良い技術を探した結果、Sparkを見つけ、採用することにした」（同社）という。 Stratioは、通信事業者のスペインTelefonicaやホテル事業を手掛けるスペインNH Hotelsといった企業に向けて、ビッグデータ分析基盤を提供して
Googleがビッグデータを解析してW杯を予測すると全試合的中、準々決勝も当ててしまうのか？
2014年6月12日にブラジルで開幕し、世界中の人をくぎ付けにしている2014 FIFAワールドカップは、日本時間の7月5日と6日に渡って、ベスト4を決める準々決勝が行われます。2010年に南アフリカで開催されたワールドカップでは、ドイツの水族館で飼育されていたマダコのパウルくんが、予想した全8試合を全て的中させ話題を呼びましたが、2014年はGoogleが世界中から集められたビッグデータを使って勝敗予測をぶち上げ、なんと決勝トーナメント1回戦の勝敗全てを的中させ、次に行われる準々決勝の勝敗予測を公開しています。 Google Cloud Platform Blog: Google Cloud Platform goes 8 for 8 in World Cup predictions http://googlecloudplatform.blogspot.ch/2014/07/googl
MapReduce代替の「Apache Spark 1.0」が登場 | OSDN Magazine
非営利団体のApache Software Foundation（ASF）は5月30日、大規模なデータ処理を行うための分析ソフトウェア「Apache Spark 1.0」のリリースを発表した。「Apache Hadoop」のMapReduceを置き換えることを目指すもので、多くの変更点が加えられている。 Apache Sparkは米カリフォルニア大学バークレー校のAMPLabで開発された分散コンピューティングフレームワーク。高度なDAG（Directed Acyclic Graph）実行エンジンを持ち、より小さい粒度での処理を行うのが特徴。バッチモードで処理を行うMapReduceと比べるとインメモリ利用時に最大100倍の高速化が可能で、かつより高い安定性もあるという。HDFS、HBase、Cassandraに対応し、スタンドアロンのほか「Apache Mesos」、Amazon AWS（
研究用にニコニコ大百科の記事とコメント約24GBを公開‐ニコニコインフォ
いつもniconicoをご利用いただきありがとうございます。 このたび、国立情報学研究所情報学研究データリポジトリ(IDR)ご協力の元、ニコニコ大百科の記事データを「ニコニコデータセット」に公開しました。 提供するデータ内容は記事ヘッダデータ、記事本文データ(履歴含む)、掲示板データとなっています。形式はCSVで約24GBあります。非公開の記事や、ユーザーを特定できるIDは含まれていません。 本データは研究目的であればどなたでもご利用いただけます。 希望される方は国立情報学研究所サイトより利用申請をして下さい。 ニコニコ大百科は未来検索ブラジルが運営する『あらゆる言葉について定義や意味、元ネタを解説する辞書・辞典』です。wikipediaと異なり、客観的で真面目な記事だけでなく、主観的で面白い記事も歓迎しています。HTMLやCSSも用いることができるため、見た目に意味を持たせた記事もあるこ
データマネジメント 2014 で異彩を放っていた @okachimachiorz1 さんの「正確なデータをもとに明日を予測する 〜ノーチラスが提案する新しい予測の形〜」のメモ - #garagekidztweetz
データマネジメント 2014に参加してきたレポートの最後は、以下のセッションのみをひとつ切り出しました。 14:00-14:40 C-5 『正確なデータをもとに明日を予測する 〜ノーチラスが提案する新しい予測の形〜』 ノーチラス・テクノロジーズ 理由は簡単で、この @okachimachiorz1 さんのセッションが今回のデータマネジメント 2014 の中で、わたしが一番面白いと思い、かつ異彩を放っていたなぁ、と思っているからです。 ゼヒ、資料が slideshare 等にアップされてほしいなぁと思っていますが、わたしのとれた範囲内でメモを公開させていただきます。 C-5 『正確なデータをもとに明日を予測する 〜ノーチラスが提案する新しい予測の形〜』 ノーチラス・テクノロジーズ 自己紹介 DM というよりも業務系で Hadoop を使う OSS を中心に Asakusa を開発したりしてい
データサイエンティストの賞味期限は夏までです。 - チャランポランナーの独白
2014-02-05 データサイエンティストの賞味期限は夏までです。 本論 思いつき 触れたら負けだと思っていましたが、もう負けでいいです。チャランポラナンナーです。 なんなんですかね？これは！！！ 連載・データサイエンティストの視点： 「きのこの山」VS.「たけのこの里」戦争に決着!? 購買データ分析で“大差”あり http://www.itmedia.co.jp/news/articles/1402/04/news016.html この連載の立て付けは、 データ分析の専門家・データサイエンティストが身近な話題をテーマに分析結果を紹介していく本企画。 ですよね？？？ データサイエンティストといえば、どっかの誰かが今後最も露出狂*1な職業といったあのデータサイエンティストですよね？ データマイニングができ、アナリストとして一流で且つマーケットを語れるスーパーマン、データサイエンティストです
『2013年サイバーエージェント エンジニア プレゼンデータまとめ』
皆様こんにちは 以前、社内勉強会制度 Skill U Friday のご紹介をさせていただいた織田と申します。 昨年は多くのセミナーを通じて、当社エンジニアをお引き立てくださりありがとうございました。 さて今回は、昨年サイバーエージェントのエンジニア職が登壇したセミナーのプレゼン資料をまとめてご紹介差し上げます。 今年も、多くの外部セミナーや当社発信のセミナーを通じて皆様と技術交流が出来ることを楽しみにしております。 宜しくお願い申し上げます。 ■秋葉原ラボ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2013年に地球上で生成されたデータは4.4ZB、ほとんどがダークマター 
スシロー、ビッグデータ分析し寿司流す 廃棄量75%減 - 日本経済新聞