(レポート) BDT303: Netflix ビックデータプラットフォーム上のSpark and Prestoの運用 #reinvent | DevelopersIO
本セッションでは、Netflixを支えるデータ分析基盤である Amazon EMR の Spark と Prestoの運用について解説しています。10/14（水） AWS Black Belt Tech Webinar 2015 ~ AWS re:Invent 2015 SA 座談会 ~ では、ADSJの現役SAが記憶に残ったおすすめの２つに選ばれた珠玉のセッションのレポートです。 Netflix (ネットフリックス)（英: Netflix, Inc.、NASDAQ: NFLX）は、アメリカ合衆国のオンラインDVDレンタル及び映像ストリーミング配信事業会社で、日本でも2015年9月1日夜からストリーミングのみですが、サービスが開始されたことが話題になりました。 BDT303 Running Spark and Presto on the Netflix Big Data Platform
データ予測モデルの自動生成、Sparkで110倍高速に--NEC、機械学習を強化
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます NECは5月26日、ビルの電力需要や小売店舗の日配品の需要などを人工知能（AI）を使って予測するシステム構築サービスを強化し、複数サーバを使った分散処理で以前よりも大規模なデータを高速に分析できるようにする技術を開発したと発表した。2017年度の実用化を予定する。 NECはこれまで、データの中に規則性が複数存在する時に、これを自動で場合分けする「異種混合学習」技術をSIサービスで利用してきた。例えば、コンビニエンスストアの売上予測の場合、天候が雨と晴れで分けたり、曜日で分けたりする。異種混合学習技術を使うと、データの規則性を分析して、どのように場合分けすればよいかを自動的に判断できる（図1）。 今回、異種混合学習技術を複数サーバを使った
Private Presentation
Private content!This content has been marked as private by the uploader.
Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場
こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず見てみた資料は「Overview of Spark」（http://spark.incubator.apache.org/talks/overview.pdf）です。 というわけで、読んだ結果をまとめてみます。 Sparkとは？ 高速でインタラクティブな言語統合クラスタコンピューティング基盤 Sparkプロジェクトのゴールは？ 以下の2つの解析ユースケースにより適合するようMapReduceを拡張
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: Sparkによる実践データ解析 ―大規模データのための機械学習事例集: Sandy Ryza (著), Uri Laserson (著), Sean Owen (著), Josh Wills (著), 石川有 (監修), Sky株式会社玉川竜司 (翻訳): 本
http://blog.yoslab.com/entry/2014/12/15/234342
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Spark MLlibではじめるスケーラブルな機械学習
