ビッグデータ・ツール「Spark」はHadoopよりホットかも知れない、だがまだ問題がある | readwrite.jp
Hadoopはホットだ、だがその従兄弟であるSparkは更にホットな存在だ。 Sparkは5年前のApache Hadoopの様な存在で、バークレー大 AMP研で生まれた、Hadoopのエコシステムで動くMapReduceに代わる高速データ処理エンジンだ。これは（MapReduceの様な）バッチ処理および、ストリーミングやインタラクティブ・クエリーといった新しいワークロードや、機械学習やグラフ処理でよく見られる反復アルゴリズムの処理に対応している。 サンフランシスコに拠点を構えるTypesafeは、私が去年記事で触れたJava開発者に対するよく知られたアンケート調査のスポンサーであり、Scala、Playフレームワーク、Akkaのコマーシャルな支援者だ。最近行われたSparkについてのアンケート調査では、2000人以上（正確には2136人）の開発者からの回答が得られた。そこから以下三点の結
インフル流行、気象・行動のビッグデータ解析で察知
今年も猛威を振るったインフルエンザ。ノロウイルスや風邪など流行性の疾患も気になるところだ。最近は、こうした疾患の流行状況に関する情報提供が充実しつつある。 直接的な予防策になるわけではないが、生活者や家族などが対策を講じるうえでは役に立つデータ活用が、スマートコミュニティー（電力、水、交通、情報など、あらゆるインフラの統合的な管理・最適制御を実現した次世代コミュニティー）を支える重要なコンポーネントの一つになってきている。
ローソン「31位の菓子パンを売り続ける理由」 −人知を超えるビッグデータの底力【6】 - ライブドアニュース
2013年7月27日 13時15分 リンクをコピーする by ライブドアニュース編集部 ざっくり言うと が「ビッグデータ」をどう活用しているかを紹介している 「カード」の導入で、は購買傾向を知ることが出来たという 売れ筋ではないが女性の支持があるため陳列されている菓子パンも 1勝3敗1引き分け。今年4月の「第2回電王戦」でプロ棋士はソフトに負け越した。コンピュータのデータ解析能力は、将棋のような複雑な世界でも人間を上回りつつある。こうした「ビッグデータ」はビジネスではどう活かされているのか。各社の最新事例を探った──。一方、でも「POSデータ」をさらに深めたデータ分析が進んでいる。最大の要因は10年3月に導入した共通ポイントサービス「（ポンタ）」だ。ポンタの会員数は昨年末に5000万人を突破。提携企業数は13年5月現在で66社にのぼる。 ポンタの導入により、「1割のヘビーユーザーが6割の売
この取り組み、無駄だけど凄いなあと思える人は挙手 - やまもといちろうBLOG（ブログ）
10分ぐらいしか時間がないので雑に書く。エッセンスだけ分かる人に届け。 なぜ景気の「今」はわからないのか http://event.yahoo.co.jp/bigdata/keiki/ これ単品では凄いことです。ヤフーはやっぱり偉大だし、たいしたものだ。 ここまで洗練された方法でビッグデータを集計しているというのは、本当に素晴らしいのは間違いありません。 ただ、証券で刑期もとい景気の先読みをやっている人からすると、意味がないのもまた事実です。大雑把な景気の未来予測自体は、かなり手法的にポピュラーなんすよ。問題は、突発事態が起きたときに前提条件が変わりうるので、リスク計算をどうするかが本当に大変なんですけど。 ・ 比較対象が集計の遅い内閣府である ・ もっと少量のサンプルで到達可能な精度である というのもありますが、そもそも景気指標というのは未来予測の世界ですんで、当面の景気の先行きというの
Treasure Data - naoyaのはてなダイアリー
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
「ビッグデータですべてが解決できる」は誤解--Teradata ブロブストCTO
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 2012年後半から「ビッグデータ」というキーワードが日本社会に浸透しつつある。経済誌でもビッグデータに関する記事が掲載され、テレビのニュースでも取り上げられた。ある雑誌では「2013年はビッグデータ競争元年」とする特集を組んだ。 ZDNet Japanでは、2011年8月から特集「ビッグデータとは何か--課題と機会、ベンダーの戦略」を掲載。それに先立つ2010年10月に初めてビッグデータに関する記事を掲載している。この記事は、データウェアハウス専業の米Teradataのユーザー企業が主催するイベントの基調講演に関するものだった。 ビッグデータを解析することで、従来は気付けなかった傾向や法則を明らかにし、マーケティングや経済、医療、セキュ
「ビッグデータの限界にも目配りを」、NIIの佐藤教授
ビッグデータ活用による新事業創出について調査研究を行う業界団体、ビッグデータビジネス・コンソーシアムは2012年7月24日、東京都内で設立記念フォーラムを開催した。同コンソーシアムで企画委員長を務める国立情報学研究所（NII）の佐藤一郎教授(写真)は講演で、「精度の低いデータでも、大量に集まれば価値を生み出せる」ことがビッグデータの意義であると語るとともに、「大量データの分析は容易ではなく、組織の現場に裁量権が無ければ分析結果を生かすことはできない」などの課題を指摘した。 ビッグデータビジネス・コンソーシアムは、データセンター事業者のブロードバンドタワーが事務局となって2012年7月に設立した。同社の藤原洋会長兼社長によれば「ビッグデータを活用することで新しい産業を生み出すためにはどのような取り組みが必要か、それを考えるオープンなシンクタンク」である。7月24日の設立記念フォーラムでは、N
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
黒子のバスケ:４３億件接続記録から「容疑者は大阪周辺」 - 毎日新聞
NTT、ビッグデータ解析で世界最速 1億の友人関係3分で - 日本経済新聞
https://jp.techcrunch.com/2013/01/07/20130105why-we-need-to-kill-big-data/