Data Algorithms
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. If you are ready to dive into the MapReduce framework for processing large datasets, this practical book takes you step by step through the algorithms and tools you need to build distr
楽天におけるビッグデータとその収集・解析基盤の構築
楽天は1997年の創業以来，会員数・流通額・提供サービス数を急速に拡大させており，楽天市場を中心とする楽天のシステムでは，様々なサービスから生成される多種多様な大規模データが日々蓄積され続けている．ビッグデータと呼ばれるこれらのデータ群を，いかに統一的なプラットフォームで収集，解析し，ビジネス側に迅速かつ的確にフィードバックを行うかが，楽天にとって重要な課題となっている．この課題に対処するために，楽天では現在，楽天スーパーDBと呼ばれる大規模ユーザ属性DBプラットフォーム，およびグローバルイベント解析プラットフォームを構築・運用を行っている．本論文では，楽天でのビッグデータの例を紹介するとともに，２つのプラットフォームの紹介を行う． 1. はじめに 楽天は， 1997年にオンラインショッピングモール「楽天市場[1]」のサービス提供を開始して以来，会員数，流通額を伸ばしており，2011年は楽
遺伝子解析に参入するヤフー、その狙いはどこにあるのか
インターネットサービス事業者であるヤフー。同社は近く、遺伝子情報の解析に基づく生活改善助言サービス「HealthData Labo」のモニター募集を開始する。 HealthData Laboは、スマートフォンやウエアラブル端末で測った活動量や睡眠、食事内容などの情報と遺伝子情報を組み合わせて、生活習慣に関するアドバイスなどを行うもの。遺伝子情報の収集に当たっては、東京大学発のベンチャー企業であるジーンクエストと組む（関連記事）。 ヤフーはなぜ、遺伝子解析に目を付けたのか――。同社の別所直哉氏（執行役員 社長室長）と阿南愛氏（メディアサービスカンパニー ターゲティングメディア本部 ヘルスケア関連サービス部 部長 Yahoo!ヘルスケア サービスマネージャー）に聞いた。
Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると
Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
「Googleインフルトレンド」の失敗から学ぶ、ビッグデータの未来 | データ経営｜DIAMOND ハーバード・ビジネス・レビュー
『ヤバい統計学』の著者でマーケティング分析のプロ、カイザー・ファングの記事をお届けする。グーグルのインフルエンザ予測モデルが失敗した事例を基に、ビッグデータの現状と課題を考える。本誌2014年5月号（4月10日発売）特集、「アナリティクス競争元年」の関連記事第6回。 2013年に出版されベストセラーとなった『ビッグデータの正体』（邦訳は講談社）の第1章の冒頭で、共著者のビクター・マイヤー＝ショーンベルガーとケネス・クキエはGoogleインフルトレンド（GFT：Google Flu Trends）を取り上げている。そこでは、グーグルがいかにして数千億回の検索を含む5年分のウェブ上のログをマイニングしてアルゴリズムを組み立てたか、そして「どうしても報告に遅れが生じる政府の統計データよりも、有効でタイムリーなインフルエンザ指標であると実証済みの」45個の検索ワードを用いたインフルエンザ予測モデル
NYタイムズはビッグデータの「ビジュアル化」でいかに洞察を引き出したか | データ経営｜DIAMOND ハーバード・ビジネス・レビュー
このように、たった3件のデータのビジュアル化により、いわゆるバイラリティ（クチコミの効果）について重要なニュアンスを理解することができた。ネット上のクチコミと記事へのアクセスの関係は、「バイラル現象」の一言ですべてを説明できるほど単純なものではない。コンテンツの種類によって、異なるパターンが出現するのだ。 とはいえ、ビジュアルがすべてを伝えるということではない。いくつかの明確な相関関係はたしかに見られる。しかしクチコミの影響について信頼性のある真の洞察を生みだすには、複雑な条件付き依存関係や、時間的な自己相関およびネットワーク自己相関をふまえ、因果関係を説明する精緻な統計モデルを構築する必要がある。 それでもこれらのビジュアルは、データのどこを見て、どのような問いをすればよいかを知るうえで役に立つ。より複雑なモデルを構築するには、最適な構築場所を知る必要があるが、ビジュアルはそのためのヒン
Big data: are we making a big mistake?
Five years ago, a team of researchers from Google announced a remarkable achievement in one of the world’s top scientific journals, Nature. Without needing the results of a single medical check-up, they were nevertheless able to track the spread of influenza across the US. What’s more, they could do it more quickly than the Centers for Disease Control and Prevention (CDC). Google’s tracking had on
東京工科大学が3月3日、スタンフォード大学のパット・ハンラハン教授による講演会を開催――同氏の「片柳コンピュータ科学賞」受賞を記念
東京工科大学 東京工科大学が3月3日、スタンフォード大学のパット・ハンラハン教授による講演会を開催――同氏の「片柳コンピュータ科学賞」受賞を記念 大学ニュース / イベント / 国際交流 / その他 2014.02.21 07:00 東京工科大学（東京都八王子市）は3月3日（月）、コンピュータグラフィックス分野の世界的権威の一人であるスタンフォード大学のパット・ハンラハン（Pat Hanrahan）教授による受賞記念講演会を開催する。これは、同大とカーネギーメロン大学がコンピュータサイエンス分野に貢献した研究者に対して授与する「片柳コンピュータ科学賞」を、同教授が受賞したことを記念して開催するもの。当日はコンピュータグラフィックス技術とビッグデータの融合などについて、英語で講演を行う予定。入場無料、要事前申し込み。 「片柳コンピュータ科学賞」とは、コンピュータサイエンス分野で世界的に卓越し
ホットリンクとホットリンクコンサルティング、ソーシャル・ビッグデータを活用した予兆発見・分析ソリューション 「予兆@分析官」 の提供を開始｜#ホットリンク
ホーム お知らせ ホットリンクとホットリンクコンサルティング、ソーシャル・ビッグデータを活用した予兆発見・分析ソリューション 「予兆@分析官」 の提供を開始 お知らせ ホットリンクとホットリンクコンサルティング、ソーシャル・ビッグデータを活用した予兆発見・分析ソリューション 「予兆@分析官」 の提供を開始 リリースサマリー 株式会社ホットリンク（代表取締役社長CEO：内山 幸樹、本社：東京都千代田区）と株式会社ホットリンクコンサルティング（代表取締役社長：成瀬功一郎、本社：東京都千代田区）は、1月16日（木）、ソーシャル・ビッグデータを活用して予兆を発見・分析するサービス 「予兆＠分析官」 を開発し、第一弾として 「ヒットする食の予兆発見分析サービス」 を食品メーカー、および流通企業への提供を開始しました。 リリース詳細 食および食品に関する情報は、ソーシャルメディアで最も多く共有され、今
前のめりに取り組みたい「モノのインターネット（Internet of Things）」
ビッグデータが大きな話題になっているが、その陰に隠れて重要な事実が見過ごされている――「機械やセンサーから生成されたデータは何十年も前から存在する」という事実だ。電子商取引やERPといった比較的新しい世界の外側には、膨大な量の機械技術が存在する。製造現場で活躍するロボットやマシンビジョンシステムから、ガスタービン、風車、ジェットエンジンに至るまで、機械は基本的なビジネスプロセスの原動力として、複雑なリアルタイムデータを大量に生成しているのだ。 こうしたデータソースが突然、いわゆる「モノのインターネット」（Internet of Things、以下“IoT”）をスポットライトの中心に押しやろうとしている。IoTはあらゆるデバイスをインターネットに接続することを意味する。「Cレベル」のエグゼクティブたち（訳注：CEOやCTOなど肩書に「C」が付く企業幹部）は長い間、機械データの価値に目を向ける
「データサイエンティストブームは、これからも続きますか？」スゴ腕データサイエンティストたちに聞いた
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
Amazon RedshiftとTableauによるビッグデータ分析 〜 Tableau Desktopを使ってみた 〜 | DevelopersIO
お盆真っ盛り＆暑さ最高潮＆夏休みムード漂う今日この頃ですが皆様いかがお過ごしでしょうか。 最近はAmazon Redshiftに関して色々調査実践等を行なっているのですが、Amazon Redshiftで収集したビッグデータを扱う『分析ツール』もまた欠かせないものであると思います。今回、BI(ビジネス・インテリジェンス)ツールとして『Tableau』という企業の製品が良い感じですよ、という情報を得たのでトライアル版を導入し、動作確認やRedshiftとの連携等を試してみました。 目次 Tableau Softwareとは Tableau Softwareの製品一覧 Tableau Desktopを試しに使ってみる Tableau Desktop: オンライン無料入門トレーニング Tableau製品に関する各種ドキュメント Amazon Redshiftとの連携 まとめ Tableau So
［2］現場感覚こそ分析の要
ビッグデータの価値を引き出すには、それを分析する「場所」が重要だ。システム部門や調査部門などに閉じこもっているようでは、ビジネスの勝機はつかめない。事業に直結しない、単なる「数字遊び」に陥ってしまう可能性があるからだ。ビッグデータの活用企業は、現場感覚があふれる事業の最前線で、ビッグデータを分析・活用している。 ゲーム開発の現場で分析
ビッグデータと人道支援：知ってほしい5つのこと | OCHA Japan
Big data and humanitarianism: 5 things you need to know 私たちは電話をかけたり、物を買ったり、ソーシャルメディアを使うたびに、一つ一つ新たなデータを生み出しています。そしてこれまで人類が生み出してきた全てのデータよりも多くのデータが、2011年のたった1年間で生み出されたと言われます。こうした膨大な情報を正確に分析できれば、様々な問いに対する答えを引き出すことが可能です。そして政府や（通信会社やインターネットプロバイダー等の）民間セクター、個人によって生み出され、保存されたこれら大量のデータが、いわゆる「ビッグデータ」です。 脆弱な被災コミュニティに対してよりよい支援を届けるため、こうした膨大な情報をどのように活用すべきか、人道支援機関は模索を続けています。そこで今回は、ビッグデータと人道支援について、知っておいて頂きたい5つのポイン
管理が困難―分散処理の常識はZooKeeperで変わる
管理が困難―分散処理の常識はZooKeeperで変わる：ビッグデータ処理の常識をJavaで身につける（8）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 分散処理の課題が「管理」なのは常識 複数の計算機上で動作（分散）するアプリケーション、ソフトウェアが多く存在します。分散ソフトウェアは複数の計算機で動作することで大量のデータを扱えたり、高負荷な状況に対処します。本稿では、複数の計算機（クラスタ）で動作する各サーバを「インスタンス」と呼びます。 本連載で紹介した分散Key-Valueデータベースである「HBase」は複数の計算機で動作する代表的なソフトウェアです。両ソフトウェアはともに「Apache ZooKeeper」（以下、Z
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
New scalable solutions for data analysis with R - O'Reilly Radar
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
ComputerworldとCIO Magazineは閉鎖しました
Big Data and Advanced Analytics
時事ドットコム：社員の病気予防にビッグデータ＝研究開発本格化−ＮＴＴ