タグ

ビッグデータに関するocaesarのブックマーク (6)

  • 大阪市のオープンデータを使って、ひったくり事件発生個所を視覚化してみた。

    [2016/6/8 data update] 以前、大阪都構想住民投票結果の地図を作った際に、大阪市のオープンデータの中に犯罪発生個所データがあるのを発見したので、そのなかから「ひったくり発生個所」データを視覚化してみました。 大阪市市民の方へ 大阪市の犯罪発生情報 example データの読み込みと整形処理が結構重いので、ページが表示されるまでに時間がかかります。 画面上位にある「被害者の年齢」や「事件発生時刻」のヒストグラムは、バーをクリックするとデータの絞り込みを行えます。グラフの空白部分をクリックすると、絞り込みを解除します。 地図上のエリアをクリックすると下に事件に関するデータを表示します。 めんどうだったこと 公開されているcsvの町名の一部が旧漢字だったため、e-statから取得した町丁目境データと名寄せするのがめんどくさかったです。 来は新漢字に寄せた方がよいのでしょうが

    大阪市のオープンデータを使って、ひったくり事件発生個所を視覚化してみた。
  • 100億件を4時間半で分析 NTTデータらビッグデータで革新技術

    NTTデータとNTTデータ数理システムは2015年4月27日、1億件を超える大量のデータ分析ができる「In-Database Analytics技術」(図)を共同で開発したと発表した。検証では100億件のデータをサーバー1台で約4時間半で分析でき、従来製品の1000倍以上の件数を処理できたという。NTTデータは15年度中に同技術を用いたサービスを商用化し、2020年度までに100億円の売り上げを目指す。 業務データを高速に分析する「データウエアハウス(DWH)」では扱うデータ量や分析処理の速度に限界があったが、今回両社が共同でこの問題を解決する技術を開発。DWHとデータ分析ソフトの役割分担を見直し、DWH内部でデータを分析できるようにした。 DWH用のデータベースサーバーソフト「SAP IQ」(旧Sybase IQ、関連記事)に同技術を実装。分析はSQL(データベース言語の一種)を使ってい

    100億件を4時間半で分析 NTTデータらビッグデータで革新技術
    ocaesar
    ocaesar 2015/05/01
    SQLでというのがミソやな
  • お仕事拝見 リクルートの分析司令塔に密着!

    情報誌からネットへと事業の軸足を移しても、コミュニケーションと行動を大事にするリクルートの企業文化は変わらない。データサイエンティストもしかり。1日中机に張り付いて分析しているわけではない。有名データサイエンティストの1日に密着した。 密着したのはリクルートテクノロジーズ(東京・千代田) ビッグデータグループの西郷彰シニアアナリスト。就職や住宅、物販などリクルートホールディングス傘下の事業会社が運営する情報サイトの情報を分析し、現状の可視化や将来の予測を行う。 9月末のある日の仕事は、朝9時からのミーティングで始まった。人材情報サイトを運営するリクルートジョブズの東京・銀座のオフィスで、テクノロジーズとジョブズ両社からデータサイエンティストとエンジニアが参加。サイトの運営責任者である板澤一樹グループマネジャーを囲んで議論が盛り上がる。 事業会社とシステム機能会社という関係の両社だが、気心は

    お仕事拝見 リクルートの分析司令塔に密着!
    ocaesar
    ocaesar 2014/06/12
    データサイエンティストのリアルが分かる記事。統計の勉強を始めようと思って、はや一年・・・・・・時間が無いと嘆きたいところだが、時間は作るしかない。真面目に頑張ってみるか!ひとまず、RをPCに導入だ!
  • 第4回 システム部門から見たデータ解析・活用の課題と解決方法

    第4回では、システム部門から見た近年のデジタルマーケティング環境と、そのデータを解析・活用するための課題を整理し、解決手法の1つであるGoogle アナリティクスプレミアムとBig Queryの組み合わせを紹介する。 デジタルマーケティングデータ活用の「広がり・深まり」 近年のデジタルマーケティング関連技術の成熟化・複雑化にともない、デジタルマーケティング施策は、マーケティングチームやWebサイト担当チームだけで実施するのではなく、情報システム部門と十分に連携し、データを解析・活用することが必要であると、連載第1回~第3回で解説した。 そこで今回は、システム部門として今後のデジタルマーケティングをデータ解析・活用の面から支援するとき、何が課題なのかを検討したい。 まずは、システム部門の視点から近年のデジタルマーケティング環境を振り返り、そのデータを解析・活用することを考えてみたい。 近年

    第4回 システム部門から見たデータ解析・活用の課題と解決方法
  • SankeiBiz(サンケイビズ):自分を磨く経済情報サイト

    サービス終了のお知らせ SankeiBizは、2022年12月26日をもちましてサービスを終了させていただきました。長らくのご愛読、誠にありがとうございました。 産経デジタルがお送りする経済ニュースは「iza! 経済ニュース」でお楽しみください。 このページは5秒後に「iza!経済ニュース」(https://www.iza.ne.jp/economy/)に転送されます。 ページが切り替わらない場合は以下のボタンから「iza! 経済ニュース」へ移動をお願いします。 iza! 経済ニュースへ

    SankeiBiz(サンケイビズ):自分を磨く経済情報サイト
  • 「日本のIT、完敗の恐れも」 ヤフー、「パーソナルデータ」活用規制に危機感

    「日ITが完敗してしまう恐れもある」――ヤフーは1月21日、政府の「パーソナルデータに関する検討会」事務局が示している、パーソナルデータ(個人に関する情報)に関する制度の見直し方針について、異議を唱える記者説明会を開いた。データ利活用の過剰な規制はビッグデータ関連ビジネスの足かせとなり、日IT産業を衰退させる恐れがあると警戒している。 パーソナルデータに関する検討会(座長・堀部政男一橋大学名誉教授)は、政府のIT総合戦略部傘下に昨年9月に設置された。ビッグデータを活用した新ビジネス・サービスが勃興する中、プライバシーの保護などに配慮したパーソナルデータ利活用のルールのあり方を検討したり、監督・紛争処理機能を備えた第三者機関の設置を含む制度の見直し、関連の法改正などについて議論。議事録はWebサイトで公開され、制度の見直し案(事務局案)の概要もPDFで公開されている。 この見直し案

    「日本のIT、完敗の恐れも」 ヤフー、「パーソナルデータ」活用規制に危機感
    ocaesar
    ocaesar 2014/01/22
    天下の悪法 個人情報保護法。役所が逃げの口実に作った法律。
  • 1