タグ

データと事例に関するkoemuのブックマーク (3)

  • YAPC::Asia Tokyo 2015での発表 - Go ahead!

    YAPC::Asia Tokyo 2015 今年で最後となるYAPC::Asia Tokyoで,データ分析基盤まわりについて発表してきました.部屋は満席だったようで,聞きに来てくれた皆さん,ありがとうございました.会場はD言語erにふさわしくD会場でした. データ分析基盤を支える技術 - YAPC::Asia Tokyo 2015 これが今どきのデータ解析基盤だ!初心者のためのデータ解析講座 #yapcasia #yapcasiaD - Togetterまとめ どういう展開にしようか悩んだんですが,データ分析基盤の構築に使われる様々なソフトウェアが,どういう問題を解決するために導入されているのか,またその一方どういう問題を持っているのか,を一からデータ分析基盤を作るという流れで話していくことにしました. 既にガリガリやっている人向けではなくて,これからやろうとしている人,やってるけど現状の

  • ドリコムを支えるデータ分析基盤 - かにぱんのなく頃に

    はじめに これは ドリコムAdventCalendar の4日目です 3日目は、@arihh さんによる 3年くらいお菓子神社運営してきた です 自己紹介 @ka_nipan ドリコムに新卒で入社し、Android開発、BtoBtoC のwebサービス開発を経て、現在は弊社アプリのログ収集から集計、可視化、その他周辺ツールといった分析基盤の面倒を見ています 日はそのデータ基盤の話を書きます データ分析基盤全体図 弊社では Hadoop をオンプレで運用していて、そこにログや分析用のデータを置いています メリット 運用コストが安い Treasure Data、Big Query、Amazon Redshift 等の外部サービスを使うよりは安く済みます 自由度が高い 各サービスには容量をはじめ色々と制限があったり、こちらの要求仕様にマッチしない部分が少なからずありますが、自前の場合その辺は融

    ドリコムを支えるデータ分析基盤 - かにぱんのなく頃に
    koemu
    koemu 2014/12/04
    「基本的に HDFS には gzip 圧縮した tsv ファイル等を置いていて、SequenceFile は置いていません」オンプレで設置するほうが良いと判断できるほどの状況なのだな…
  • cyclowired | シクロワイアード

    シクロワイアードは、スポーツ自転車の総合情報サイトです。ロードレースなどのレース情報から、フレームやパーツ、イベントやショップの情報に至るまで、皆さんの自転車ライフに役立つ情報を日々ご紹介しています。

    cyclowired | シクロワイアード
    koemu
    koemu 2014/02/26
    きーさんだ!
  • 1