投票: アドネットワークのデータ解析チームを支える技術 | PyCon JP 2015 in TOKYO
# アドネットワークとは アドネットワークとはインターネットのディスプレイ広告領域において、複数の広告主と複数のメディア(広告枠)を束ねて広告を配信する仕組みです。アドテクやプログラマティック取引という言葉があるように、ネット広告分野では様々な技術が利用されています。 ## データ解析チームとPython データ解析チームのミッションは配信アルゴリズムの改良やデータ分析によって効果的な施策を導き出す事により収益性を向上させる事です。その中でデータ収集からアルゴリズムの実験、効果検証に至るまで様々な所でPythonを利用しています。次のタスクを例に、どの様にPythonを活用しているかを紹介します。 - 分析基盤の構築 - データ収集 - 配信の最適化 - CTR予測 - クリックデータ分析 - CPC最適化 - 多腕バンディット問題 - レポート作成 主に次に挙げる物を使っています - N
ログ集計システムを自前で作る - Y's note
Index ログ集計システムの要件 DB設計 データ保存方針 table設計 サーバ構成 Fluentd fluentd,fluent-plugin-mysql-bulk install td-agent.conf mysqlにデータが格納される事を確認する 集計用のバッチ その他 Table肥大化防止 可視化 ログ集計システムの要件 爆弾ログ処理班の@yutakikuchi_です。 ログ集計システムというものを作る時に皆さんはどのように対応していますか？ 以下の候補から要件のレベルで使い分けをしている人が多いと予想しています。ざっくりの評価ですが、導入難易度、正確性、可視化、リアルタイム、長期集計、スケール、運用費用という点で評価を書いています。 ツール 導入難易度 正確性 可視化 リアルタイム 長期集計 スケール 運用費用 リンク GA(スタンダード) ○ × ○ ○ ○ ○ ○ Go
Elasticsearch のインデックス解析モジュールの概要 (アナライザやトークナイザなど) - ひだまりソケットは壊れない
Elasticsearch で kuromoji プラグイン を使用しようと思ったものの、解析 (analysis) 周りをちゃんと理解してなくて困ったりしたのでちゃんとドキュメントを読んだ。 Elasticsearch 0.90 現在の公式サイトのガイドを参考に、解析周りの概要をまとめておく。 Analysis: 解析について 参考ページ: Analysis インデックス時とクエリ文字列の解析 (入力された文字列をどこで区切るのか、とか) にアナライザが使用される。 インデックス解析モジュールの記述 (?) でアナライザを定義できる。 インデックス解析モジュールとアナライザの概要は次の通り。 インデックス解析モジュール (The index analysis module) 次の 2 つの場面で使用されるアナライザ (Analyzers) を登録するのに使用する: ドキュメントのインデッ
Fluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログ
ゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドでも自然言語処理や機械学習を中心としたデータ解析処理がサービスの生命線となっていますし、サービスの裏側でも戦略を立てる上で効果測定や諸々のデータの分析は非常に重要な位置を占めています。 本記事では主にサービスの裏側で求められるデータ解析において、いかにカジュアルにデータを解析するか、の一例として、掲題のような組み合わせによるデータ可視化の事例を簡単にですがご紹介したいと思います。 データ解析基盤を作る側の視点からすると、システムとして求められる要件は以下のようなものだと理解していま
PHPのプロファイラー「XHProf」の使い方 - 浜村拓夫の世界
PHPでプログラムを作っているとき、プログラムの実行状況を確認するため、プロファイラーというツールを使います。 プロファイラとは 【profiler】 - IT用語辞典 プロファイラとは、動作中のプログラムがどの処理をどういった順序で実行したかを監視するプログラム。 プログラムの障害を見つけるために用いられるよりも、プログラムの余計な部分を削るなどして高速化するために用いられることが多い。 PHP用の「XHProf」という便利なプロファイラーが紹介されていました。 PHPプログラムを解析して何処が重いか？がブラウザ上で簡単に分かる「XHProf」:phpspot開発日誌 PHPプログラムを解析して何処が重いか？がブラウザ上で簡単に分かる「XHProf」。 Callgraphというものが見れるらしい。 プログラム実行の遷移図みたいなもので、重い部分を赤とか黄で視覚的に表示してくれる…、ってこ
Mint: A Fresh Look at your Site
The web is listening to what you have to say. Admiring your design. Talking about your product. Mint helps you identify where the most interest is being generated and over what. What is Mint? Mint is an extensible, self-hosted web site analytics program. Its interface is an exercise in simplicity. Visits, referrers, popular pages and searches can all be taken in at a glance on Mint's flexible dash
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソーシャルメディア解析ツール : Facebook解析 / Twitter解析
http://userlocal.jp/
in the looop | Looops communications