アクセスログ分析最前線：Treasure Data JavaScript SDK で始めるパス分析 その２ - トレジャーデータ（Treasure Data）ブログ
はじめに トレジャーデータが提供する Treasure Data JavaScript SDK は，他のアクセスログ収集ツールと同様に，HTML 内にタグを埋め込む事でアクセスに関する情報を収集することができます。 docs.treasuredata.com 前回はまず先にパス分析のアウトプットが何なのかを明示するため，いくつかのダイアグラムを紹介しました。 blog-jp.treasuredata.com 今回からはそのダイアグラムを得るための手順を紹介していきます。 分析フロー 実際にアクセスログからパス分析を経てダイアグラムを得るためには，上図のフローをとります。今回はトレジャーデータ内での処理（2.〜6.）をクエリを交えて説明します。次回では NYSOL, Graphviz パッケージを紹介し，可視化までに必要なコマンド群を解説します。 パス分析を行うための必要条件 本記事において
複雑に絡んだ要因を論理の力で解きほぐす／PythonとJupyter でブール代数アプローチをやってみた
計算は、慣れない人のアタマには負担だが、規則通りに進めていけばいいという利点がある。 たくさんの要素を扱ったり、複雑に込み入った推論を進めることもまた、人には負担の大きい作業だが、計算の形に変換することができれば、途中過程を規則的な繰り返し作業に置き換えることができる。たとえば機械に手伝ってもらえる。 今回、紹介するのは、数値化／統計的処理が難しい事象や、質的研究について、計算＝演算の力を導入するとどんなことができるかという一例※である。 ※ 続くかどうかわからないが Sociology on Pythonシリーズの第一弾でもある。 ブール代数アプローチ(boolean algebra approach) ブール代数アプローチは、 Ragin(1989)によって、真理表とブール代数に依拠した比較分析の手法として、質的比較分析(Qualitative Comparative Analysi
みんなのウェディングのデータ分析基盤の現状 — みんなのウェディングエンジニアリングブログ
こんにちは、みんなのウェディングの小室 (id:hogelog) です。 今回はみんなのウェディングにおけるデータ分析基盤の現状についてご報告させていただきます。 三行まとめ 忙しい人のために先に結論を書くと bricolage と embulk で Redshift に集めて re:dash で分析 です。 データ収集 データ収集は bricolage のジョブネット機構を用いて bricolage の各種ジョブや embulk を連携させ、Redshift にデータを取り込んでいます。 参考までに https://github.com/hogelog/dwh-example に簡単な構成例を準備しました。 MySQL → Redshift みんなのウェディング http://www.mwed.jp/ のデータベースとしては MySQL を利用しています。 MySQL から Redshi
Emotion Intelligence株式会社 高機能雑用 中山ところてんについて
ECzine Day（イーシージン・デイ）とは、ECzineが主催するカンファレンス型のイベントです。変化の激しいEC業界、この日にリアルな場にお越しいただくことで、トレンドやトピックスを効率的に短時間で網羅する機会としていただければ幸いです。
ほげおメモ: tshark (WiresharkのCLI版) の使い方
tsharkはWiresharkのCLI(コマンドライン)版と言えるもので、GUIのないサーバ上やターミナルからtcpdumpと同じ利便性で使える、パケットキャプチャです。tsharkによるSummaryもWiresharkど同等の内容で確認できるので、tcpdumpよりtsharkの方が好まれる人も多いのでは。 GUIではWiresharkが最もメジャーなパケットキャプチャで、使用されている方も多いかと思います。かたやCLIではtcpdumpを使う方が多いのではないでしょうか。この場合、tcpdumpの代わりにtsharkを使うとCLIでもWiresharkと同様の確認が行えるのでよいかもしれせん。 tsharkはWiresharkのパッケージに含まれて提供されていますので、Wiresharkがインストール済みであれば既に実行可能かと思います。 WindowsやLinuxでは下記Path
[Japanese only] Data Analysis and Data processing framework
A talk at NTT Docomo Innovation Village.
![[Japanese only] Data Analysis and Data processing framework](https://cdn-ak-scissors.b.st-hatena.com/image/square/3ea4650413289fa991a57b1b0a8436d7276ba76a/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F766090eeb47242cfa57861c1f386f23a%2Fslide_0.jpg%3F5873689)
【 Python で時系列解析 】状態空間モデル（カルマン・フィルター / パーティクル・フィルター）～ コード実装方法 基礎調査（編） コード掲載ウェブサイトまとめ - Qiita
Python では、（R言語とは様子が異なり）まだまだ、 「カルマン・フィルター」 「パーティクル・フィルター」 など の 「状態空間モデル」 の 実装コード事例 が ウェブ上 に 見当たらない。 この記事 では、日本語で読める 「状態空間モデル」 Python コード事例 掲載サイト を 集めてみました。 statsmodelsモジュールに、以下のメソッドがある模様 statsmodels.tsa.kalmanf.kalmanfilter.KalmanFilter SM StatsModels Statistics in Python 上記モジュールを使わない Python でのコード例 satomacoto「Pythonでカルマンフィルタを実装してみる」 Hatena::Diary how to code something shima_xさん Qiita投稿記事 「カルマンフィルタで
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
実行中のプロセスのメモリをダンプする
実行中のプロセスが使用しているメモリをダンプできる夢のようなツール、gcore を CentOS 5.5 で使用する方法のメモ。 手順 gdb をインストールする。 # yum -y install gdb メモリをダンプしたいプロセスのプロセス ID を調べる。今回は Apache を例とする。 # ps -aux |grep httpd root 2740 0.0 1.6 24828 8436 ? Ss May25 0:01 /usr/sbin/httpd apache 2762 0.0 1.0 25024 5468 ? S May25 0:00 /usr/sbin/httpd apache 2763 0.0 1.0 24964 5296 ? S May25 0:00 /usr/sbin/httpd : 目的のプロセス ID は 2740 であることがわかった。 メモリをダンプする。
Twitter解析ツール１５種比較レビュー - リアルアクセス解析
お知らせ 2011年版を書きました！以下レビューには古いツールもあるので、新しいバージョンを御覧ください。 何かと話題のTwitterですが、自分のアカウント情報を解析する様々なツールも登場しています。今回はその中から１５種類のツールをピックアップして比較をしてみました。比較表も用意しましたので、必要に応じてダウンロードしてください。 最初に ご存知の方も多いかと思いますが、Twitter自体にGoogleAnalytics等のアクセス解析ツールを導入する事が出来ません。そのため、今回紹介するどのツールでも表示回数・滞在時間といってアクセス解析に関連する情報は取得出来ません。そこで多くのツールはTwitterが公開しているAPIを使って集計及び分析を行っています。 今回のツールのレビューは「見やすさ・使いやすさ」「機能の豊富さ」「独自性（他には無いレポートや機能）」の３つを５点満点で評価を
「YouTubeの帯域利用料はゼロ」：ネットワーク構造の変化で | WIRED VISION
前の記事 出版業界を救うのはApple？：全く新しいコンテンツ体験が可能に 「YouTubeの帯域利用料はゼロ」：ネットワーク構造の変化で 2009年10月19日 Ryan Singel インターネット接続に関する新しい調査報告で、『YouTube』がオンラインに存在するために支払っている金額は、読者が払っている金額より少ないかもしれないことが示唆されている。 たしかに、Google社は現在、YouTubeによってインターネットのトラフィックの少なくとも6％に関与しており、実際の数字ははもっと大きいと推定されている。しかし、同社はそれほどのコンテンツや付随する広告を提供するための料金を、インターネット・サービス・プロバイダー(ISP)にはまったく支払っていない可能性があるというのだ。 この報告は、米Google社の人気ビデオサービスYouTubeは赤字であるというこれまでの分析に異議を唱え
Twitter Social Network Analysis - UMBC ebiquity
In the recent series of posts, we have presented Twitter Goolgle Maps mashup, a Twitter search and buzz tracking tool called Twitterment and analysis of geolocation information from the twitter dataset. By providing a neat API, Twitter has enabled researchers to get a better understanding of Microblogging. In this post, I have used the Large Graph Layout (LGL) tool to visualize the social network
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 10年戦えるデータ分析入門 SQLを武器にデータ活用時代を生き抜く (Informatics ＆IDEA): 青木峰郎: Digital Ebook Purchas
失敗から学ぶ�データ分析グループの�チームマネジメント変遷 （デブサミ2016） #devsumi
The Sound of Sorting - "Audibilization" and Visualization of Sorting Algorithms - panthema.net
特徴ベクトル変換器を作った話 #dogenzakalt