グラフ・ネットワーク分析で遊ぶ(2)：最短経路長など - 渋谷駅前で働くデータサイエンティストのブログ
前回の記事に引き続き主に{igraph}の各関数で遊びながらグラフ理論・ネットワーク分析を学ぶこのシリーズですが、今回は様々なノード間の特徴量について見てみます。もちろん今回も参考文献はこちら。 ネットワーク分析 (Rで学ぶデータサイエンス 8) 作者: 鈴木努,金明哲出版社/メーカー: 共立出版発売日: 2009/09/25メディア: 単行本購入: 5人 クリック: 62回この商品を含むブログ (9件) を見る データセットは前回適当に生成したグラフのものと、C elegansと、さらに以前使った『レ・ミゼラブル』の人物相関図を対比のために併用しようと思います。 最短経路長とダイクストラ法 前回適当に生成したグラフを今回も使ってみましょう。 > d [,1] [,2] [1,] 1 8 [2,] 3 1 [3,] 1 2 [4,] 6 2 [5,] 3 8 [6,] 5 3 [7,] 6
トレジャーデータで実践：Path 分析（アウトプット編１：頻出パターンマイニング） - トレジャーデータ（Treasure Data）ブログ
はじめに 「トレジャーデータで実践：Path 分析」シリーズでは，過去にWeb，広告，リアル店舗でのログを元に，コンバージョンパステーブルの作成例とその分析事例を紹介していました。 blog-jp.treasuredata.com それに続く本記事では，より具体的かつ汎用的な分析事例として，コンバージョンパスを分析インプットとした時に，どんな分析アウトプットが出せるか，について以下の3つを紹介する事にします。 頻出パターンマイニング（今回） コンバージョンパス ダイアグラム 決定木モデル 上記の資料はパス分析の概念から始まり，トレジャーデータにおけるデータの持たせ方から分析アウトプットまで，パス分析のいろはを詳細に述べた資料です。 コンバージョンパステーブル ここで，生データとコンバージョンマスタテーブルを元に，トレジャーデータ上で作成するコンバージョンパステーブル（パス分析のインプットと
データサイエンスのワークフロー ― データ分析を効率に行うために | POSTD
データを扱うときに、きちんと定められたワークフローがあると助かります。具体的には、「ストーリーを伝える」（データの可視化／ジャーナリズム）ことだけを目的として分析を行いたいのか、それとも一定のタスク（データマイニング）をモデリングするためにデータに依存するシステムを構築することが目的なのか、プロセスが重要です。前もって方法論を定めておくことによって、チームの足並みが揃い、次に何をすべきか考え出そうとして無駄な時間を費やさなくて済みます。それによって早く結果が得られ、資料の公表も早くなります。 これを念頭に、Ashley Madisonの漏洩データ分析に関する 前回の記事 に続いて、私たちが現在使用しているワークフローをご紹介します。このワークフローは、データ漏洩（Ashleyのケースなど）を分析するためだけでなく、社内のデータの分析にも使用されます。ただし、重要な点として、このワークフロー
ロジスティック回帰の考え方・使い方 - TokyoR #33
お茶の水女子大学伊藤研究室ゼミ資料 関連資料として以下が参考になります https://note.com/sick4989hack/n/n928f78d3d33f
［1］データ分析基盤の選び方、今やDWHはクラウド一択
我が社も社内データを活用して業績を高めたいのだが、さて何から手を付ければいいのか…。 昨今のビッグデータ分析の盛り上がりで、さまざまな企業の方からこんな悩みを打ち明けられることがあります。それも、企業のトップ層から、事業部門や情報システム部門など現場の方まで、悩みの中身は様々です。 例えば情報システム部門の方なら「情報システム部門としてビッグデータに取り組みたくとも、経営陣や事業部門を説得して巻き込んでいくのが大変で…」「そもそも事業部門の方で、どのような分析が効果的かを明らかにしてくれないと、導入するITツールを選定しようもない」と嘆きます。 その一方で、事業部門の方は「ビッグデータ分析には興味があるが、情シス（情報システム部門）と話すのは大変だし、かといって自分にはシステムの知識はないし…」「ウチは店舗出身のメンバーが中心なので、データ分析のスキルを身につけさせるのは難しそう」といった
440万組をマッチングさせたpairs分析・アルゴリズムチームのPDCAサイクル | 株式会社エウレカ
こんにちは。pairsの分析・アルゴリズム担当の鉄本です。 恵比寿のランチ開拓がマイブームです。 最近のオススメは、タワーダイニングです。 常にダイエット中の私からすると、バジルチキンのサラダボウルが美味しくて、ヘルシーで、ボリューミーで… とにかくオススメなんです！ 考え事や、開発以外の仕事をついでにしたい時に一人で行くことが多いです。決して寂しい人ではないです。 あえてです。 ……ちょっと寂しくなってきたので、早速本題に入ります。 「PDCA」で回すpairsのアルゴリズム改善 今回は、pairsのアルゴリズム改善についてお話ししたいと思います。 私の所属する分析・アルゴリズムチームでは、pairsの数値データを扱っています。 具体的には数値の計測、分析 → 考察 → 提案 → 開発 → 効果測定 → 改善 … といったサイクルで開発を進めています。いわゆる「PDCAサイクル」というも
西之島の不思議：大陸の出現か？ | 2014＜JAMSTECニュース＜独立行政法人海洋研究開発機構
東京の約1000km南方に、南北約650m、幅約200ｍの小さな無人島があった。西之島である。2013年11月20日、西之島の海岸線から約300m南東沖に海底噴火が確認され、新島を形成した（2013年11月25日のJAMSTECニュース・コラム参照）。新島は爆発的に、かつ着実にマグマを噴出して成長を続けた。2013年12月、西之島は新島と結合し、一体化した。2014年5月、西之島は、面積は以前の4倍、南北、東西ともに幅1,250ｍの島に成長した。激しい爆発は船舶の接近を拒み、いまも流出している西之島の溶岩は、未だ採取されていない。しかし、旧西之島は1973年から74年に噴火しており、その噴出物およびそれ以前の溶岩は採取され、分析されている。驚くべき事に、これらの岩石はすべてSiO2（シリカ）量が60%前後の非常に均質な「安山岩」である。安山岩は大陸を形成する物質であり、海の真ん中で噴出する
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか - 渋谷駅前で働くデータサイエンティストのブログ
データサイエンティストブームが去りつつある一方で、データ分析ブームそのものはじわじわと広がり続けている感じのする昨今ですが。最近また、色々なところで「本当にビジネスやるのに統計学って必要なの？」みたいな話題を聞くことが増えてきたので、何となくざっくりまとめて書いてみました。 ちなみに今回の話題の参考図書を挙げようと思ったら、この辺ですかね。 とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた― 作者: 石田基広,りんと出版社/メーカー: 共立出版発売日: 2013/09/25メディア: 単行本この商品を含むブログ (13件) を見る 統計学入門 (基礎統計学) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メディア: 単行本購入: 158人 クリック: 3,604回この商品を含むブログ (78件) を見る 本当は赤
5分でわかるベイズ確率
ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです．数理・計算科学チュートリアル実践のチュートリアル資料です．引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください． 以下，エラッタ． * 52 of 80：KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80：2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80：AICの第2項は d/2n ではなく d/n. * 76 of 80：βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗す
『最適化』という魔法の言葉 - dataminer.me
はじめに データマイニングの仕事をやっているとよく『最適化』という言葉に出くわすことがある。例えば、『データマイニングの技術を使って広告効果を最適化してます』とか『うちのゲームはデータ分析によってユーザーに対して最適なコンテンツを出し分けている』とか。 自分も困ると『データマイニングにより最適化を行ってます』と話しちゃうことが多い。そりゃ「最適化＝最も適した状態にすること」なんだから話を聞いた相手もぐうの音も出ないから相手を説得しやすい。 でも、最適化って「どう最適化するか＝データマイニング技術」よりも「何を最適化するか＝何をKPIにするか」の方がお金儲けに直結するし、そここそがデータマイニングのコアになっていることが多いと思うので、それに関する個人的な意見。 例として広告における最適化 「CPA最適化」とか「CTR最適化」とか。ネット上でとれる数値に対して最適って言う文脈で出ることが多い
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
失敗から学ぶ�データ分析グループの�チームマネジメント変遷
データファースト開発
http://www.moj.go.jp/psia/ISC/index.html
サービス改善はログデータ分析から
【CEDEC 2014】データの見方を間違えて失敗した5つの例・・・DeNAの分析担当者が語る | インサイド