「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
「p値や有意性に拘り過ぎるな、p < 0.05かどうかが全てを決める時代はもう終わらせよう」というアメリカ統計学会の声明 - 渋谷駅前で働くデータサイエンティストのブログ
以前から同様の指摘は様々な分野から様々な人々が様々な形で出してきていましたが、アメリカ統計学会が以下のような明示的な声明をこの3月7日（現地時間）に発表したということで注目を集めているようです。 AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ON STATISTICAL SIGNIFICANCE AND P-VALUES Provides Principles to Improve the Conduct and Interpretation of Quantitative Science https://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf The ASA's statement on p-values: context, process, and p
順序データでもベイズモデリング
4. 再現性 いつどこで誰がやっても同じ結果になるか • バージョン管理, ドキュメンテーション • Git, {knitr} 頑健性 データやモデルを少しだけ変えても同じような結果になるか • 頑健な手法 • 検定: wilcox.test() • 相関: {minerva} mine() • 回帰: {MASS} rlm(), {quantreg} rg(), loess() • クラスタリング: {e1071} bclust() 6. 幅を見る • （パラメータの）信頼区間 • （新しいデータの）予測区間 • ブートストラップ • クロスバリデーション Take a Risk：林岳彦の研究メモ おっと危ない：信頼区間と予測区間を混同しちゃダメ http://takehiko-i-hayashi.hatenablog.com/entry/20110204/1296773267 参考
今から統計学を学ぶならコレ！間違い無しの超良質記事まとめ10選。 | SIROKグロースハックブログ
グロースハックを本格的にしようとすると、統計学が出来ると凄く便利！今回は、この記事を見ておけば今からでも統計学を使いこなせるようになる記事をピックアップしましたので、ご覧下さい！ ハンバーガーショップで学ぶ楽しい統計学 本にもなっている統計学の入門には最適な決定版サイト。広く使われている統計手法について分かりやすく解説されています。 オンラインで無料で読める統計書22冊 Web上で閲覧可能な統計書がまとめられている超お得な情報が詰まっている記事。 WEBで読める統計関係の良質な資料 統計に関する良質な資料がまとめられている記事。 統計屋による新社会人のための統計系入門書お薦め一覧 統計について学べる入門書についてまとめられている記事。 統計学を勉強するときに知っておきたい7つのポイント 統計学を学ぶ上で、重要なポイントが整理されている記事。 統計学を勉強するときに知っておきたい
Twitter公式のアクセス解析「アナリティクス」が日本でも使用可能に、実際に何ができるか使ってみたよレポート
「どれぐらいフォロー解除されているか」「自分のツイートのリンクは何回クリックされたのか」「自分のフォロワーは何に興味を持っている人が多いのか」「自分のサイトに埋め込んだツイートボタンは何回クリックされたのか」「自分のサイトのページでたくさんリツイートされたのはどれか」といったアクセス解析ができる「アナリティクス」機能が日本のTwitterの一部アカウントで利用可能になっています。これは2011年9月に「Twitter Web Analytics」として発表されていたもので、2011年7月にTwitterが買収した「BackType」というTwitterのアクセス解析サービスを改良したものになっており、GIGAZINEの公式Twitterアカウントでも利用可能になっていたので早速使ってみました。 ログインして右上にある設定アイコンから「アナリティクス」と書いてあるメニューが見えれば利用可能な
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
「n日間移動平均」＋「±2σ境界線」をExcelでプロットしてお手軽にKPIの異常値をチェックする（厳密ではないけど） - 渋谷駅前で働くデータサイエンティストのブログ
僕の得意分野は計量時系列分析(Econometric time series analysis)なんですが、実際にソーシャルwebサービス企業でデータ分析に取り組む上ではそんなに細かいことやる必要はない、というかそこまで正確な分析をする前に実務上色々やるべきことがある、ということは結構多いです。 実際のところ、本当は異常値検出・外れ値検出みたいな手法でゴリゴリやりたい（例えばyokkunsさんが提供なさっているRの{ChangeAnomalyDetection}パッケージとか、はたまた{tsDyn}パッケージでも実装されているようなSETARとか、もしくは{MSwM}パッケージでやれるマルコフ状態転換モデルとか）んですが、Rを使ってもらうだけでも一苦労という現場ではそうも言ってられないという実態もあります。 ということで、もう何もかも面倒なのでお手軽に「KPIの上がり下がりを見て『これ凄く
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
