A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT
本記事の編集方針 ※この記事に興味をもたれた方は、 A/Bテスト カテゴリーの記事一覧 - 廿TT も、必要に応じてご覧いただければと思います。 本記事はもともとは、「A/Bテストの数理」への批判：「有意」とはなにか の続き的なエントリでした。 しかし、予想外に反響があったため Request for Comments（ご意見求む）の精神で、随時更新している部分もあります。 ただし、ベースとなる主張、Web系施策のA/Bテストに、仮説検定は向かないという部分は変化していません。 もしぼくの考えが変わり、「やっぱ仮説検定、いいかも」となった場合、本記事の存在価値はほぼ消滅します。 そのようなことがあれば、ページ最上部に「考えが変わりました」と明記します。 また、他の修正箇所も区別して明記し、差分がわかるようにします。 ただし細かい言い回しや、誤字脱字等はだまって修正します。 目次： そもそも
今さら人に聞けない「重回帰分析の各手法の使い分け」 - 渋谷駅前で働くデータサイエンティストのブログ
（※※※続編記事書きました→「使い分け」ではなく「妥当かどうか」が大事：重回帰分析＆一般化線形モデル選択まわりの再まとめ） 今ちょうどadtech tokyo 2013の会期中で、職場からも近い＆会社から行ってこいという指示が出たということで僕も色々セッションを聞いたり企業ブースのお話を聞いたりしてる*1ところです。 ところで、いくつかのセッションの中でキーワードとして「重回帰分析」という言葉が出てきてました。ま、それ自体はこのブログでもRによるデータ分析絡みで頻出だし、ぶっちゃけありふれた手法と言って良いでしょう。やりようによっては普通にExcelでもできますし、それだけ人口に膾炙していると言って良いのかもですね。 ただし。意外にも内部のパラメータというか細かい手法の分岐というか、それこそ普通の線形モデルvs.一般化線形モデル（バリエーション多数）があることを無視して漫然と重回帰分析をや
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
データマイニングで使われるトップ10アルゴリズム - データサイエンティスト上がりのDX参謀・起業家
2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C
統計学を勉強するときに知っておきたい10ポイント - Issei’s Analysis ～おとうさんの解析日記～
googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているようです。またIBMは分析ができる人材を4,000人増やすと言っています（同記事）。しかし分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよく聞きます。それに機械学習系の本は最近増えてきましたが、統計学自体が基礎から学べる本はまだあまり見かけないです。 そこで今回は、統計学を初めて勉強するときに知っておいた方が良い10ポイントを紹介したいと思います。 1. 同じ手法なのに違う呼び名が付いている 別の人が違う分野で提案した手法が、実は全く同じだったということがあります。良く聞くのは、数量化理論や分散分析についてです。 数量化理論 数量化I類 = ダミー変数による線形回帰 数量化II類 = ダミー変数による判別分析 数量化III類 =
MCMC（Markov Chain Monte Carlo、マルコフ連鎖モンテカルロ法）について - データサイエンティスト上がりのDX参謀・起業家
今日はMCMC法についての解説です。 メモ程度のものですが、ご参考になれば幸いです。 日本語の良本はこれ。 マルコフ連鎖モンテカルロ法 (統計ライブラリー) 作者: 豊田秀樹出版社/メーカー: 朝倉書店発売日: 2008/05/01メディア: 単行本購入: 11人 クリック: 168回この商品を含むブログ (13件) を見る 有名な解説論文： Sampling-Based Approaches to Calculating Marginal Densities. Gelfand AE and Afrian F. M. Smith. Journal of the American Statistical Association, 85;410:398-409, 1990. 【概念】 Monte Carlo（モンテカルロ法） モンテカルロ：金持ちの町、F1もやってる 興味のある値を「頻度」を使
画像認識の初歩、SIFT,SURF特徴量
6. 画像特徴量の変遷 第一世代 第二世代 第三世代 対象物全体 局所情報 局所情報のつな 輝度分布 SIFT がり wavelet SURF Haar-like Joint Haar-like HOG Joint HOG Shapelet 1990年代 2000 - 2005 2006 - 現在 7. 局所特徴量 SIFT 1999 •Google の論文で言及http://www.esprockets. com/papers/www2008-jing-baluja.pdf。ただし、アルゴリズムが著作 権で守られている。C#ライブラリ libsift, OpenCV SURF 2006 SIFT の処理速度改良版。OpenCV haar-like特徴 2001 近接する2 つの矩形領域の明度差 Haar- 顔認識に用いられ(OpenCVの顔検出) like HOG(Histogram o
「使ってはいけないパスワード」トップ50が公開、1位は「123456」で2位は「password」に
先日GizmodoやKotaku、Lifehackerなどを運営するアメリカの「Gawker Media」のサイトがハッキングされ、ユーザー情報が大量流出するという事件が発生しましたが、流出したユーザーのパスワードの情報を元に「使ってはいけないパスワード」がランキング形式で公開されました。 使ってはいけないパスワードの1位は「123456」で、2位は「password」になるなど、安直すぎるパスワードを利用するユーザーが多いという結果になっているほか、複数のサービスで同じパスワードを使い回すことに対する注意喚起も行われています。 詳細は以下から。 The top 50 passwords you should never use | Naked Security セキュリティ企業のSophosの発表によると、「Gawker Media」のサイトがハッキングされたことを受けて、マイクロブログ
Crypto and Security Conferences Ranking
Here we first define the Conference Impact Factor (CIF) as follows: CIF = 1 / (AR+PR+CR), where AR = No. accepted papers / No. of submissions PR = No. accepted papers / No. of registered participants CR = No. accepted papers / No. of citations Below is a CIF-based ranking of crypto and security conferences, for informal reference only. The CR data is from Microsoft Academic Search. As the dynamic
R による統計処理
「Rによる統計解析」 オーム社 刊 サポートページ 目次 第1章 Rを使ってみる 第2章 データの取り扱い方 第3章 一変量統計 第4章 二変量統計 第5章 検定と推定 第6章 多変量解析 第7章 統合化された関数を利用する 第8章 データ分析の例 付録A Rの解説 付録B Rの参考図書など はじめに R とは何か，何ができるかのリンク集（日本のもののみ） R を使うためにはどうしたらいいの？ データなどの読み書き R の定石（R に限らずプログラミングの定石も） R を使って実際に統計解析をする AtoZ 一連の流れ データファイルの準備をする 分析してみる 分析結果を LaTeX で処理したり，ワープロに貼り込んだりする 道具立て 連続変数データをカテゴリーデータに変換 カテゴリーデータの再カテゴリー化 度数分布表と度数分布図の作成 散布図・箱髭図の描画 クロス集計（独立性の検定，フィ
【読者参加型企画】2,000行のJavaソースコードを読むのに何分かかりますか？
ソースコード読解力は個人差が大きい コードレビューなどで、他の人のソースコードを読んだり理解したりする速度が気になることはありませんか？ また、読む速度や理解する速度がとても速い人がいると感じたり、自分が周りの人よりも速いと思ったりすることがあるのではないでしょうか。私たちの研究グループで実施した観察でもソースコードを読む速度は個人差が大きいことを確認しており、同じソースコードを理解するための時間に6倍の差がある事例を確認しています。 では、自分自身のソースコードを読む速度や理解する速度が、平均と比べて速いのか遅いのかを知るためにはどうしたらよいでしょうか？ 最も簡単な方法は、社内などの身の周りの人とコードレビュー時間を比べてみることでしょう。他にも、参加者全員でソースコードを読むような社外勉強会に参加する方法もありそうです。 文献からは大まかな速度を知ることができる 書籍、標準、論文の情
Rによる最適化、パラメータ推定入門 - yasuhisa's blog
パラメータの推定、でもその前に optimize関数について 補足 パラメータの推定 ベルヌーイ分布 定式化(尤度関数) 尤度関数の実装 尤度関数の最適化(パラメータ推定) 正規分布におけるパラメータ推定 まとめ パラメータの推定、でもその前に統計におけるパラメータの推定というのは大体最適化問題に帰着します。「なんとか関数を(最大|最小)にするようなパラーメータほにゃららを求めたい」とまあこんな感じで。というわけで、パラメータ推定は置いておいて、Rで最大化問題、最小化問題をどう解くかというところを最初にやってみようと思います。最適化問題は離散最適と連続のほうの最適に分けられますが、ここでは連続についての最適化問題について考えることにします。 optimize関数について Rにおける最適化をするための関数はoptim関数、optimize関数があります(他にもnlsなどありますが、とりあえず
統計的に正しいランキングを行う方法 - Hello, world! - s21g
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 ポジティブ／ネガティブ投票による正しいランキング方法が以下の記事で紹介されています。 How Not To Sort By Average Rating この計算方法では、投票数が少ない場合には分散が大きく不正確な評価で、 投票数が多くなるにつれて分散が小さく正確な評価が得られているという事を考慮しています。以下数式 これはScoreの信頼区間を表しています。 この信頼区間の下界をランキングのスコアにすれば良い事になります。 ここで、は、 です。全体に占めるポジティブ投票数の割合ですね。 は標準正規分布上の 信頼区間の有意確率です。 さて、五段階評価によるRatingに同様のテクニックを適用する場合はどうしたらいいでしょうか
ベイズを学びたい人におすすめのサイト - download_takeshi’s diary
ベイジアンフィルタとかベイズ理論とかを勉強するにあたって、最初はなんだかよくわからないと思うので、 そんな人にお勧めのサイトを書き残しておきます。 @IT スパム対策の基本技術解説（前編）綱引きに蛇口当てゲーム？！楽しく学ぶベイズフィルターの仕組み http://www.atmarkit.co.jp/fsecurity/special/107bayes/bayes01.html いくつかの絵でわかりやすく解説してあります。 自分がしるかぎり、最もわかりやすく親切に解説してる記事です。数学とかさっぱりわからない人はまずここから読み始めるといいでしょう。 茨城大学情報工学科の教授のページから http://jubilo.cis.ibaraki.ac.jp/~isemba/KAKURITU/221.pdf PDFですが、これもわかりやすくまとまってます。 初心者でも理解しやすいし例題がいくつかあ
大学研究所 - 退学率ランキング(全体)
| 新しいページ | 編集 | 差分 | 編集履歴 | ページ名変更 | アップロード | 検索 | ページ一覧 | タグ | RSS | ご利用ガイド | 管理者に問合せ | おすすめリンク | 転職ならen | 転職ならエン | 派遣ならen | 求人ならen | アルバイトならen | デジカメプリント | 年賀状 | ましかくプリント | 辞書 | | 判例 | オークション | 郵便番号 | 旅行 | グルメ | 2ch風無料掲示板 | ソーシャルプロフィール | 無料ホームページ | 無料SNS |php |ポイント | @wiki - 無料レンタルウィキサービス | プライバシーポリシー| 関連ページ| 関連ホットワード| リンク元| トラックバック
統計処理ソフト R 入門 講習会資料
講習会の目的 本講習会は， R についての自習の基盤をつくることを目指します。 たとえ初心者向けの数時間の入門講習でなく１年間の毎週の演習授業であっても，R に関してすべてを説明するのは不可能だと思われます。 R の世界は，縦にはそこそこ深く，横には果てが見えないほど広いです。 CRAN に登録されている R のパッケージは 1000 を超えました。 よって，受講者の幅も広いことですし，受講者各自にとってぴったりな統計解析の実用的な解説をするのはあきらめて， 各自が必要に応じて情報を探し，見つけたものを難なく活用できるようになること，を目標にしました。 ここに自分の求めている分析手法や作図法などの答えがあるとは期待しないで下さい。それは帰ってからのあなたの楽しい仕事です。 R の利用と R 言語 R の根幹は R 言語のインタプリタであり，ユーザはR言語を駆使することでRを操作します。 S
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
こんにちは統計学：Pythonによるχ２乗検定・ｔ検定・Ｕ検定・分散分析・多重比較・相関係数の計算
Rの文字出力に便利な関数を作ってみた - あらびき日記
「平成２１年度 全国学力・学習状況調査 報告書・集計結果」について：国立教育政策研究所 National Institute for Educational Policy Research
博士が100人いるむらのいま - 杜撰な研究者の日記