実験はギャンブルのようなもので、 どんな結果が出るかはわからないが、 実験計画を立てる。 「2群に差がない!」という帰無仮説を立てる。 群間のサンプルの選択は公平にしなければならないが、 勝率が高くなるような実験計画をデザインも必要である。 生物実験では、物理科学実験とは異なり、 得られるデータは必然的にばらつきを伴う。 測定者による誤差 ---実験技術の向上に伴い、 データの信頼度は上がる! 測定装置、あるいは測定方法による誤差 測定されるものの性質による個体差
先日、Quora日本語版でこんなやり取りがありました。 基本的にはここで述べた通りの話なのですが、折角なのでブログの方でも記事としてちょっとまとめておこうと思います。題して「何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか」というお話です。 問題意識としては毎回引き合いに出しているこちらの過去記事で論じられているような「ワナビーデータサイエンティスト」たちをどう導くべきかという議論が以前から各所であり、それらを念頭に置いています。なお毎度のことで恐縮ですが、僕も基本的には独学一本の素人ですので以下の記述に誤りや説明不足の点などあればご指摘くださると幸いです。 一般的なソフトウェア開発と、統計分析や機械学習との違い 統計分析や機械学習を仕事にするなら、その「振る舞い」を体系立てて学ぶ必要がある きちんと体系立てて学ばなかった結果として陥りがちな罠 余談
医療統計ビデオ講座(日本語) 臨床試験の統計関連コンセプト ランダム化 統計ソフトR インストールの仕方 エクセルデータをRに読み込む RでT検定 Rでオッズ比を計算 EZR 使い方ビデオ (無料統計ソフトEZRを使って生存率を新薬と既存薬で比べ、腫瘍サイズや年齢など交絡因子を補正する解析を、2x2分割表、ロジスティック解析、カプランマイヤー曲線、コックスを用いて解析してみましょう。) データセットダウンロード (上のEZR使い方ビデオで使ったデータセットがダウンロードできます) EZRのインストールの仕方 (EZRを他のRのパッケージと組み合わせてよりアドバンスな解析をしたい方はこちらの方法でEZRをセットアップしてください。) EZRを使って傾向スコアマッチング REDCap 紹介ビデオ 統計学(基本編) 平均と標準偏差、中央値と四分位区間 中心極限定理 統計グラフの解釈の仕方 P
Taking care of business, one python script at a time Introduction The python visualization world can be a frustrating place for a new user. There are many different options and choosing the right one is a challenge. For example, even after 2 years, this article is one of the top posts that lead people to this site. In that article, I threw some shade at matplotlib and dismissed it during the analy
先日行われた第35回R勉強会@東京(Tokyo.R)にて、「5分でわかるベイズ確率」というタイトルで発表させて頂きました。 スライドは下記にアップしています。 5分でわかるベイズ確率 from hoxo_m 5分の発表枠に対して32枚のスライドは多すぎだったと思います。調子にのって作りすぎました。 これに懲りずにまた参加させて頂けたらと思います。よろしくお願いいたします。 参考文献 史上最強図解 これならわかる!ベイズ統計学 作者: 涌井良幸,涌井貞美出版社/メーカー: ナツメ社発売日: 2012/02/21メディア: 単行本購入: 19人 クリック: 40回この商品を含むブログを見る 入門ベイズ統計―意思決定の理論と発展 作者: 松原望出版社/メーカー: 東京図書発売日: 2008/06メディア: 単行本購入: 107人 クリック: 2,061回この商品を含むブログ (46件) を見る
2016/12/15: にわかに閲覧者が増えたのでおかしなところを微修正 概要 統計学史をちょっと調べていておもしろかったのでまとめてみた 技術的にはすごく初歩的な話なので, 回帰分析 (最小二乗法) の入門的な「読み物」という位置づけになりそう 入門的な読み物なので, 特に最小二乗法の説明箇所は中学高校の数学の知識だけで理解できるような表現をしている, したつもり. PDF換算で 10 ページ (ただし画像が結構多い) 惑星の軌道を予測する連立方程式で惑星の軌道を予測する19世紀初頭にフランスの数学者ルジャンドル*1が最小二乗法のアイディアを最初に発表したが, ドイツの数学者ガウス*2が直後に自分こそが先に思いついたと主張し, 論争を生んだという (Abdulle & Wanner, 2002, 200 Years of Least Squares Method). しかし, いずれが先
生物統計を学んでいる人の中には、「結果変数が連続変数の時には線形回帰、二項変数(0と1など2つの値しか取らないもの)のときにはロジスティック回帰分析を使うべき」のように1対1対応のお作法のような形で教わった人も多いと思います。一方で、計量経済学で回帰分析を習った人の中には、「最小二乗法(Ordinary Least Square; OLS, 線形回帰)はありとあらゆる場合に使えるベストな方法であるので、結果となる変数の分布に拘わらずOLSを使える」(ちなみに結果変数が二項変数のときにOLSを用いることをLinear probability modelと呼びます)と教わった人もいるでしょう。初心者向けの統計学や計量経済学の本を読むとこのような説明がされているものが多い印象があります。このような教え方をすれば確かに手っ取り早く手が動かせるようになる(統計解析ソフトウェアを使って解析がはじめられ
たくさんいいねいただきありがとうございます。2016年の記事で古いのでいずれ全面改訂しようと思いますが、古さが目立つ箇所のみまずは訂正しました。 データ分析・機械学習の代表的な手法には何があるか 代表的な本、技術リスト、データサイエンティストの推奨ではデータ分析・機械学習手法はどんなものがリストアップされているか ここでは、統計学的検定、多変量解析、機械学習を分けていない 構造化データ(いわゆるテーブルデータ)のみ対象とし、画像、自然言語処理、マーケティングの専門的な分析等は対象外 補足を下記に 代表的な手法と紹介のされ具合 分析手法 『Rによるデータサイエンス-データ解析の基礎から最新手法まで』 『はじめてのパターン認識』 データサイエンティスト協会スキルチェックリスト 「デジタルガレージCDOから学ぶ!マーケターのための実践・データ分析入門~事例紹介を通じて5つの手法をマスター~」 デ
【データ分析の必読10冊+差をつける10冊+100冊超】データサイエンス、データ分析、機械学習関連の本本機械学習数学データ分析データサイエンス Update版2023年版データ分析の100冊を書きましたよ! 必読10冊を更新。データサイエンス、データ分析、機械学習周りでおすすめ図書10選のような記事は良く見ますが、網羅的な紹介記事はあまり見かけないので自分が欲しいと思い書きました。私よりたくさん読んでいる方は多々いらっしゃると思いますが、記事を書いてくださいな。 別の観点でデータ分析プロジェクトのフェーズ毎の参考書籍紹介という記事を新たに書きました。 データ分析の各フェーズ(データ分析プロジェクト全体-ビジネス状況の理解-データの理解-データの準備-モデルの作成-評価-展開)毎に参考書籍を紹介しています。 本記事の対象と想定 Qiitaはプログラマやコンピューター系技術者のための記事と思っ
この記事は、「Machine Learning Advent Calendar 2015」の17日目の記事になります。 「異常検知と変化検知」の本は良書だったので買うのに迷っている人のためにまとめてみました。 間違いがあれば、ご指摘頂けると幸いです。 数式を見て厳密に理解したい方は書籍購入をおススメします。 またコードに直すときはアルゴリズムが必要です。 本書籍ではアルゴリズムも記述してくれいてるのでおススメできます。 本記事ではアルゴリズムには言及しません。 この記事で得られるもの 1:異常検知における手法の種類 2:異常検知における手法をどのシーンで使用するか 3:異常検知における機械学習をどのように応用するか 以上です。 本記事の見方 利用シーンと簡単な手法を記述したので、利用シーン 異常検知の基本的な所だけ抑えたい 異常検知と変化検知の基本的な考え方 ホテリング法による異常検知 単
※こちらのスライドは誤りを含んでいます。修正スライドをアップしましたので以下をご覧ください。 https://www.slideshare.net/simizu706/ss-57721033 大阪教育大学での研究会で発表した資料です。 心理学者のために,かなり基礎的なところからベイズ統計について解説しています。 間違えているところがあればご指摘いただけると幸いです。 黒木玄(@genkuroki )さんからご指摘いただき、スライド内容に間違い、ミスリーディングな箇所があることがわかりました。スライドを見られる方は以下のツイートも併せてみていただくようお願いします。 https://twitter.com/genkuroki/status/973007871821557760
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く