「確率統計－機械学習その前に v2.0」を公開した - hidekatsu-izuno 日々の記録
以前、社内の勉強会用の資料として作成した「確率統計-機械学習その前に」という資料を今回大幅に改定して公開しました。 改定の一番のポイントは、統計分析の総覧的なガイドとして使えるようにしたことです。正直な話、内容的に私自身も十分に理解出来ていない部分も多いのですが、いろいろ調べた結果、なんとなく統計分析の手法マップ的なものが頭の中に出来上がってきたので、それをアウトプットとしてまとめてみました。 確率統計－機械学習その前に v2.0 from Hidekatsu Izuno 確率統計に限った話ではありませんが、新しい分野を学ぶ初学者にとって、全体像がよくわからないため混乱することが少なくありません。この資料を読むことでなんとなくでも全体を把握できていれば、他の文献を読む際にも理解が容易になるのではと思っています。 例によって、確率統計については完全に素人なので、間違いもあるかもしれません。そ
統計検定 1 級に合格する方法 - Qiita
はじめに: 統計学の重要性 NTT データ数理システムでリサーチャーをしている大槻 (通称、けんちょん) です。 今回は統計検定 1 級について記します。 統計検定とは日本統計学会による公認の資格であり、統計に関する知識や活用力を評価するものです。 日常的に大量のデータが溢れている昨今、データ分析や機械学習に対するニーズは最高の高まりを見せています。最近では何も考えずともただデータを入力するだけでデータ分析や機械学習手法を実行してくれるツールも多数出回るようになりました。 データ分析や機械学習を実際に遂行するにあたって、統計学は強力な基礎になります。確かに最近は便利なツールの発達のおかげで、統計を学ばずともデータ分析を実行できる環境が整いつつありますが、その状態でデータ分析手法や機械学習手法を実際に適用しようとすると、しばしば誤った推論をしてしまったり、複雑な状況に対してどのようなアプロー
信頼区間を正しく理解してますか？確信区間との違いって何ですか？ - Qiita
信頼区間 (Confidence interval)は、統計学を習う際、最初の方に出てくる概念ですが、名前もあってその解釈にはしばしば誤解が生じます。直感的な解釈はベイズ統計学を用いた確信区間 (Credible interval)の方がふさわしいのですが、その違いがわからない、そもそも確信区間とか知らない、という人も多いのではないでしょうか。 この記事では、統計学を2分する頻度論者 (Frequentist) とベイジアン (Bayesian) の立場を今一度明らかにし、信頼区間と確信区間の違いを理解し、データの統計学的解析に役立てたいと思います。 正しい信頼区間 (Confidence interval) の考え方 データのバラツキを表現する方法は、分散 (Variance)、標準偏差 (Standard deviation)など様々あり、信頼区間 (Confidence interv
回帰分析②：線形回帰が使えないときに用いる高度な回帰分析方法
生物統計を学んでいる人の中には、「結果変数が連続変数の時には線形回帰、二項変数（0と1など2つの値しか取らないもの）のときにはロジスティック回帰分析を使うべき」のように1対1対応のお作法のような形で教わった人も多いと思います。一方で、計量経済学で回帰分析を習った人の中には、「最小二乗法（Ordinary Least Square; OLS, 線形回帰）はありとあらゆる場合に使えるベストな方法であるので、結果となる変数の分布に拘わらずOLSを使える」（ちなみに結果変数が二項変数のときにOLSを用いることをLinear probability modelと呼びます）と教わった人もいるでしょう。初心者向けの統計学や計量経済学の本を読むとこのような説明がされているものが多い印象があります。このような教え方をすれば確かに手っ取り早く手が動かせるようになる（統計解析ソフトウェアを使って解析がはじめられ
Pythonで統計学を学ぶメリットは？勉強の手順も解説
Pythonで統計学を勉強するメリット 統計学を学ぶにあたって、Pythonを利用するメリットを確認しておきましょう。 近年の統計業務は、Pythonを使ったアプリケーションで行うケースが増えており、Web上のノウハウや書籍が充実しています。これらを活用することで、統計学の知識が乏しい状態でも、Pythonを切り口として学習を進めやすくなっています。 煩雑な計算を省略できる Pythonは科学計算処理に必要なライブラリが充実しています。Pythonのライブラリには、統計で用いられる専門的な計算式が内包されており、基礎的な考え方さえ理解していれば、具体的な計算式を知らずとも実践的な統計を実行可能です。もちろん読書や座学でも学習は可能ですが、Pythonを利用することで「煩雑な計算の理解」に時間を取られずにすむため「統計を使ってできること」をダイレクトに理解し易くなるでしょう。 データが簡単に
ベイズ統計の入門書が出版ラッシュなのでまとめてみた - ほくそ笑む
【宣伝】2016/09/14 このページに来た方へ。あなたが求めている本はこれです。 StanとRでベイズ統計モデリング (Wonderful R) 作者: 松浦健太郎,石田基広出版社/メーカー: 共立出版発売日: 2016/10/25メディア: 単行本この商品を含むブログ (10件) を見るまずこれを予約してから下記を読むといいです。 【宣伝終】 最近、ベイズ統計の入門書がたくさん出版されているので、ここで一旦まとめてみようと思います。 1. 基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門 (2015/6/25) 基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門 作者: 豊田秀樹出版社/メーカー: 朝倉書店発売日: 2015/06/25メディア: 単行本この商品を含むブログ (6件) を見る データ分析業界ではかなり有名な豊田秀樹先生の本です
データサイエンティストを目指すというかデータ分析を生業にするなら読んでおきたい初級者向け5冊＆中級者向け12冊（2015年冬版） - 渋谷駅前で働くデータサイエンティストのブログ
(Photo via VisualHunt) 追記 2017年3月現在の最新書籍リストはこちらです。 最近になってまた色々とデータサイエンティストを目指す人向けのお薦め書籍リストとか資料リストとかが出てきてるんですが、個人的には何かと思うところがあるので僕も適当にまとめておきます。偏りありまくり、完全に主観で決めたリストなので文句が出まくるかと思いますが、もはや毎回のことなのでご容赦を。 なおこちらのリストはあくまでもビジネスの現場でデータ分析を生業にする（しようとしている）人たち向けのものであり、研究者含めたガチ勢の方々向けのものではありませんのでどうか悪しからずご了承下さい。 ちなみに毎回言ってますが、アフィリエイトは全くやっていないのでここに貼られたリンクを踏んで皆さんが購入されても僕の懐には一銭も入りません。拙著だけはそもそも例外ですが（笑）。*1 初級者向け5冊 一応初級者向けと
【統計学】初めての「標準偏差」（統計学に挫折しないために） - Qiita
統計をこれから学ぼうという方にとって、非常に重要な概念ですが理解が難しいものに「標準偏差」があると思います。「平均」くらいまでは馴染みもあるし、「わかるわかるー」という感じと思いますが、突如現れる「標準偏差」 の壁。結構、この辺りで、「数学無理だー」って打ちのめされた方もいるのではないでしょうか。 先にグラフのイメージを掲載すると、下記の赤い線の長さが「標準偏差」です。なぜこの長さが標準偏差なのか、ということも解き明かしていきます。 (code is here) 本記事では数学が得意でない方にもわかるように１から標準偏差とはなにか、を説明してみようという記事です。 数式はわかるけど、イマイチ「標準偏差」の意味わからんという方にも直感的な理解がしてもらえるような説明もしていきますので、ぜひご覧ください。 （※ この記事では標準偏差の分母に $n$を使用しています。$n-1$を使用するケースも
統計数理研究所 - 公開講座「計量社会科学入門」
統計数理研究所TOP 統計数理研究所は高度な知識とスキルを持ったデータサイエンティストを育成するプログラムを積極的に推進しています。 統計科学の最先端理論・手法から基礎的なものまでを学べる多様な一般講座の他、系統的な講座編成により現代的な統計科学の姿を示すリーディングDAT講座を実施します。また、医療健康データ科学研究センターの講座も開講します。 リーディングDAT講座と一般講座は受付が始まったら統計数理研究所公開講座のX（旧Twitter)でお知らせいたします。 過去の公開講座は こちら からご覧いただけます。 リーディングDAT講座 ※2024年度の詳細は決定次第公開いたします。2023年度の情報はこちら 2017年度までの「統計学概論」は発展的にこの講座に吸収されました。 一般講座 日程等変更となる可能性があります。お申込前に必ず確認して下さい。 医療健康データ科学に関わる人材育成事
情報幾何がわからないという話 (Mathematics Advent Calender 2日目) - じょうよわだけど
2013-12-02 情報幾何がわからないという話 (Mathematics Advent Calender 2日目) 統計 はじめに 2013年を振り返ると、なんといっても印象深かった出来事は「艦隊これくしょん（艦これ）」の爆発的なヒットです！ 今や日本人の100人に1人は提督であるという計算になり、艦これオンリーイベントが全国で開催されています。また、艦これ公式によるガイドブックが出版されるなど、関連グッズの展開も著しいです。 艦これの今後のますますの躍進に期待ですね！さて、この2013年、もうひとつ印象深かった出来事は情報幾何の爆発的なヒットです！ 今や日本人の100人に1人は情報幾何をやっている計算になり、情報幾何オンリーイベントも開催されました。また、来年度には情報幾何公式によるガイドブック（※）が出版されるなど、関連グッズの展開も著しいです。 情報幾何の今後のますますの
『異端の統計学 ベイズ』 "信念"を数字に - HONZ
本書は、「ベイズ統計」の歴史について述べた本だ。「ベイズの法則」は、迷惑メールの振り分けや商品のおすすめ表示などの様々な分野に応用されている手法である。本書はそれを、このように説明する。 ベイズの法則は、一見ごく単純な定理だ。 いわく、「何かに関する最初の考えを、新たに得られた客観的情報に基づいて更新すると、それまでとは異なった、より質の高い意見が得られる」 この定理を支持する人からすれば、これは「経験から学ぶ」ということをエレガントに表現したものに他ならない。 この法則がキリスト教長老派のベイズ牧師によって発見されたのは古く、1740年代である。ヒュームの懐疑主義が神のデザインに疑義を申し立てた時代に発見された、起きた結果から原因を推測する手法であった。以来現在に至るまで、この法則は数奇な遍歴をたどる。本書の原題は“TheTheory That Would Not Die”、200年の不
A/Bテストの数理 - 第1回：人間の感覚のみでテスト結果を判定する事の難しさについて - - doryokujin's blog
データ解析の重要性が認識されつつある（?）最近でさえも，A/Bテストを始めとしたテスト（ = 統計的仮説検定：以後これをテストと呼ぶ）の重要性が注目される事は少なく，またテストの多くが正しく実施・解釈されていないという現状は今も昔も変わっていないように思われる。そこで，本シリーズではテストを正しく理解・実施・解釈してもらう事を目的として，テストのいろはをわかりやすく説明していきたいと思う。 スケジュール スケジュール 第1回 [読み物]：『人間の感覚のみでテスト結果を判定する事の難しさについて』：人間の感覚のみでは正しくテストの判定を行うのは困難である事を説明し，テストになぜ統計的手法が必要かを感じてもらう。 第2回 [読み物]：『「何をテストすべきか」意義のある仮説を立てるためのヒント』：何をテストするか，つまり改善可能性のある効果的な仮説を見いだす事は，テストの実施方法うんぬんより本質
〈統計学へのお誘い本リスト（11 Nov. 06 版）〉 - leeswijzer: een nieuwe leeszaal van dagboek
→ アップデート：〈6-September-2011版〉． 数理統計研修の受講生から，「統計学の参考図書を紹介してほしい」との依頼があったので，下記のような「お誘い本リスト」をつくってみた．“門前”から“門”までの「参道」がやや長い気がするが，そこは気の迷いや逡巡が憑いてまわる相手のために，ということでご容赦を．また，いったん“入門”してしまった後は，手法ごとにそれぞれ適切な本（中級書）がきっとあると思うが，上のリストではそこまでは考えていない．ただし，ぼくの担当している講義が「実験計画法」だったりするので，この分野については数冊選んで，リストに付けた．なお，〈R〉に関する参考書は別のリストを参照されたい． ご意見などありましたら，ご連絡ください． 門前で迷っている人のためのコミック系入門書 高橋信『マンガでわかる統計学』（2004年7月刊行，オーム社，ISBN:4274065707→版元
多項分布の最尤推定 - nokunoの日記
多項分布の最尤推定は確率モデルの基本中の基本であるが，意外と知らない人も多いので説明しておきたい．ここでいう多項分布は離散変数，たとえば単語や商品，ユーザなどの種類を表す変数の分布である．多項分布は頻度の分布を意味する場合もあるが，今回はNLP業界の慣習にならって観測回数が1回の場合を指す．このような変数はカテゴリカル変数などと呼ばれるらしい． 今，確率でi番目の単語が観測されるものとする．確率なので次の制約が成り立つ．この分布の元で単語が回観測されたとする．パラメータの元でこのような観測がされる確率を尤度関数と呼び，その対数は対数尤度関数と呼ばれる．各観測が上記離散確率の独立同分布に従うとすると，対数尤度関数は以下で表される．最尤推定は，観測値が与えられたときにこの対数尤度関数を最大とするようなパラメータを求める推定方法である．離散変数の場合は先ほどの制約を満たす中で上の対数尤度関数を最
言語研究者のための統計の学び方―より高度な内容｜Colorless Green Ideas
はじめに 先日、「言語研究者のための統計の学び方―基礎を身につける」という記事で、統計の基礎の学び方を紹介した。そこで紹介したことを学ぶだけでも、結構色々な言語研究ができる。だが、もう少し本腰を入れて言語研究をする場合は、統計に関して、より高度な内容を学んでおく必要がある。 今回は、統計の基礎を学び終えた言語研究者が次にどう勉強していけば良いかについて紹介する。 この記事で扱う内容 先日書いた「言語研究者のための統計の学び方―基礎を身につける」という記事では、統計の基礎をどう勉強すれば良いかについて触れた。今回は、より高度な内容を学ぶためにはどうすれば良いかについて紹介したい。図示すると、以下のとおりになるだろう。 言語研究者のための統計の学習順序 上に掲げた図からも分かるように、今回扱う内容は、「コーパス処理向け」・「言語実験向け」・「言語教育向け」の3つに分かれている。このように分けた
チェビシェフの不等式 - Wikipedia
チェビシェフの不等式（チェビシェフのふとうしき、英: Chebyshev's inequality）は、不等式で表される、確率論の基本的な定理である。パフヌティ・チェビシェフによって初めて証明された。 標本または確率分布は、平均の周りに、ある標準偏差をもって分布する。この分布と標準偏差との間の、どのような標本・確率分布でも成り立つ関係を示したのが、チェビシェフの不等式である。例えば、平均から標準偏差の 2 倍以上離れた値は、全体の 1/4 以下である。一般に、標準偏差の n 倍以上離れた値は全体の 1/n2 以下である。 この定理はロシアの数学者パフヌティ・チェビシェフの名をつけられているが、最初にこの定理を示したのは彼の友人であり同僚でもあったIrénée-Jules Bienayméである[1]:98。 この定理は最初に1853年に Bienaymé によって証明され[2]、後の186
第9回 線形回帰［後編］ | gihyo.jp
前回の前編では「最小二乗法」を紹介する中で、機械学習は数多くのことを仮定して、その中で一番良い答えを見つけるものだということを見てもらいました。 特に「最小二乗法」でデータ点から直線を推定する場合、次の3つのことを仮定していたことを学びました。 変数間の関係を関数で表す 関数のモデルは直線（1次式）を考える パラメータを選ぶ指標として二乗誤差を用いる 今回はこれらの仮定を振り返りながら、一般化された、より柔軟な機械学習の手法を紹介しましょう。 戻らないけど「回帰」 先ほどの仮定の1番目、「変数間の関係を関数で表す」ことを機械学習では「回帰」と呼びます。つまり機械学習の世界で「回帰問題を解く」といった場合は、この仮定をしていることになります。 「回帰」という言葉の由来 「どうして関数を求めることを『回帰』と呼ぶの？ 何か戻るの？」と思うかもしれません。この名前は、もともと「平均回帰」という
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
原因をさぐる統計学―共分散構造分析入門 (ブルーバックス) | 豊田 秀樹, 前田 忠彦, 柳井 晴夫 |本 | 通販 | Amazon
日本統計学会創立75周年記念出版『21世紀の統計科学』(全3巻) 増補HP版 (2012年1月)
はてなブログ | 無料ブログを作成しよう
