整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d

This is the website for the first edition of “R for Data Science”, published January 2017. This book is now out-of-date and instead we recommend the 2nd edition at http://r4ds.hadley.nz/ which was published in June 2023. R4DS teaches you how to do data science with R: You’ll learn how to get your data into R, get it into the most useful structure, transform it, visualise it and model it. In this b

ここ2～3年でにわかに話題になっている人工知能（AI）。最近では、NHKスペシャルの「AIに聞いてみた どうすんのよ!?ニッポン」（2017年7月22日放送）にて、NHKが開発したAIの分析結果から「健康になりたければ病院を減らせ」「少子化を食い止めるためには結婚よりもクルマを買え」などの斬新な提言がなされ、議論を呼んでいる。 確かに、意外性があるため、おもしろいと感じた人もいるかもしれない。しかし、番組中でAIが提言した内容は、残念ながら間違っていると言わざるをえない。 なぜなら、AIは物事を予測したり、将棋や囲碁のように決められたルールのなかのゲームをすることは得意であるものの、2つの事柄のあいだに「因果関係」があるかどうかを明らかにすることは苦手だからだ（因果関係にあるかどうか統計学を用いて検証する方法を「因果推論」を呼ぶ）。将棋や囲碁の名人を打ち負かしたことが話題になっているため、

MCMC (Markov chain Monte Carlo) is a family of methods that are applied in computational physics and chemistry and also widely used in bayesian machine learning. It is used to simulate physical systems with Gibbs canonical distribution: $$ p(\vx) \propto \exp\left( - \frac{U(\vx)}{T} \right) $$ Probability `$ p(\vx) $` of a system to be in the state `$ \vx $` depends on the energy of the state `$U

実験・観察で事象Aが、ある一定の時間内で生起する回数(あるいは確率)を考える問題のモデルとして、次に示すポアソン分布(Poisson distribution)がある。 ポアソン分布は、2項分布のnを限りなく大きくすることによって得られることが知られている。ポアソン分布のパラメータμと2項分布のn,pは、μ=npの関係を持っている。 ポアソン分布は、与えられた単位時間内で事象Aがy回起こる確率を示す。事象がポアソン分布に適応するためには、次に示す条件を満たすことが必要である。 (1) 事象Aが同時に2回起こらない。 (2) 事象の生起は独立である。 (3) 単位時間内の事象の平均生起の数は一定である。 大きな集団の中で起こる偶発的事故や病気の頻度、コールセンターに掛かってくる電話の回数などはポアソン分布に従うと仮定して解析することが多い。 事象Aの生起するパラメータがμiであるとき、事象A

幾何分布ってなに 幾何分布（geometric distribution）は，離散分布のひとつ。 表になるまでコイン投げを繰り返すとして，はじめて表になった回数（または，表になるまでにかかった施行回数）などにあてはまる。もちろん，無記憶だということで，各回の施行は独立。はじめて表になった回数と失敗した回数は違うので，明確に区別しなければならない。ここでは前者を基本的な前提とする。 基本的に，コイン投げの回数をk = 1, 2, 3,...とし，（イカサマ）コインで表になる確率をpとしたとき，累積分布関数は1-(1-p)^kであたえられる。はじめにひとつのケースが，k回目に成功する確率は，(1-p)^(k-1)*pというわけ。 ちなみに，平均は，1/p，分散は(1-p)/p^2。最頻値は常に1。 基本：Rの関数 累積分布関数は，そのまま 1-(1-p)^k xは回数なので，1:10のようにす

これから起きようとする新しい情報技術革命の背景にはデータサイエンスの発展がある。かつて日本は世界に先駆ける統計教育の先進国だったが、今は後れを取っている。日本の統計教育はこれまでどんな変遷をたどり、これからどうかわるのか。この分野の第一人者の一人、渡辺美智子・慶応義塾大学大学院教授に聞いた。データにはばらつきがあることすら教わっていない世代も――統計学を教育課程で教える重要性を長年、主張され

応用範囲が広く幅広い視点からの説明になりがちなベイズ最適化について、本記事では機械学習のハイパーパラメータ探索に利用することに限定して解説します。 1. はじめに 最近、ベイズ最適化という手法が注目を集めています。 ベイズ最適化 (Bayesian Optimization) とは、形状がわからない関数 (ブラックボックス関数) の最大値 (または最小値) を求めるための手法です。 ベイズ最適化についての入門記事は Web 上にすでにいくつかありますが、ベイズ最適化は応用範囲が広く、入門記事は様々な応用に向けた幅広い視点からの説明になりがちです。 本記事では、機械学習ユーザに向けて、ベイズ最適化を機械学習のハイパーパラメータ探索に利用することに限定して説明します。 これにより、機械学習に対して、ベイズ最適化がどのように利用できるのかを分かりやすく解説したいと思います。 2. ハイパーパラメ

『週刊ダイヤモンド』7月2日号の第1特集は「『確率・統計』入門」です。先々はどうなるか分からない。未来は不確実です。ビジネスはそんな厄介な存在を相手にしなければいけません。そこで大いに力を発揮するのが確率・統計を筆頭とした数学。ビジネス現場でとても頼りになる道具なのです。 ＵＳＪ大躍進の裏に確率・統計のフル活用があった！ 巨大な岩がそそり立つ入り口を通り過ぎると、〝人間界〟とはしばしの別れだ。そこから左右を木々に囲まれた小道をしばらく行くと、その先には〝魔法界〟である「ウィザーディング・ワールド・オブ・ハリー・ポッター」が姿を現す──。 2014年7月、ユー・エス・ジェイが運営する大阪市のテーマパーク、ユニバーサル・スタジオ・ジャパン（ＵＳＪ）の一角に、社運を懸けた目玉プロジェクトがお目見えした。超有名ファンタジー作品、「ハリー・ポッター」の世界を再現したエリアがオープンしたのだ。 ある人

ハミルトニアンモンテカルロ法(HMC)の動作原理をアニメーションを用いて理解してみようという記事です。 先日の記事、「【統計学】マルコフ連鎖モンテカルロ法(MCMC)によるサンプリングをアニメーションで解説してみる。」の続編にあたります。 豊田先生の書籍「基礎からのベイズ統計学」の例題を使わせていただき、サンプリング対象の分布は今回ガンマ分布とします。本記事ではアニメーションに使った部分の理論的な解説しかしませんので、HMCの詳細な解説はこちらの書籍をご参照いただければと思います。 はじめに 推定する対象は$\theta$を変数としたガンマ分布です。ベイズ推定で推定したいパラメーターを$\theta$で表すので、$\theta$の分布として表されます。1 ガンマ分布はこちらです。 $$ f(\theta|\alpha, \lambda) = {\lambda^{\alpha} \over

以前から同様の指摘は様々な分野から様々な人々が様々な形で出してきていましたが、アメリカ統計学会が以下のような明示的な声明をこの3月7日（現地時間）に発表したということで注目を集めているようです。 AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ON STATISTICAL SIGNIFICANCE AND P-VALUES Provides Principles to Improve the Conduct and Interpretation of Quantitative Science https://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf The ASA's statement on p-values: context, process, and p

あらかじめ書いておきますが、ここに書いてあることは間違ってる可能性が高いので気をつけてください。でも以前のメモも素晴らしく貴重なコメントの数々をいただきました（大感謝）ので、きっとコメント込みで読んでいただければ何らかのお役に立てるような気がしてきました。 DICの直感的な理解を目指したメモ（さらにアヤしい） さて、前回のメモではAICにおいては「パラメータ推定に関する何らかの不確実性」が「パラメータの数」として表現されているのではないか、と妄想しました*1。 おそらく、このような考え方はそのままではベイズの世界には持ち込めません。なぜならベイズでは「パラメータ自体が事前分布という"情報"を連れている*2」という事情があるからです。 このような場合には、「パラメータ推定に関する不確実性」というのはパラメータが持つ事前分布に依存することになりそうです。極端なことを言えば、あるパラメータの事前

総務省は、本日、将来の経済成長を担う“データサイエンス”力の高い人材育成のための取組として、データサイエンス・オンライン講座の第2弾「社会人のためのデータサイエンス演習」の受講者の募集を開始します。 この講座は、行政やビジネスでの活用を想定した実践編講座です。 ○　我が国の国際競争力を強化し、経済成長を加速化させるためには、ビジネスの現場においても、公的統計やビッグデータを活用した課題解決能力の高い人材、いわゆるデータサイエンスを身に付けた人材が不可欠となっています。 ○　このような状況を踏まえ、総務省統計局及び統計研修所は、“データサイエンス”力の高い人材育成のための取組として、自らの学びをサポートするウェブ上で誰でも参加可能なオープンな講義「社会人のためのデータサイエンス入門」を2度に渡り開講し、延べ2万人を超える多くの方に受講いただきました。 ○　本日、上記入門編講座に続く第2弾の講