コンピュータ将棋の特長の一つに、誰でも簡単にソフト同士の対局実験ができるということがあります。人間の将棋の場合には、同じ人同士を100回、1000回と連続対局させて勝率を推定するというような実験は現実的に困難であるわけですが、コンピュータ同士なら黙々とやってくれます。実験ができるというのは技術開発にとって非常に大切なことです。 「同じソフト同士を戦わせたら毎回、同じ結果になるんじゃないか」と思われる方もいるかもしれませんが、多くの将棋ソフトは序盤に擬似的なランダム性が入っていますので、その範囲内で違った結果になります。逆に言えば、一局の結果というのは確率的なものですので、統計的に処理して、誤差も考えないと、適切な能力評価ができないと言えます。 今回は、自己対戦／連続対戦の結果から勝率やレートを推定する際の誤差の問題について整理してみたいと思います。以下、先手後手の手番については、常に割合を

問題設定 有意差検定 交絡因子の存在 線形重回帰によるモデル化 回帰係数の推定 回帰係数の仮説検定 補足など 残差の分布について 他の交絡因子について データの生成方法について 参考文献 @tkanayama_です。最近「計量経済学*1」と「効果検証入門 *2」を読んだので、せっかくなので実際に手を動かすことによって理解の整理をしたいと思いました。 www.yuhikaku.co.jp gihyo.jp そこで今回は、人工データを用いて「ボールの性能と捕獲確率」の関係性を効果検証してみました（人工データの生成方法は記事の末尾に記述しました）。 問題設定 今は昔、モンスターボールしか存在せず、スーパーボールが世の中で出回り始めたばかりの頃、オーキド博士が「スーパーボールは本当にモンスターボールより捕まえやすいのか？」という仮説を検証しようとしています。 そこでオーキド博士は世界中のトレーナー

弊社のランチゲストにお招きしたことのある[twitter:@tmaehara]さんが、こんなことをツイートしておられました。 imbalanced data に対する対処を勉強していたのだけど，[Wallace et al. ICDM'11] https://t.co/ltQ942lKPm … で「undersampling + bagging をせよ」という結論が出ていた．— ™ 🔰 (@tmaehara) 2017年7月29日 不均衡(imbalanced)データのクラス分類における補正方法については、代表的な手法であるclass weight（損失関数に対して負例のコストを負例と正例の割合に応じて割り引くもの）のやり方を以前このブログでも取り上げたことがあります。 ということで、ほんの触り程度ですがやってみようと思います。ちなみに計算負荷とか自分の手間とか色々考えて、基本的にはra

統計学、パターン認識等で、ROC(Receiver Operating Characteristic；受信者動作特性)曲線という概念が出てきます。また、データ分析・予測のコンペティションサイトKaggleでも、提出されたアルゴリズムの識別性能評価にこのROC曲線に基づくAUC(Area Under the Curve)というものを使っています。（例えばココ） このROC曲線、ちょっとわかりにくいので、まとめてみました。また、アニメーションでグラフを動かしてイメージを付けるということもやってみます。 1. ROC曲線に至る前説 まず、例として健康に関するとある検査数値データがあったとします。 この検査数値は健康な人は平均25, 標準偏差2の正規分布に従い分布しています。（下記図の緑の曲線） 病気の人は平均30、標準偏差4の正規分布に従い分布しています。（下記の図の青の曲線） グラフにすると下

4. 再現性 いつどこで誰がやっても同じ結果になるか • バージョン管理, ドキュメンテーション • Git, {knitr} 頑健性 データやモデルを少しだけ変えても同じような結果になるか • 頑健な手法 • 検定: wilcox.test() • 相関: {minerva} mine() • 回帰: {MASS} rlm(), {quantreg} rg(), loess() • クラスタリング: {e1071} bclust() 6. 幅を見る • （パラメータの）信頼区間 • （新しいデータの）予測区間 • ブートストラップ • クロスバリデーション Take a Risk：林岳彦の研究メモ おっと危ない：信頼区間と予測区間を混同しちゃダメ http://takehiko-i-hayashi.hatenablog.com/entry/20110204/1296773267 参考

2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と

三ヶ月前の話ですが，スポーツ安全国際センター（ICSS)という団体がスポーツに関係する賭博が広がっていることに関して警告を発しました（参考記事）．賭博の市場があまりにも広がっていて，世界全体のGDPの2%を占めているらしいです．凄いですね．そして，賭博が広がっているスポーツの中にバドミントンが含まれているんです．確かに"badminton betting"で検索すると結構ヒットしますね． 最近Lee/Yooがスーパーシリーズ3連勝を成し遂げましたが，これを全部当てていたら一体何倍ぐらいになっていたんでしょうか...気になります．いや，それよりオーストラリアオープンで大穴の橋本由衣がベスト4に入ったの当てる方がすごいか．あとは，日本のトマス杯優勝・ユーバー杯準優勝もオッズは高かったんじゃないだろうか... とまあ色々と考えが止まらないんですが，賭博があるなら誰が勝つかの予測を当然したくなりま

いま手元に 20万件くらいの時系列があって、それらを適当にクラスタリングしたい。どうしたもんかなあ、と調べていたら {TSclust} というまさになパッケージがあることを知った。 このパッケージでは時系列の類似度を測るためのさまざまな手法 (=クラスタリングのための距離) を定義している。うちいくつかの手法を確認し、動的時間伸縮法 / DTW (Dynamic Time Warping) を試してみることにした。 DTWの概要 時系列相関 (CCF) の場合は 片方を 並行移動させているだけなので 2つの系列の周期が異なる場合は 相関はでにくい。 DTW では 2つの時系列の各点の距離を総当りで比較した上で、系列同士の距離が最短となるパスを見つける。これが DTW 距離 になる。そのため、2つの系列の周期性が違っても / 長さが違っても DTW 距離を定義することができる。 アルゴリズム

概要 こちらで書いた 動的時間伸縮法 / DTW (Dynamic Time Warping) を使って時系列をクラスタリングしてみる。ここからは パッケージ {TSclust} を使う {TSclust} のインストール install.packages('TSclust') library(TSclust) サンプルデータの準備 {TSclust} では時系列間の距離を計算する方法をいくつか定義している。クラスタリングの際にどの定義 (距離) を使えばよいかは 時系列を何によって分類したいのかによる。{TSclust} に実装されているものをいくつかあげると、 diss.ACF : ACF diss.CID : Complexity Correlations (よくわからん) で補正したユークリッド距離 diss.COR : ピアソン相関 (ラグは考慮しない) diss.EUCL :

タイミングの悪さに定評があるberoberoです。以前の記事のTrue Skillモデルを若干拡張して、勝敗データから将棋のプロ棋士の強さ（skill）を推定しました。 まず勝敗データとレーティングの値ですが、こちらのサイトを参考にさせていただきました。このようなデータを日々更新していくのには多大な努力と忍耐がないとできません。素晴らしいサイトです。 モデルのBUGSコードは以下のようになりました。 今回は以前よりはデータが豊富にあるため、skillをこの10年の時系列に沿ったARモデルにしています。1年ごとに対局データを分けて、1年ごとにskillを推定しています。また個人ごとの勝負におけるムラも推定しています。こちらはARモデルにすると収束が著しく悪くなったため、時刻で不変としました。ほんとは禁酒しただとか彼女と別れただとかで勝負ムラも変わってくると思うんですけどデータ不足で推定は厳し

「図解・ベイズ統計「超」入門 あいまいなデータから未来を予測する技術」という本を読んだ。 社会人のアヤとケンが社内研修で伝説のベイジアン先生からベイズの基礎を教わる、という設定の会話形式でベイズについて書かれた入門書。社内研修でベイズのプロから指導を受けるとかどんだけ恵まれてるんだ。 アヤさんは大学で統計をやったが数学は詳しくないという設定。ただ時々鋭い質問をする。また統計に詳しいイケメン兄がいる。 ケンくんは知識は全くなく最後まで「わかりません」を連発する。彼女持ちのリア充。 伝説のベイジアン先生は社内研修の講師。ベイズの基礎を豊富な具体例で教えてくれるまじぱない先生。あまりにもいけてるので数カ月後に転職しそうな感じ。 内容は1章が導入、2章が同時確率・条件付き確率、3章がベイズの定理、4章がベイズの定理を用いた事後確率計算の具体例、5章が事例の追加による事前確率の更新(具体例としてナイ

どもです。林岳彦です。息子の3DSにバーチャルコンソールの「ソロモンの鍵」を密かに入れました（まだ３面）。 さて。 前回の記事： 因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） - Take a Risk：林岳彦の研究メモ につきましては沢山ブクマ等をいただき大変ありがとうございました*1。大変感謝しております。 さて。上記記事について、ublftboさんから「相関関係の定義が書かれていないのでは」（相関と因果 - Interdisciplinary）とのご指摘をいただいたきました。 ご指摘は確かにごもっともですので、今回は「相関」概念についてと、そのついでに近年に開発された"21世紀の相関（MIC）"の話について私なりに書いてみたいと思います。 （以下、ややマニア向けの話になるかもしれません。あと前回ほどではないですが、それなりに長いです。）

どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には

（※今回の記事の内容はかなり難解かもです） 大竹文雄の経済脳を鍛える（2月13日分記事） 幾何ブラウン運動と見せかけの回帰 - My Life as a Mock Quant 得てして多くの企業では、「毎日の数字（売上高・利益・在庫etc.）を追いかけ」、「その結果を元手に毎日改善する」ということを日々励行しているのではないかと思います。 ところで、こんな体験したことはありませんか？ 「毎日毎日、物凄く一生懸命数字を見ながら頑張ってカイゼンし続けて、確かに頑張った時は数字は上がったし、頑張りが足りない時は数字が下がった。それに一喜一憂しつつもずっと物凄く頑張り続けた・・・でも、あれからもう数ヶ月経ったのに全体としては数字は下がってきている。どうしてなんだろう？？？」 なるほど、もしかしたらその時の改善努力が正しくなかったのかもしれません。でも、実は「そもそも改善努力と数字とは何の関係もなか

だいたい7月も下旬になるとどこの学生も夏休みに突入するせいか、オンラインゲームの人口密度が一気に増える。オンラインゲームのプレイヤーにとっては思い出深い季節でもある。 そんなわけで今日は少しオンラインゲームの話を書いてみたいと思う。 いま仮に、MMORPG型のオンラインゲームにおいて、敵を倒すと何らかのアイテムをドロップ(落とす)するとしよう。つまり、ワールド(世界)のなかにアイテムが新たに誕生する。 このようにしてこの世界に生成されたアイテムは、どこかで消滅しなければならない。新たなプレイヤーの参入がなく、同じアイテムが生産され、もしそれが消費されなければそのアイテムがだぶついてくるからである。 NPCに売ることが出来るようになっているゲームもあるが、なんでもかんでもNPCに売るしかないようなゲームデザインにしてしまうと、アイテムのトレードをする動機がなくなってしまう。 そこでアイテムは