[B! Algorithm][Sampling] agwのブックマーク

ソフトウェアのための統計学 – 前編 | POSTD

ソフトウェア開発の原点は可能性の追求であり、不可能を可能にすることです。ひとたびソフトウェアが開発されると、エンジニアは次に程度という課題に向き合うことになります。企業向けのソフトウェアであれば、「速度はどれくらいか」と頻繁に問われ、「信頼性はどの程度か」という点が重視されます。ソフトウェアのパフォーマンスに関する質問に答え、さらには正しい内容を語る上で欠かせないのが統計学です。とはいえ、統計学について多くを語れる開発者はそうはいません。まさに数学と同じで、一般的なプロジェクトで統計学が話題に上ることなどないのです。では、新規にコーディングをしたり、古いコードのメンテナンスをしたりする合間に、手が空くのは誰でしょうか？エンジニアの方は、ぜひ時間を作ってください。近頃は、15分でも貴重な時間と言えるでしょうから、こちらの記事をブックマークに追加しておいてもいいでしょう。とに

agw 2016/05/04

リンク

Reservoir sampling - Wikipedia

Reservoir sampling is a family of randomized algorithms for choosing a simple random sample, without replacement, of k it ems from a population of unknown size n in a single pass over the it ems. The size of the population n is not known to the algorithm and is typically too large for all n it ems to fit into main memory. The population is revealed to the algorithm over time, and the algorithm cannot

agw 2016/01/07

リンク

はじめてのMCMC (ギブス・サンプリング)

こんにちはtatsyです．前回のメトロポリス・ヘイスティングス法に引き続きギブス・サンプリングについて解説したいと思います．どうでも良い話ですが，「ギブズ」サンプリングではなく「ギブス」サンプリングなんですね．いや，本当どうでもいい話です．ちなみに前回の記事はこちらです．はじめてのMCMC (メトロポリス・ヘイスティングス法) ギブス・サンプリングとは？ M-H法ではガウス関数などのサンプリングが容易な任意の提案分布を用いました．ギブス・サンプリングではサンプリングを行いたい確率密度関数(マルコフ連鎖の不変分布になる)が特殊な形をしている場合に，より効率よくサンプリングが行えます．今，n次元空間の点xをある不変分布に従ってサンプリングしたいします．提案分布の形のことはとりあえず置いておいて，ある次元を更新するために，という提案分布を使うことを考えます．以後，を含まないということをと

agw 2014/07/19

リンク

はじめてのMCMC (メトロポリス・ヘイスティングス法)

こんにちはtatsyです．最近はSRMの解説記事ばかりでしたが，たまにはもう少し実践的なことを書こうかと思います．というわけで特に理由はないのですがMCMCについて解説したいと思います． MCMCとは？マルコフ連鎖モンテカルロ法(MCMC)は多次元空間内の点を確率分布に基づいてサンプリングするための方法で，最もシンプルな応用例は適当な関数と確率密度関数のペアに対して期待値を計算するというものです．積分を計算するときに，もし期待値を求めたい関数と確率密度関数の両方が分かっているのであれば，台形公式やシンプソン公式みたいな区分求積っぽいやり方をすれば良いわけです．ところが，あまり次元が高次元だったりする場合には，そもそも区分求積のようなやり方が使えない場合があります．そんなときに，ある確率密度関数に従うようなサンプル点をうまく得るための方法がMCMCです． MCMCはその名前の通り，マル