こんにちは，株式会社Ridge-iリサーチチームの@machinery81です． 今回はK-fold Cross Validationの理論的側面を紹介したいと思います． なお本記事は@zawatsky_rによってレビューされています． 本記事の内容は以下のスライドに基づいています： TL;DR はじめに Hold-Out ValidationとCross Validation K-fold Cross Validationの理論的優位性 準備とゴール K-fold Cross ValidationはHold-Out Validationと少なくとも同等 K-fold Cross ValidationはHold-Out Validationに対して厳密に優越 数値実験 さいごに 参考文献 TL;DR K-fold Cross Validationは単一のHold-Outに対して汎化バウンド

今年の4月に新卒入社した、DSOC R&D Groupの橋本です。前回はこちらの記事で登場しました。 buildersbox.corp-sansan.com 今回は、通常の変分推論よりも高精度に事後分布を近似するアルゴリズムの1つである、Stein Variational Gradient Descentについて説明します。まず一般的な変分推論について説明します。 変分推論 (Variational Inference) 変分推論は、真の事後分布に対しパラメトリックな確率分布を仮定して事後分布を近似する手法です。Jensenの不等式を用いることで、対数周辺尤度の下限である変分下限が導出できます。入力を、確率モデルのパラメータを とすると、 として変分下限 が得られます。ここで は確率モデルの同時分布、は変分パラメータ を有する近似事後分布を表します。さらに、対数周辺尤度 と変分下限 の差を

今回は、LDA（Latent Dirichlet Allocation）の逐次モンテカルロ法（Sequential Monte Calro）であるパーティクルフィルター（Particle Filter）によるトピック推論をPythonで実装しました。 コードは全てgithubに載せています。githubはこちら Twitterフォローよろしくお願いいたします。twitterはこちら 以下の書籍3.5章とこの書籍が参照している元論文を参考にしました。 Online Inference of Topics with Latent Dirichlet Allocation [Canini 2009]こちら こちらの書籍はトピックモデルに限らずベイズモデリング推論の良書です。 トピックモデルによる統計的潜在意味解析 (自然言語処理シリーズ) 作者: 佐藤一誠,奥村学 出版社/メーカー: コロナ社

主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続

1. ガウス過程（GP, Gaussian Process） 1.1 ガウス分布の共役性 1.2 ガウス分布の切断と周辺化 1.3 ガウス過程の定義 2. さまざまな回帰モデルの比較 2.1 回帰問題とは？ 2.2 線形回帰モデル 2.2.1 線形回帰モデルの準備 2.2.2 線形回帰モデルのベイズ的解釈 2.3 線形基底モデル 2.3.1 線形基底モデルの準備 2.3.2 線形基底モデルのベイズ的解釈 2.4 ガウス過程による線形基底モデルの表現 2.4.1 ガウス過程による回帰モデルの準備 2.4.2 ガウス過程による回帰モデルによる予測 3. ガウス過程回帰をPythonで実装 3.1 RBFカーネルのためのクラス 3.2 ガウス過程回帰を行うためのクラス 3.3 グラフの描画（100フレームのアニメーション）を作成する 3.4 結果：アニメーションの描画 4. 参考書籍 ※ このポ

こんにちは。ゆう（@honkiku1）です。 2013年に駐在員としてサンフランシスコに赴任したものの赴任先の支社が倒産。半年間に渡る就職活動の末、現在はAmazonのシアトル本社でプロダクトマネージャーをしています。 そんな経験を活かし、このブログではアメリカで就職するためのポイント、アメリカでの仕事や暮らし、英語の学習方法などについて日々紹介しています。 英語を母語としない日本人にとって、アメリカ企業を受ける際の最大の難関はやはり面接でしょう。 書類選考や筆記試験は、受験英語プラスアルファで何とかなったとしても、面接ではやはりそれなりに高度な英語運用能力が求められます。 この記事では、僕がAmazonのシアトル本社で面接を受けた際に、どのような準備をして臨んだかについてご紹介します。 この方法は、Amazonに限らずどの企業の面接に対しても普遍的に有効だと思うので、これからアメリカ企業

本記事は、kaggle Advent Calendar 2018の11日目の記事です。 qiita.com 執筆のきっかけ 先日参加したKaggle Tokyo Meetup #5 の ikiri_DS の発表「Home Credit Default Risk - 2nd place solutions -」にて、遺伝的プログラミングで生成した特徴がLocal CV、Public LB、Private LBの全てで精度向上に貢献したという話がありました。 connpass.com 遺伝的プログラミングや遺伝的アルゴリズムは、大学の学部時代から興味があり、ブログでも何度か取り上げてきました。しかしKaggleなどで試したことはなかったので、自分で手を動かして検証してみようと考えた次第です。 upura.hatenablog.com upura.hatenablog.com 遺伝的プログラミン

本記事は、kaggle Advent Calendar 2018の3日目の記事ということにします。本日、このAdvent Calendarに空きがあると気付いたので、穴埋めの形で急遽記事を執筆しました。僕が遅刻したわけではありません。 qiita.com TwitterでこのAdvent Calendarに書く話題を募集したところ、次のようなリプを頂きました。 めぇっちゃ個人的な戯言なので適当に流して頂いて良いのですがバリデーションの切り方の話とか読みたいなぁと思います。— icebee (@icebee__) December 4, 2018 本記事ではまず、そもそも「Cross Validationはなぜ重要なのか」について言及しようと思います。 Cross Validationの重要性 validationがない場合 パッケージやデータの準備 訓練と予測 精度の検証 ホールドアウト検

Anaconda環境下でpipを使う場合のリスクについて、日本語で書かれたページがほとんど見つからなかったので覚え書き。 追記 その２(2020-10-24) １年越しですが補足記事書きました。以下の内容には2020年には当てはまらないものもいくつかあるので、ご注意ください。 追記 (2019-09-27) 予想以上にたくさんの方にこのエントリーを読んでいただけているようでありがとうございます。細かい表現を推敲したほか、Anacondaのドキュメントが全部リンク切れしていたので修正しました。また、SNS等での反応を見ていて一部誤解や認識違いがあるようなので後日補足エントリーを書こうと計画しています。 余談なのですが、個人ブログの記事って結構怪しい情報が多いです。ググると個人ブログ（とか各国のQ&Aサイト）が上位に出てくることが多く、それを見て満足してしまうことも多いかと思いますが、（私の記

前回の記事↓で国内ソフトウェア工学事情を勢いに任せて書いたら思いのほか炎じょ……バズってしまい、しかも身内のソフトウェア工学の先生方に火をつけまくってしまいまして、いやはや。関係者の皆様すみませんでした*1。 フォローの記事も書こうと思ってたんですが、少々タイミングを逸してしまった感。でも少し誤解を与えたところもあるんで、また時間ができれば書こうかと思います。 bonotake.hatenablog.com しかし、それから一週間くらい経ちまして、今度はソフトウェア工学に関わる人間としてはなかなか嬉しいニュースが。 それで、つい以下のようなツイートをしたところ、これも軽く話題になってるようで、今もまだ通知が止まらない感じです。 automatic repair、ついに来たか これはガチで近年のソフトウェア工学の成果 Facebook、バグを自動で修正する新ツール「SapFix」開発 htt

ホワイト企業と思われる会社に就職して丸１年、１０日間の夏休みが付与されているにもかかわらず、お盆期間中も会社に来て仕事をしているのは自業自得あるいは因果応報に他ならない。先月おこなわれたボス主催の《新規事業アイディア社内コンテスト》に「採用されたら面倒だから」つってフザけた企画を挙げたら「なかなか面白いやってみろ」と謎の評価を受け、事業計画書を書くハメになったからである。フザけているから実現性が皆無であること、フザけていたのがボスにバレるのはよろしくないのでそれなりの実現性をもったものを書かなければならないこと、その２つに挟まれて頭を抱えており、この僕の苦悩はメイド・リフレでしか癒せない種類のものだ。 はっきりいって贅沢な悩みだ。まともに仕事に向き合っての悩みだから。今の職場は基本的に快適である。前の職場のように「貴様だけノルマ達成は許さない！」「死なば諸共！」という怨念や嫉妬による上司・

IoTミニ四駆製作キット「MKZ4」が届きました！ 会員になっている、自宅IoT友の会のブログの方で書いた下記記事で予約購入報告した「MKZ4」が届きました！（7月下旬でした）。 こりゃ作ってみないといかん！ということで、早速作ってみました。基本はキットの説明書の通りなのですが、想像していたより上級者向けでした。少し補足した方がよいかなという点もあったので、注意点等を踏まえて製作記録がてら公開していきたいと思います。ちなみに私がハマったポイントと解決方法は下記2点でした。 ソフトウェアが書き込みできない -> TX,RXを入れ替えたら解決 真っ直ぐ走れない -> キャリブレーションツールを自作して解決 必要なもの MKZ4 - Cerevo official store 「MKZ4」キット。もちろん必須です タミヤ ワイルドミニ四駆シリーズ No.06 ワイルドザウルス 17006 出版社

トヨタの内部留保、使い切るのに5千年、という記事が目に止まったので 内部留保って、実際のところなに？(トヨタにそれだけの現金があるわけじゃないよ！) って話を、MBAでも誰でもわかるように書きたいと思います。 まず、本記事は特定の政党批判をしたいわけではありません。ただ「企業のたんまり溜め込んだ内部留保を使えばええやろ！」という誤解を解きたい記事です。（共産党以外にも、内部留保に課税する、を公約に掲げた党や、「内部留保を溜め込んでいる！還元すべき」という論調のメディアも良くあります） この内部留保使い切るのに５千年、というのは、２つの意味でナンセンスです。 毎日給与27円アップ！！うれしい？ まず、ひとつめは大変単純な計算なのですが、 トヨタ自動車の３月期決算を見てみたら、子会社も含めて連結内部留保は約２０兆円。毎日１千万円ずつ使っていくとする。想像できませんが、使い切るのに５４８０年かか

概要渡辺澄夫の『ベイズ統計の理論と方法』 (以下, 渡辺本) は, 私のように統計学は多少知ってるものの, 統計力学を知らない人間にとっては, 「自由エネルギー」だの「分配関数」だのが何を意図して定義された統計量 (物理量?) なのかよくわからず, はじめは数式を目で追うことしかできなかった. 加えて, 渡辺本は, 実務に役に立つテクニックなどといった趣旨の本ではなく, 統計学的なモデリングや機械学習*1の理論を統一的に説明することを目的としている. そのため, 統計モデルを抽象的に一般化してその性質を説明する一方で, 混合分布モデルとか, ニューラルネットとか具体的な手法についての言及は控えめであることも, 人によっては理解が進まない原因になっていそうである. しかし, 難解であっても, 渡辺本に書かれている内容は非常に価値がある. 例えば, 以前私が [教材] 今更だが, ベイズ統計と

こんばんは． 今日は統計や機械学習において最も基本となる手法である線形回帰から出発し，１つ１つモデルや学習方法に変更を加えていき，最終的に深層学習の分野で非常に良く使われている生成モデルである変分オートエンコーダ（variational auto-encoder，VAE）*1*2を導いていきたいと思います． 2014年に発表されたVAEは，勾配近似を得るためのreparametrization trickや，効率的に潜在変数を近似推論する認識モデル（recognition model, inference model）の導入，確率的勾配法（stochastic gradient descent，SGD）の2重適用など，様々なアイデアが散りばめられている確率的生成モデルです．背景としては，当時ニューラルネットワークを用いて画像を生成するといったアプローチが（CNNを使った識別などと比べて）そ

今回は、Variational Autoencoder (VAE) の実験をしてみよう。 実は自分が始めてDeep Learningに興味を持ったのがこのVAEなのだ！VAEの潜在空間をいじって多様な顔画像を生成するデモ（Morphing Faces）を見て、これを音声合成の声質生成に使いたいと思ったのが興味のきっかけだった。 今回の実験は、PyTorchの公式にあるVAEのスクリプト を自分なりに読み解いてまとめてみた結果になっている。 180221-variational-autoencoder.ipynb - Google ドライブ さっそく実験！いつものimport。 import os import numpy as np import torch import torch.nn as nn import torch.utils.data import torch.optim a

Autoencoderの実験！MNISTで試してみよう。 180221-autoencoder.ipynb - Google ドライブ 28x28の画像 x をencoder（ニューラルネット）で2次元データ z にまで圧縮し、その2次元データから元の画像をdecoder（別のニューラルネット）で復元する。ただし、一度情報を圧縮してしまうので完全に元の画像には戻らず再構成した画像 xhat は入力画像の近似となる。 さっそくやってみよう。まずはいつもの。 import os import numpy as np import torch import torchvision from torch import nn from torch.autograd import Variable from torch.utils.data import DataLoader from torchvi