おはようございます． 今回は教師あり学習モデルを題材に，入力データが欠損している場合のベイズ流の対処法を解説します．ベイズモデルというと，たいていの場合は事前分布の設定の仕方云々だとか，過学習を抑制できるだとかに議論が注目されがちですが，個人的には，パラメータや潜在変数を推論することとまったく同じ枠組みで欠損値も同時に推論できることが，実用上非常に便利なベイズの特性だと思っています． データの欠損部分の取扱い データに欠損部分が存在することはよくあります．センサーデータを解析する際は，ネットワークの状況やデバイスの不具合によってデータの一部が欠けた状態で上がってくることがあります．スマホから複数種類のデータを集めるといった状況を考えてみると，例えば加速度センサーの値は継続的に取得できたとしていても，GPSの位置情報はほとんど上がってこないといった場合もあるかと思います．また，何かしらのユー

合成変量とアンサンブル：回帰森と加法モデルの要点1. 合成変量とアンサンブル：回帰森と加法モデルの要点 機械学習における「⽊」や 「森」のモデルの歴史と今 2017年6⽉19⽇(⽉) SIP研究会 招待講演 @ 新潟⼤学 • 決定⽊・回帰⽊の歴史と問題 • ⽊から森へ • バギングとランダムフォレスト • 勾配ブースティングとXGBoost • ランダム⽊とExtra Trees 2. 合成変量とアンサンブル 回帰森と加法モデルの要点 北海道⼤学 / JSTさきがけ 瀧川 ⼀学 3. 本⽇のトピック 機械学習における「⽊」や「森」のモデル ① 交互作⽤と合成変量 ② 決定⽊と回帰⽊ ③ 加法⽊と回帰森 〜⽊のアンサンブル♪〜 A. 決定⽊って古臭くない？枯れた印象で使ったこともない。 →実は今、巷で⼤⼈気なんです！ B. 結構気軽に使ってるけど背景・歴史や周辺を知らない。 →普通の本にはあ

2017/09/03 Deep Learning Acceleration勉強会@DeNAでの発表資料です。

研究開発部の菊田（@yohei_kikuta）です。機械学習を活用した新規サービスの研究開発（主として画像分析系）に取り組んでいます。 最近読んだ論文で面白かったものを３つ挙げろと言われたら以下を挙げます。 Why does deep and cheap learning work so well? Universal adversarial perturbations Understanding deep learning requires rethinking generalization 以前本ブログで紹介した Hackarade: MRI Internal Challenge ですが、その第二回として機械学習を題材にしたハッカソンが七月末に開催されました。 Hackarade ではエンジニアにとって長期的に有益となる技術を題材にしようという想いがあります。 今回はクックパッドの研究

Kaggle BlogOfficial Kaggle Blog ft. interviews from top data science competitors and more!

[概要] 最近のkaggle のコンペのwinning solution で、stacked generalization がよく使われています。これの元になった論文は、1992 年のWolpert さんによるものです。 triskelion さんのブログKaggle Ensembling Guide | MLWave の中でもこの手法についての説明があります。 様々な学習器を上手く組み合わせて、より精度の良いモデルを作ろうというのが基本的な考え方です。具体的には次の図のような感じです。 level 0 は、元となるデータです。またこの場合における各学習器はgeneralizer と呼ばれています。level 0 のデータにgeneralizer を適用して生成されたデータがlevel 1 のデータとなります。 その後も、同様に名づけられています。 [過去のコンペ] まずは、多層パーセプト

Webサービス「シンデレラガールズ台詞判定」「ミリオンライブ！台詞判定」について、その開発の動機や日程、運用・反響をテーマに解説します

2017/7/1 db analytics showcase Sapporoで講演したときの資料です。 フルスクラッチから機械学習アルゴリズムの実装をしたい人向けです。

このエントリはDeep Learning Advent Calendar 2016 5日目のエントリです。EMNLP2016に出ていたHow Transferable are Neural Networks in NLP Applications?を読んだので、それについて書きます。 [1603.06111] How Transferable are Neural Networks in NLP Applications? モチベーション 画像方面では、あるタスク(source side)で学習させた深層学習の結果を、別データセット(target side)でソフトマックス層だけ再学習させる転移学習(Transfer Learning)がうまくいっていると報告されています。 [1311.2901] Visualizing and Understanding Convolutional Ne

"Manga 109 - Japanese Manga Dataset": https://t.co/pLnYiTeRrT paper: https://t.co/SVuARlqkm7 https://t.co/8gZyQSrcC3

IEEE Internet Computingの2017年5・6月号に "Two Decades of Recommender Systems at Amazon.com" という記事が掲載された。 2003年に同誌に掲載されたレポート "Amazon.com Recommendations: Item-to-Item Collaborative Filtering" が Test of Time、つまり『時代が証明したで賞』を受賞したことをうけての特別記事らしい 1。 「この商品を買った人はこんな商品も買っています」という推薦で有名なAmazonが1998年にその土台となるアルゴリズムの特許を出願してから20年、彼らが 推薦アルゴリズムをどのような視点で改良してきたのか 今、どのような未来を想像するのか その一端を知ることができる記事だった。 アイテムベース協調フィルタリング 20年前も

An Overview of Multi-Task Learning in Deep Neural Networks Multi-task learning is becoming more and more popular. This post gives a general overview of the current state of multi-task learning. In particular, it provides context for current neural network-based methods by discussing the extensive multi-task learning literature. Note: If you are looking for a review paper, this blog post is also av

久しぶりに 研究 カテゴリーの記事 書きます．Convolution Neural Network (CNN) を画像検索に利用する話です． 画像検索（image retrieval または image search）とは，大量の画像を蓄えた「データベース (database)」の中から，検索対象（「クエリ (query)」）の画像に類似した画像を探し出す手続きのことです．ここで考えているのは画像の内容の類似性（人間の感覚的な似てる度合い）に基づく検索なので，より詳しく Content-Based Image Retrieval と言うこともあります．ちなみに，Content-Based じゃない画像検索ってのは，「猫」とか「白いもふもふ」みたいにキーワードをクエリにするとか，そういう類のやつね． 5年ほど前に Deep な CNN が画像認識で高い性能を示すことが知られるようになって以来

AWS Summit Tokyo 2017 w/ https://speakerdeck.com/kanny http://www.awssummit.tokyo/summit/index.html

こんにちは，Ryobot (りょぼっと) です． 概要 「メモリネットワーク」は代表的な記憶装置付きニューラルネットワークである． 本稿ではメモリモデル (記憶装置付きニューラルネットワーク) をいくつか概説し，論文 2 紙 (1) Memory Networks, (2) Towards AI-Complete Question Answering の理論的な記述を全文翻訳して補足説明している． 目次 メモリモデルの概説 Memory Networks (MemNN) 1 メモリネットワークの概要 2 基本モデル 3 拡張モデル 4 実験 Towards AI-Complete Question Answering (bAbI task) 1 メモリネットワークの拡張 2 bAbI タスク 3 実験 長文である．ざっくり知るだけなら「メモリモデルの概説」と Memory Networks