はてなブックマーク

最近はすることリスト（TODO）に追いまくられていて落ち着けなかったので、とりあえず直近でやってみたい・調査してみたいと思ってメモしていたことをまとめてみた。他にもあったかもしれないけどとりあえず！ Deep Learning fast.ai のレクチャービデオを全て見たい fast.aiライブラリ を使ってKaggleを試したい Google Machine Learning Crash Course を受講したい Dive into Deep Learning を読みたい TensorFlow 2.0 を試したい TensorFlow.js でJavaScriptでDeep Learningしてみたい PyTorch-GAN を解読してまとめたい Hyperopt、Optuna、BoTorch などのハイパーパラメータ探索ライブラリを試したい AI Transformation Pla

Long Short-Term Memory Networks With Python（2018/8/20）のつづき。 今回は、Echo Sequence Prediction Problemという単純なタスクを対象にKerasとPyTorchのVanilla LSTMの実装方法を比較してみます。 Echo Sequence PredictionProblem Echo Sequence Prediction Problemとは、ランダムな整数の系列を入力とし、入力系列の特定の時刻の値を出力する単純なタスクです。時刻はネットワークへの入力とせずに固定します。例えば、入力系列として [5, 3, 2] を入力とした場合、時刻1の要素を返すモデルは 3 を出力します。 系列を入力として、要素を1つだけ返すのでMany-to-one型のLSTMです。こんなモデルが何の役に立つのか？というと・・・

最近、仕事でRNNを扱うアプリケーションが多くなっています。そのようなわけで、今回からしばらくRNN（Recurrent Neural Network）についてまとめていこうと思います。参考資料は、 です*1。 この本は、RNNの様々なアーキテクチャを Keras で実装して解説しています。取り上げられているアーキテクチャは Vanilla LSTM Stacked LSTM CNN LSTM Encoder Decoder LSTM Bidirectional LSTM Generative LSTM などです。RNNのタスクというと機械翻訳、音声認識、Image Captioningなど大規模なデータと長い訓練時間が必要なタスクが一般的ですが、この本ではCPUでも訓練できるほど基本的なタスクが取り上られています（MNISTより簡単なレベル） Kerasでやってはこの本の真似になってしま

最近、Kaggle始めました。登録自体は2年前にしてたのですが、興味起きなくてタイタニックやった後にずっと放置してました (^^; 今回、取り組んだのはFreesound General-Purpose Audio Tagging Challengeという効果音に対して3つのタグをつけるコンペです。2秒ほどの音に対してギター、犬の鳴き声、チャイム、シンバルなどの41個のタグから3つを付与します。1つの音声に対する正解のタグは1つなのですが、3つのうち正解のタグが上位にあるほどスコアが高くなります。 Deep Learningで音を分類したり、生成したりする技術に興味があったので取り組んでみました。Private Leader Board上では比較的上位に食いこめたので参考までにアプローチをまとめておこうと思います！ Kaggleにはカーネルという実験をまとめたJupyter Noteboo

2018年の目標（2018/1/1）にも書いたように今年はマルチモーダル深層学習の深耕を目標に上げていました。社内の輪講会でマルチモーダル深層学習の研究動向について発表する機会があったので資料を公開します。 マルチモーダル深層学習の研究動向 from Koichiro Mori Multimodal Machine Learning: A Survey and Taxonomy ACL2017のチュートリアル資料 をベースに自分なりに調査した研究を追加してまとめています。 上の論文では、モダリティとして言語・音声・画像のみを取り上げているのですが、私はここに行動（制御）も付け加えています。 また、発表時間の関係から一部の研究を省略しています。他にも面白い研究はまだあるので、興味のある方は元のサーベイ論文やチュートリアル資料を読んでみてください。このブログでもおいおい紹介していきたいと思いま

前回からずいぶん時間が空いてしまった (^^;) 今回からテキストや音声など系列データを扱う手法に進んでいこうと思っています。 最初のお題として文字レベルのRecurrent Neural Network (RNN) を試しました。PyTorchチュートリアルの Classifying Names with a Character-Level RNN です。 このチュートリアルは、人名から国籍を推定するというタスクです。データとして数千の人名を18の国籍に分類したデータが提供されています。たとえば、Hintonさんだったらスコットランド人、Schmidhuberさんだったらドイツ人、Moriさんだったら日本人という感じ。 RNNなどの系列データを扱うニューラルネットでは、系列の要素として文字、単語、n-gramなどいろいろ取りえますが、今回は文字です。つまり、人名を文字の系列データとみなし

今回はDCGANをCelebAのデータで試してみた。このデータもよく見るけど使うの始めてだな。これまでのMNIST（2018/3/4）やFashion MNISTのGANと違ってカラー画像でサイズも大きいので少し修正が必要。 180303-gan.ipynb - Google ドライブ CelebA dataset CelebAのサイトではGoogle Driveを使って画像ファイルを提供している。ブラウザ上から直接ダウンロードしてきてもよいが、AWSなどクラウド環境を使っているときはいちいちローカルにダウンロードしてそれをAWSにアップするのが面倒だ。コマンドラインツールでAWS上に直接ダウンロードしたくて少し悩んだ。 Google Drive上のファイルをCLIで操作する gdrive という便利なツールがあるが、これは自分のGoogle Driveのファイルしか操作できない。他人のフ

今回はCycleGANの実験をした。CycleGANはあるドメインの画像を別のドメインの画像に変換できる。アプリケーションを見たほうがイメージしやすいので論文の図1の画像を引用。 モネの絵を写真に変換する（またはその逆） 馬の画像をシマウマに変換する（またはその逆） 夏の景色を冬の景色に変換する（またはその逆） こんな魔法のようなことが実現できる。 似たような技術にpix2pixという技術がある（両方ともUC Berkeley）が、これは変換元画像と変換先画像の1対1のペアの訓練データが必要になる。その一方で、CycleGANはこのようなペアとなる訓練画像が必要ないという利点がある。ドメインAの画像セット（馬の画像セット）とドメインBの画像セット（シマウマの画像セット）だけがあればよい。 いろいろなアプリケーションがあるが、今回はウマをシマウマに変換するというアプリケーションを実験してみた

前回（2018/2/28）の最後で次はConditional VAEだと言っていたけど思いっきり無視して (^^;) 今回はGenerative Adversarial Networks (GAN) やろう。いくつかのデータセットで実験しようと思っているけど今回は最初ということでMNISTから。 今回の実装は正確に言うとGeneratorとDiscriminatorに畳み込みニューラルネットを使っているので DCGAN（Deep Convolutional Generative Adversarial Networks） と呼ばれるGANにあたる。論文の設定とは微妙に違うところあるけど。 180303-gan-mnist.ipynb - Google ドライブ まずはいつものimportから。 import os import pickle import numpy as np impor

今回は、Variational Autoencoder (VAE) の実験をしてみよう。 実は自分が始めてDeep Learningに興味を持ったのがこのVAEなのだ！VAEの潜在空間をいじって多様な顔画像を生成するデモ（Morphing Faces）を見て、これを音声合成の声質生成に使いたいと思ったのが興味のきっかけだった。 今回の実験は、PyTorchの公式にあるVAEのスクリプト を自分なりに読み解いてまとめてみた結果になっている。 180221-variational-autoencoder.ipynb - Google ドライブ さっそく実験！いつものimport。 import os import numpy as np import torch import torch.nn as nn import torch.utils.data import torch.optim a

今年の目標（2018/1/1）で宣言したとおり今年はPyTorchを使えるようにしていこうと思ってます！ ここにPyTorchのリソースをまとめる予定です。一気に追加すると収拾つかないため内容を吟味してから追加してこうと思います。外部リンク集の2つのサイトはPyTorchに関するチュートリアルや論文の再現実装など大量のリソースがまとまっていてとてもおすすめです。あと公式のチュートリアルはとてもしっかり書かれていて勉強になります。こちらもおすすめ。 PyTorch - 本家 PyTorch Forums - 本家フォーラム PyTorch Official Tutorials - 本家のチュートリアル PyTorch Official Examples - さまざまな実装例 外部リンク集 The Incredible Pytorch - チュートリアルから各種アルゴリズムの実装まで大量に紹介

明けましておめでとうございます。ブログ書くの6ヶ月ぶりでずいぶんご無沙汰していますがちゃんと生きています (^^; 2017年の振り返り 2017年はいろいろなことがありました。 3月に運転免許証をゲットしました。そろそろ1年経つので初心者マーク取れそうです(^o^)v 3月に某電機メーカを退職して、4月1日付けで株式会社DeNAに転職しました。機械学習・人工知能の研究開発をしているAIシステム部で働いています。データマイニング+Web@東京を主催している@hamadakoichi さんやコンピュータビジョン研究者の @yu4u さんと同じ部署です。転職活動するまでDeNAについてほとんど知らなかったので自分でも本当に意外です。自分の選択とは言え、人生何が起こるか本当にわかりません。 転職したのは、Deep Learningの可能性の探求に本気で取り組みたいと思ったからです。前職では音声合

6/28から6/30に東京ビッグサイトで開かれた第1回 AI・人工知能EXPO*1に参加して、基調講演を聴いてきたので概要をメモ書き程度にまとめた。個別の展示はちょっと数が多いので省略^^; 今年の目標（2017/1/1）にも書いたけれど、AIをどうビジネスにしていくかという点は関心があるので今後も動向をウォッチしていきたい。MicrosoftとWatsonのAPIはあとで使い込んでみる予定。 全体的な所感 カスタマーサービス向けのチャットボットツール（ルールベース）に関する展示が非常に多い コンピュータビジョンに関連したDeep Learning技術も目立ったが既存モデル（YOLO物体検出、人検出など）の活用が中心 DL以前の機械学習手法・データマイニング・テキストマイニングの活用事例も多い テキスト・画像・音声データの収集・アノテーションに特化した会社（IR-ALT、REALWORLD

今回はPractical Deep Learning for CodersのLesson1の結果をまとめてみた。題材はKaggleの犬・猫分類。 Dogs vs. Cats Redux: Kernels Edition | Kaggle 以前やったVGG16のFine-tuningによる犬猫認識（2017/1/8）と同じタスク。前回は1000画像の小セットだけでFine-tuneしたが、今回は25000画像の全データを使ってFine-tuneしてKaggleに投稿するところまで通しで試した。 オリジナルのコードはPython2でKeras1 (Theano backend）でしか動作しない。そこで、今回は Python3 と Keras2 (Tensorflow backend） を使って再実装する 提供されているutils.pyとvgg16.pyは使わずにスクラッチからKeras API

最近、fast.aiのPractical Deep Learning for CodersというMOOCを受講している。 この講座は 無料 動画形式の講義（1回2時間というボリューム） Jupyter NotebookとKerasを使用 CNN、Finetuning、VGG16、ResNet、RNNなどが実践的な例題を通して学べる 実務家がDeep Learningで自分の問題を解決できることが目標 という特徴がある。講義内容は高度で実践的なものが多い印象。例えば、Lesson1でMNISTと思いきや・・・いきなりKaggleのDogs vs. CatsをVGG16 + Finetuningで解いてKaggleに投稿するところまでが課題になっている。これさえできれば画像認識が必要ないろんな課題に同じ技術を適用できるとのこと。 今はまだPart1しかないが、ForumのなかでPart2の動画

Deep Learningの学習結果（重み）はブラックボックスで、隠れ層のユニット（特に深い層の！）が一体何を学習したのかがよくわからないと長年言われてきた。しかし、今回紹介する方法を使うとニューラルネットが何を学習したのか目で見える形で表現できる。 畳み込みニューラルネットで学習したフィルタの可視化というと以前やったように学習した第1層のフィルタの重みを直接画像として可視化する方法がある。 しかし、畳み込みフィルタのサイズは基本的に数ピクセル（MNISTの例では5x5ピクセル程度）のとても小さな画像なのでこれを直接可視化しても何が学習されたか把握するのはとても難しい。たとえば、MNISTを学習した畳み込みニューラルネット（2016/11/20）のフィルタを可視化しても各フィルタがどの方向に反応しやすいかがわかる程度だ。 各フィルタが何を学習したかを可視化する別のアプローチとして各フィルタ

2017年2月21日で人工知能に関するブログ（というか自分のWebサイト）を初めてから15周年を迎えます。基本的に飽きっぽい性格ですが、こんなに続いたのは読んで応援してくださったみなさんのおかげだと思います。ありがとうございます！ ここら辺で15年を振り返ってみるのも面白いんじゃないかと思いインターネットアーカイブを掘り起こしてまとめてみることにしました。個人的な話なのであんまり興味ないかもしれないですけど(^^; /tmp（2002年～） 「全世界に公開できるWebサーバ立てたよ。みんな何か書いてみよう！」みたいな話があって書き始めたのがきっかけです。研究室に配属されたてだったのでこれからやる研究の履歴をまとめていこうかなと思っていました。あと文章を書くのが苦手だったので抵抗をなくそうという趣旨でした。当時はHTMLファイルを書いてFTPでアップロードという時代だったのでとってもシンプル

Long Short-Term Memory Networks With Python（2018/8/20）のつづき。 今回は、Damped Sine Wave Prediction Problemという時系列予測のタスクを対象にKerasとPyTorchでStacked LSTMの実装方法を比較してみます。 減衰するサイン波を系列データとみなして、…

VGG16のFine-tuningによる犬猫認識 (1) （2017/1/8）のつづき。 前回、予告したように下の3つのニューラルネットワークを動かして犬・猫の2クラス分類の精度を比較したい。 小さな畳み込みニューラルネットをスクラッチから学習する VGG16が抽出した特徴を使って多層パーセプトロンを学習する VGG16をFine-tuningする リポジトリ：dogs_vs_cats 1. 小さな畳み込みニューラルネットをスクラッチから学習する ベースラインとしてVGG16は使わずに小規模な畳み込みニューラルネットワークをスクラッチから学習する。学習データは、犬クラス1000枚、猫クラス1000枚と小規模なデータを使うのであまり大規模なネットワークは学習できない。そこで、畳込みが3層のLeNet相当の小さなモデルを構成した。 横の矢印はそのレイヤでの出力の4Dテンソルのサイズ (samp

VGG16はILSVRCのコンペ用に学習されたニューラルネットなのでImageNetの1000クラスを認識できる。しかし、前の記事（2017/1/4）で実験したように「ひまわり」のようなImageNetに存在しないクラスはそのままでは認識できない。 この問題を解決するためVGG16の高い認識能力を継承しつつ、新しい独自のクラス（今回は犬か猫かの2クラス）を認識できるように少量のデータでニューラルネットの重みを再調整することをFine-tuningという*1。「少量のデータで」というところがすごく重要。もし大量データでないとダメだったらAWSの利用料で破産するのでこの記事は書けない(^^;; 今回は、Keras Blogの - Building powerful image classification models using very little dat を参考に犬と猫の2クラス認識を

今回は、Deep Learningの画像応用において代表的なモデルであるVGG16をKerasから使ってみた。この学習済みのVGG16モデルは画像に関するいろいろな面白い実験をする際の基礎になるためKerasで取り扱う方法をちゃんと理解しておきたい。 ソースコード: test_vgg16 VGG16の概要 VGG16*1は2014年のILSVRC（ImageNet Large Scale Visual Recognition Challenge）で提案された畳み込み13層とフル結合3層の計16層から成る畳み込みニューラルネットワーク。層の数が多いだけで一般的な畳み込みニューラルネットと大きな違いはなく、同時期に提案されたGoogLeNetに比べるとシンプルでわかりやすい。ImageNetと呼ばれる大規模な画像データセットを使って訓練したモデルが公開されている。 VGG16の出力層は1000

年末なので年始に立てた目標（2016/1/1）の振り返りでもしようかな。 ○ Deep Learning Tutorialの読破とTheanoでの実装を続ける △ パターン生成・コンテンツ生成（2015/12/30）に関する従来研究のサーベイ × 深層強化学習（Deep Reinforcement Learning）の理解 × 1週間に1本は論文を熟読する △ TensorFlowをさわってみる △ C­omputer vision: models, learning and inference（2015/12/31）の読破 × 情報理論の勉強 △ 多様体学習（manifold learning）の勉強 × Sparse Codingの勉強 × 上記に関係する数学の習得 ◎ Python3への移行 △ MOT・イノベーション・マーケティング関係の本を月1冊以上読む × 英語ライティングを鍛