今回はディープラーニングのモデルの一つ、Variational Autoencoder(VAE)をご紹介する記事です。ディープラーニングフレームワークとしてはChainerを使って試しています。 VAEを使うとこんな感じの画像が作れるようになります。VAEはディープラーニングによる生成モデルの１つで、訓練データを元にその特徴を捉えて訓練データセットに似たデータを生成することができます。下記はVAEによって生成されたデータをアニメーションにしたものです。詳しくは本文をご覧ください。 本記事で紹介している内容のPythonコードはコチラにあります。 1. Variational Autoencoderとは？ まず、VAEとはどんなものであるかを説明したいと思いますが、その前に通常のオートエンコーダーについて触れたいと思います。 1-1. 通常のオートエンコーダー オートエンコーダーとは、 教師

English version of this document is available here. 始めに その会議が眠いのはテーマや議事運営が眠いからというのはもちろんそうなのかもしれませんが、二酸化炭素濃度が上がっていることも原因なのかもしれません。 CO2濃度が2500ppmをこえたあたりから急激に思考力が低下するなんて報告もありますが、人間のCO2排出量って結構すごくて、会議室に数人あつまっただけでかなりCO2濃度は高くなります。冬の閉め切った室内でちょっと灯油ストーブとかつけるとすぐに凄いCO2濃度になったりします。 建設的な会議を進めるために、まずは現状のCO2 濃度を把握してみませんか？ MH-Z19センサー CO2センサーは non-dispersive infrared (NDIR) といって、赤外線の吸収率がCO2濃度によって変わることを利用して測るのだそうです、か

久しぶりにApacheをインストールしました。設定ファイルがディレクトリ毎に色々と分かれていたり、設定用のコマンドがあったりして、ちょっと戸惑いましたが、Let's Encryptの証明書でSSL化するまでの手順です。 インストール # apt-get install apache2 # a2enmod ssl # vi /etc/apache2/sites-available/default-ssl.conf ServerAdmin xxx@yyy.zzz <- 変更 ServerName xxx.yyy.zzz <- 追加 DocumentRoot /var/www/html # a2ensite default-ssl # service apache2 reload これだけで、sslモジュールが有効になり、とりあえずSSLでアクセスできるようにはなる。あとは、ルータの設定をして、

[GithubとBacklogの連携] Backlogでissue管理して、Githubへのコミット内容をBacklogにも反映させる様に連携する方法GitHubBacklog Backlogでissue管理をしていて、Githubをリポジトリとして使っている場合に、GithubへのcommitをBacklogの各issueに反映させたいこともあるかと思います。 GithubでWebhook設定 GithubのリポジトリからSettingsを選択して、Webhooks & Services へ Add Service を押下して、Backlog を選択 Backlogとの連携設定 Backlog の Api url ですが、これはお使いのbacklogのurlに XML-RPC という文字列を追加したものになります。

PyTorchのチュートリアル(Deep Learning with PyTorch: A 60 Minute Blitz)の中のNeural Networksに取り組んだところ、DeepLearning初心者には少々分かりづらいところがあり躓いたので、ここにまとめておきます。 次のチュートリアル「Training a classifier」はこちら。 PyTorchドキュメントやGitHubのソースコードを参考にして、元々のチュートリアルのコードにコメントを加えています。少しだけコードを追加しているところもあります。 細かくコメントを入れてあるので冗長ですが、私と同じように躓いた人の参考になれば幸いです。 尚、公式ページの日本語翻訳ではありませんので悪しからず。 シンプルに日本語翻訳を読みたい方はこちらのサイトに載っています。 モジュールのインポート import torch as t

（2020.10.08追記） JupyterLabについても追記します。 （2019.06.29追記） 少し情報を追記します。 1. Jupyter notebook（ローカル環境）上で行番号を表示する場合 対象のCell上で、

Bash on Ubuntu on Windows環境を構築する AWS上のサーバーにはこの環境からsshする 脱cygwin Bash on Ubuntu on Windows本体の導入 本体の導入についてはここでは割愛 以下を参照 Bash on Ubuntu on Windowsをインストールしてみよう！ ターミナルがcmd.exeだとつらい 伝統的なDOS窓ではとても快適とは言えない mintty経由で使えるらしい wsl-terminalを使う wsl-terminalから最新版を入手して、適当なディレクトリに展開するだけ 以下では c:\wsl-terminal に展開したものとする 参考: Bash on Ubuntu on Windows + オールインワンmintty 使い方 c:\wsl-terminal\open-wsl.exeを実行するのみ 起動後のカレントディレク

OpenStreamアドベントカレンダーの一日目です。 結構前からやっている趣味DeepLearningですが、最近（実際は結構前から）次のような問題に当たり始めました。 データセットが大きくなってきてHDDが厳しい データセットが大きくなってきて前処理がやばい 小さいデータセット＋Augmentationでなんとかなるものはいいんですが、現在最大のデータセットは 画像33万枚、220GB弱 あります。 んで、これを前処理したり何だりしていると、最終的に学習で利用するデータを作成するだけで、HDDが500GBくらい利用されてしまう状態です。 容量も当然厳しいんですが、一番厳しいのは処理時間です。現状の前処理を行うと、大体 12時間くらい かかります。趣味でやるので基本的に自分のPCでやっていると、HDDが悲鳴を上げる上に、実行している間はレイテンシが悪すぎて他の作業もできないって状態になっ

今回はPyCharmのリモートインタプリタ機能をつかって、Deep Learningを手軽にできる開発環境を構築をしたところ、思った以上に開発が捗ることがわかったので、紹介したいなと思います。 目的 Deep Learningの開発についてMacのようなマシンを使っても、Deep Learningの開発を手軽にやる方法をさがしていました。 当たり前ですがノートPCだとマシンパワーが全然たりないので、GPUの入ったデスクトップマシンを買って、そこにUbuntu入れてやるのが普通かもしれません。ただ、いかんせんデスクトップなので、どこでも開発できるわけじゃありません。 もちろんMacからでもGPUマシンにsshさえ接続できれば、ファイルをGPUマシンに対してアップロード、そこで実行させればできますが、手軽なもんじゃないです。 IDEで開発しつつ、GPUマシンで直接実行できる方法が無いかと思い色

要約 色々な意見が飛び交っているが，condaのバージョンを古くしておけばうまく共存できる． このissueを読めばなんとなく解決する． はじめに pyenvはとっても便利なPythonバージョン管理ツールなので，新しいマシンでPythonを使うときにはまずpyenvを入れたくなる． pyenvは単体でも悪くないが，自分が本当にやりたいことは，例えば「とりあえずこのプログラムのために環境を構築してみて，何かあったときにはちまちま原因を探るのではなくとりあえず環境ごとぶっ飛ばす」とかなので，同じバージョンのPythonを複数の環境にインストールできてほしい． そこで，pyenv-virtualenvプラグインを用いて，pyenvのインターフェースでPythonの仮想環境を作れるようにする．venvとかvirtualenvとか，似たような名前の別人がたくさんいるので混同しないでほしい． ところ

今まで仕事で使ってきた、メジャーなものからマイナーなものまで含めたJupyter NotebooksのTIPS集です。 入力補完 とりあえずこれが無いと生きていけません。 Nbextensions（Jupyterの拡張機能）自体が未設定であれば、一旦そちらをインストールして、その後にHinterlandという機能にチェックを入れると有効化されます。 AnacondaのJupyter notebookでnbextensionsを使う ※Nbextensionsインストール後、Jupyterのファイルリスト的な画面で、タブで「Nbextensions」という選択肢が追加されます。 Azure Notebooksなどだと、最初からインストール不要で選択できるようになっています。 Google Colaboratoryなどでは、そういった設定ができるのかまだよくわかっていません。（ご存じの方コメン

昨年に引き続きDeep Learningやっていき Advent Calendar 2017の25日目の滑り込み記事で，畳み込みニューラルネットワークの歴史および最新の研究動向についてのサーベイです．2017年12月のPRMU研究会にて発表した，畳み込みニューラルネットワークについてのサーベイをベースに追記を行ったものになります． はじめに 畳み込みニューラルネットワーク (Convolutional Neural Networks; CNN) （以降CNN）は，主に画像認識に利用されるニューラルネットワークの一種である．CNNの原型は，生物の脳の視覚野に関する神経生理学的な知見1を元に考案されたNeocognitron2に見ることができる．Neocognitronは，特徴抽出を行なう単純型細胞に対応する畳み込み層と，位置ずれを許容する働きを持つ複雑型細胞に対応するpooling層とを交互

はじめに NVIDIA Visual Profilerという、CUDAに関する、描画が少しリッチなProfilerがあります。 こんな感じです。 ボトルネックを解析したり、Optimizationしたりするのに有効です。 リモートマシンでInstallしておいて nvvp とすると起動して、以下のようにターミナル端末からX11とかで起動することもできますが 動作が重くなりがちなので、 nvprof でprofilingだけリモートマシンで行なって、 scp でローカルマシンに結果を飛ばして、 ローカルの NVIDIA Visual Profilerを使う という一連の流れを紹介したいと思います。 (なお、リモートマシンは nvprofが使えることを前提としてます) 公式のドキュメントはここにあります。(英語) http://docs.nvidia.com/cuda/profiler-use

本ブログは、混合ガウス分布を題材に、EMアルゴリズムという機械学習界隈では有名なアルゴリズムを丁寧に解説することを目的として書いています。 また、この記事は、「数学とコンピュータ Advent Calendar 2017」の24日目の記事です。 そして長いです。 1. はじめに 観測した確率変数 $X$ をよく表現する、モデル $p(x|\theta)$ のパラメータを求めることが確率分布の推定ではよく行われます。つまり最尤法ですね。より複雑な分布になるとその分布の構造に潜在変数(Latent Variable) $Z$ があると仮定してモデル化を行うと、シンプルな組み合わせで $X$ の分布を表現できることがあります。今回扱う混合ガウス分布もその一つです。 のちに説明しますが、データセットの種別を完全データ集合と不完全データ集合に分けた場合、不完全データ集合に属するようなデータセットはデ

はじめに ※ Keras2 を対象にしています。 Kerasのコードはシンプルでモジュール性が高いのでシンプルに記述可能で、理解しやすく使いやすいです。 ただし、標準で用意されている以外のLayerや学習をさせようとすると、あまりサンプルがなくてどう書いていいかわからなくなることが多いです。 最近いくつか変わったModelを書いた時に学んだTipsを備忘録も兼ねて共有します。 目次 Functional APIを使おう Weightを共有したい場合は Container を使うと便利 「LayerのOutput」と「生のTensor」は似て非なるもの Lambdaを使った簡易変換は便利 カスタムなLoss FunctionはSample別にLossを返す LayerじゃないところからLoss関数に式を追加したい場合 学習時にパラメータを更新しつつLossに反映した場合

データ分析における関数の使い方については様々な記事が上がっています。関数を知らなかったり使い方が分からないときは調べればだいたい答えが見つかります。 一方で、実際に分析を始めようとすると、たとえ関数の使い方がわかっていても、データをどのような切り口から何を分析・可視化していけば良いのか困ってしまうことがよくあります。 この記事では、あんちべさんが書いたデータ解析の実務プロセス入門という本をベースに、どのようなデータから何を見たいときにどのような可視化手法を使えばよいのかを、具体例を交えながら整理していきます。 探索的データ解析とは データ解析のアプローチは、大きく分けて仮説をデータで検証する「仮説検証型」とデータから仮説を生み出す「探索型」に分けられます。 実際にデータ解析を行うときは、仮説検証型と探索型を行き来しつつ知見を見出していきます。 データ解析には検証すべき仮説を設定することが必

さて、この記事は「Deep Learning フレームワークざっくり紹介 Advent Calendar 2017」の1発めとしてとりあえず、今あるディープラーニング用フレームワーク、その他関連ライブラリをざざざっと紹介しようという記事です。 より詳細は他の記事なんかを読んでもらうとして、ここではホントに、概要の概要（作者とか）とポインタ（URLとか）のみ紹介していきます。 ※ ここ数ヶ月の、広く浅い動向調査を元に書いてます。もしかしたら間違いとかあるかもですが、その場合はコメントとかで教えてください。 では以降、処理の上の方から下の方まで順に、ざざっと。 Higher API いわゆるディープラーニングフレームワークを更に抽象化して、Deep Neural Network（DNN）を簡単に書けるようにしたライブラリです。 Keras by Francois Chollet, Google

Metabase、まじでイケてる。 1日で、Re:Dashから乗り換えました。 Metabaseとは OSSのデータ可視化ツール。Re:Dashとかと同じ類。 AWSとかに乗せて、誰もが見れるダッシュボードを作ったりする時に使うと、俺かっけーってなります。 スクリーンショット 実際に社内で運用している様子をモザイク付きでお見せします。 毎日みているダッシュボード。これの4倍くらいの数値見てる。 ダッシュボードの編集。マウスで簡単に位置や大きさの変更ができる。 クエリビルダー的なやつがあり、グルーピングとか超絶便利。SQL書けない人でも、単一テーブルとかだったら余裕かと。 グラフ化も簡単。 SQLでのクエリ編集画面。ちゃんと補完してくれる。 Metabaseの良い所 見た目が格好いい。 インストールが簡単。 openjdk-8-jdk入れて、jarファイル置くだけ。 豊富なデータソースに対応

python環境構築決定版の補足です。 20180312追記 2017-12-20付けでリリースされたconda 4.4.0でconda activateが採用されたようです。 conda/CHANGELOG.md 現状では source activateが廃止されたわけではないようですが、conda activateが推奨されています。 最近dockerがこなれてきた (proxy越しwindows環境でもストレスを感じない)ため、pyenvを挟む必要性が減っており、私もdocker-anacondaに移行していますが、参考まで。 コメントで情報いただきました。 ありがとうございます。 pyenvとanacondaのactivate衝突問題とは? linuxやMacではpyenvを介してanacondaをインストールできます。 更に、anacondaで複数開発環境の切り替えをしたいケース

【秒速で無料GPUを使う】TensorFow(Keras)/PyTorch/Chainer環境構築 on ColaboratoryDeepLearningChainerTensorFlowPyTorchcolaboratory 2019/5/11 PR: こちらの内容を含め、2019年5月11日発刊の 図解速習DEEP LEARNINGという本ができました。[2019年5月版] 機械学習・深層学習を学び、トレンドを追うためのリンク150選 - Qiitaでも、一部内容をご覧いただけます 19/1/11 18年1月の公開後、TensorFlow本体にKeras統合、Chainerがデフォルトで提供となるなど、状況が変化したため、大幅に加筆しました。TensorFlow 2.0 Previewについても追記しました。 19/1/31 PyTorchが標準インストールとなったこと、PyTorch