次で紹介するLadder Networksという手法は、デノイジングオートエンコーダ(denoising autoencoder, dAE)やデノイジングソース分割(denoising source separation, DSS)などの手法を深層学習に応用したものになります。 Ladder Networks Ladder Networksの潜在変数モデルであり、デノイジングオートエンコーダ(denoising autoencoder, dAE)やデノイジングソース分割(denoising source separation, DSS)などのノイズ除去という概念が基礎にあります。 ノイズ除去(denoising)とは入力データ(\(x\))にあえてノイズを加え(\(\tilde{x}\))、 $$ \tilde{x} = x + noise $$ 元の入力データ(\(x\))を復元すること

はじめに カブクで機械学習エンジニアをしている大串正矢です。今回は複数入力モデルの精度向上のためのTipsについて書きます。 背景 複数入力のモデルでは単一入力のモデルとは異なり、下記のような問題点があります。 – データによってロスに対する貢献度が異なり、ロスが下がりやすいデータを優先して学習してしまう。 – 学習の収束性はデータによって異なり、全体の最適化を目指すと個々のデータで過学習が発生してしまう。 1の問題を解決する方法として重み付きヘテロジニアスラーニング、2の問題を解決するためTask Wise Early Stoppingという手法が存在するので今回はその手法を紹介します。 注意点：両手法はマルチタスクラーニングに適用される手法のため、記事上ではタスクと表記しています。1入力を1タスクと置き換えて記述しています。 データ、前処理、モデル定義部分 データと前処理、モデル定義部

はじめに はてなサマーインターン2018の大規模システム開発コースの成果報告をします。 今年は、メンターのid:cohalzさん、id:wtatsuruさんの下、実際に使われているサービスをAmazon ECS(Elastic Container Service)にデプロイする基盤を構築しました。 コンテナでサービスを本番運用するために、AutoScaleの検証や、デプロイ時間の計測、改善策の検証を行いました。また、開発、デプロイフローを楽にするために、AWS CodeBuild、CodePipelineを使ってCI/CDの構築も行いました。これにより、PullRequestごとにCIが走り、masterにマージされたら自動でECSにデプロイすることができるようになります。高速なデプロイ切り替えを行うために、Blue-Green Deploymentの検討も行いました。 他にも、Micro