名古屋大学特別講義 2016年6月29日(水) ディープラーニングによる 自然言語処理 (技術編) 日本アイ・ビー・エム株式会社 東京基礎研究所 坪井 祐太 yutat@jp.ibm.com 1 ニューラルネットワーク技術詳細 • 目的関数 • 誤差関数 • 目的関数の最小化 • 勾配法 • 目的関数の微分計算 • 誤差逆伝搬法 • 誤差の分解と対処手法 • 推定誤差に効く手法 • 最適化誤差に効く手法 • RNNの話題 2 目的関数: 誤差 • 教師あり学習の目的関数 • 𝑥 ∈ 𝑋: 入力, 𝑦 ∈ 𝑌: 出力 • 入力xからyを予測したい問題設定 • 真の目的関数: 𝐿∗ 𝜃 = ∫𝑝 𝑥, 𝑦 ℓ𝜃 𝑥, 𝑦 𝑑𝑥𝑑𝑦 • ℓ𝜃は事例ごとの損失関数(後述) • 訓練データでの誤差 • データ分布p(x,y)は普通わからないので訓練データN個: D=
2016 - 07 - 01 個人的な老害エンジニア行動指針を策定した エンジニア 自分は今33歳なので、Webの世界においては完全に 老害 と言われてもおかしくない世代にさしかかっています。自分は 老害 には決してならないと強い意思を持っていたとしても、どうやら 脳科学 的には避けられないものだと聞いたことがあります。 というわけで、意思よりも明文化すべきだろうということで個人的にではありますが、 老害 エンジニアとしての行動指針 を策定致しました。 若くないことを肯定し、世代の違いを認識する 親の世代に比べると例えば今の30代は過去の30代よりも若いし、40代は過去の40代よりも若い人が多くなったというイメージがあります。自分が子供の頃の30overって完全にオッサンオバハンのイメージでしたが、少なくとも見た目の面では変わってきている潮流にあるのでしょう。老化のスピードは緩まっているの
2015-03-31 CircleCIアンチパターン 2015春 CI CircleCI Docker 今日はCircleCIで気持ちよくCIを回すために、抑えておいた方が良いアンチパターンについて書きます。わりと基本的な話なので、心当たりがあれば見直してみると良いと思います。 Fat Repository Anti Pattern(巨大なリポジトリ) CircleCIのコンテナは使い捨てですが、対象のリポジトリを毎回cloneするのではなくて、2回目移行は前回のCI時にキャッシュしておいたリポジトリを利用することで差分取得を実現しています。 checkoutフェーズのRestore source cacheのことですね。 この手法によって最新取得のコストを大幅に低減することができますが、コンテナ初期化時にS3からリポジトリのアーカイブを取得するという特性上、あまりにも巨大な数GB超えのリ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く