はてなブックマーク

この記事はごちうさ Advent Calendar 2015 24日目の記事です． gochiusa.connpass.com はじめに パリのルーヴル美術館に行きたい思っているのですが，資金的な問題があるため毎日インターネットでグーグル美術館です．どうもolanleedです． 論文投稿に追われたり風邪をこじらせたり，激しいDeep LearningでMacBookが故障したりする怒涛の12月でしたが，今期のアニメ「ご注文はうさぎですか？？」のおかげで正気を保てています． ありがとう，ごちうさ． 今日はchainer-goghを使い，ごちうさの登場人物と世界の絵画を合成して「ご注文はうさぎですか？」美術展覧会を開きたいと思います． 今回用いたchainer-goghについてはこちらに書かれております． https://research.preferred.jp/2015/09/chaine

この記事はDeep Learning Advent Calendar 2015 23日目の記事です． はじめに コンピュータセキュリティシンポジウム2015 キャンドルスターセッションで（急遽）発表したものをまとめたものです． また，私の体力が底を尽きてるので，後日に大幅な加筆・修正します． Deep Learning Advent Calendar 21日目の記事はすいません，しばらくお待ちください... Deep Leaningの光と闇 Deep Learningが様々なタスクにおいて大きな成果を上げています．また，各種フレームワークの登場によって，Deep Learningの導入や実践する敷居が大幅に下がりました．このことから，Deep Learningを活用していこうと考えてる，あるいはすでに活用している企業や研究者が増えてきています． Deep Learningによって従来の手法

2015 - 12 - 13 Chainerを用いたマルウェア検出への取り組みについて この記事は Chainer Advent Calendar 2015 13日目 の記事です． はじめに Chainerで実装を進めているのですが，今回は構想的な話をします．ご容赦下さい． 私は 修士論文 でEディスカバリ *1 を対象に 自然言語処理 と 機械学習 を用いて研究を進めていますが，それとは別に，Deep Learningで マルウェア 検出に取り組んでいます．本当は研究室配属された時に，これで論文書きたいと思っていましたが，色々大変であることが発覚したので，個人的に細々とやっている感じです．卒業までになんとか実現しようと奮闘しております． マルウェア を 機械学習 させるための戦略 マルウェア にも様々な種類がありますが，PEフォーマット *2 の マルウェア を対象にしております． マル

この記事はDeep Learning Advent Calendar 5日目の記事です． はじめに 皆様，ご無沙汰にしております．olanleedです． とうとうAdvent Calendar以外でブログを更新しないダメな人間になってしましました．更新しようといろいろ考えてたのですが，学会やらジャーナルへの論文投稿などがあって，なかなか厳しいものがありました． この12月は異常なまでにAdvent CalendarとLTを入れたので，怒涛の更新になりそうです．お付き合いください． それでは本題に入りたいと思います． RNNを用いた機械翻訳 Deep Learningが様々な分野で大きな成果を出している現在，統計的機械翻訳でもRecurrent Neural Network(RNN)を活用した研究が成功を収めています． 今回はRNN(LSTM)を用いた翻訳モデルの一つであるSequence

この記事はDeep Learning Advent Calendar 7日目の記事です． 準備が大変なので前後半にわけてやりたいと思います．前半はモデルの考案と考えてる応用先について書きます． はじめに Deep Learningは画像認識や音声認識で多大な成果を挙げていますが，自然言語処理の分野でも大きな変化をもたらしたと思っています．現に，評判分析や機械翻訳などでDeep Learningを用いた手法は他を圧倒する成果を挙げています． そのため，機械学習で自然言語処理に取り組んでいる私にとっても，Deep Learningによる自然言語処理がとても熱いです． 今回は実験として，Deep Learningの一つであるRecurrent NNを使い，文書が肯定的(Positive)なのか，否定的(Negative)なのかを分類する感情分析をやってみたいと思います． 感情分析ではRecurs

はじめに MochiMochiというSCW、AROW、Adagrad_RDA、ADAMといったオンライン線形分類器を実装し、ライブラリとして使えるようにしたので公開します。 使い方はexampleを参考にしてください。 olanleed/MochiMochi · GitHub 実装したアルゴリズム それぞれのアルゴリズムの解説は検索すれば詳しい記事が出てくると思うので、ここではしません。 ADAM ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION http://arxiv.org/pdf/1412.6980v4.pdf Adagarad RDA Adaptive Subgradient Methods for Online Learning and Stochastic Optimization Adagarad = Adaptive Gradiant

この記事はMachine Learning Advent Calendar 2013 3日目の記事です. はじめに ニューラルネットワークの汎化性能を向上させるDropoutは, Deep Learningを実装する上で必須の技術だと思います. 本日はDropoutとその実装方法について説明させていただきます. Dropoutとは ニューラルネットは複雑なモデルであるため過学習に陥りやすいです. これを回避するためにはL2ノルムで値の増加を防いだり, L1ノルムでスパースにしたりするのが一般的です. しかし正則化でもニューラルネットのような複雑なモデルに適切に制約を加えるのは困難です. そこでDropoutの考え方です. Dropoutは各訓練データに対して中間素子をランダムに50%（または任意の確率で）無視しながら学習を進めます. 推定時は素子の出力を半分にします. なぜこれだけで汎化性