2016年の深層学習を用いた画像認識モデル - Qiita
実装 検証が終わっていないモデルの使用は気をつけてください cifar10の数値感覚 現時点で97%以上ではSoTAになると思います。僕が知っている限り、最高精度は96.69%です。そろそろcifar100か別のデータセットを評価の軸にするべきかもしれません。 最近の傾向 今年はResnetファミリーの年だったと思います。特徴的な点として、深さ=精度が終わった点です。googlenetなどは昔から主張していましたが、ある程度深いと、深さよりも幅を広くしたほうが精度が上がるということが、様々な論文の結果で今年は示されました。3月くらいから、Resnetの幅を広くしたほうが良いという結果は副次的にぞろぞろ出ていて、5月23日に出たWide Residual Netowrksで決定的になったような形だと思います。幅が大事といったことが、今年はっきりした点であるように思います。 論文を俯瞰してみる
初心者がchainerで線画着色してみた。わりとできた。
ﾃﾞｰﾌﾟﾗｰﾆﾝｸﾞはコモディティ化していてハンダ付けの方が付加価値高いといわれるﾋﾟ-FNで主に工作担当のtai2anです。 NHKで全国放送されたAmazon Picking Challengeでガムテべったべたのハンドやロボコン感満載の滑り台とかを工作してました。 とはいえ、やっぱりちょっとディープラーニングしてみたいので1,2か月前からchainerを勉強し始めました。 せっかくなので線画の着色をしたいなーと思って色々試してみました。 線画の着色は教師あり学習なので線画と着色済みの画像のデータセットが(できれば大量に)必要です。 今回はOpenCVでカラーの画像から線画を適当に抽出しています。 抽出例 → カラーの画像を集めて線画を作ればデータセットの完成です。（今回は６０万枚くらい使っています） ネットワークの形ですが、U-netという最初の方でコンボリューションする時の層の出
Categorical Reparameterization with Gumbel-Softmax [arXiv:1611.01144]
Categorical Reparameterization with Gumbel-Softmax [arXiv:1611.01144] 概要 Categorical Reparameterization with Gumbel-Softmax を読んだ Auxiliary Deep Generative Modelsに組み込んで実験した はじめに Deep Learningなどでクラス分類を行う場合、カテゴリカル分布と呼ばれる分布を用いて属するクラスの確率を求めると思います。 たとえばMNISTであれば10個のクラスを用意し、10次元の出力ベクトルをsoftmax関数に通すことでカテゴリカル分布を作ります。 上の画像はクラス数が6個の場合の分布の例です。 この分布からサンプリングを行うとクラスを得ることができます。 Deep Learningではクラスを表す変数をスカラーではなくone
Improved Techniques for Training GANs [arXiv:1606.03498]
概要 Improved Techniques for Training GANsを読んだ Chainer 1.18で実装した アニメ顔画像を学習させた MNISTの半教師あり学習を実験した はじめに この論文はGANによる画像生成と半教師あり学習の2つに焦点を当て、新たな学習テクニックを提案したものです。 この記事ではそのテクニックの中からfeature matchingとminibatch discriminationを実装します。 さらに多クラス分類器をDiscriminatorとして使うテクニックを用いてMNISTの半教師あり学習を行ないます。 以下、訓練データを$x$、Generatorが生成したデータを$\bar{x}$とします。 またDiscriminatorを$D(x)$、ノイズ$z$から$\bar{x}$を生成するGeneratorを$G(z)$と表記します。 GANでは$
教師なし形態素解析で頻出語を可視化する
概要 NPYLMでワードクラウドを作る ワードクラウドとは Twitterで以下のような投稿を見たことがあるかもしれません。 これはワードクラウドと呼ばれるもので、クロクモなどのwebサービスで作ることができます。 ワードクラウドは頻出語をその頻度に応じたサイズで並べることで分かりやすく可視化することができますが、こういったwebサービスは基本的には可視化部分をamueller氏のword_cloudで行い、頻出語のカウントにはMeCabを用いた形態素解析により行っています。 教師なし形態素解析とは MeCabによる形態素解析は基本的に単語辞書を用いて行われます。 それに対し教師なし形態素解析は与えられた文字列の集合からMCMCと動的計画法によりNPYLMと呼ばれる言語モデルを学習し、得られたモデルをもとに文を単語に分割することができます。 特徴としてどのような文字列からも単語を推定するこ
気象庁 | 検証方法の説明
予報区についてはこちらを参考にしてください。 予報区の細分図 天気予報検証結果や週間天気予報検証結果では、以下の地方予 報区名称を簡略して表記しています。 九州北部地方（山口県を含む） → 九州北部地方 九州南部・奄美地方 → 九州南部地方 個々の予報について予報と実況の降水の有無を比較し、予報区毎に1か月分を集計して検証しています。 地方予報区および全国の値は、発表官署の所在している発表区域に対して発表された予報の検証結果を集計して掲載しています。 実況の降水の有無は、観測された降水量により、以下の様にして判定しています。 降水量の観測値降水あり
RNNで来月の航空会社の乗客数を予測する：TFLearnでLSTMからGRUまで実装しよう - DeepAge
Recurrent Neural Network 時系列データを扱うRNN Long Short-Term Memory Networks 来月の航空会社の乗客数を予測する TFLearnと必要なライブラリのインストール まずは乗客数のデータを可視化してみる LSTMネットワークを構築しよう TensorBoardで誤差を可視化する 時系列分析での予測精度の指標 RMSE(Root Mean Squared Error) RMSLE(Root Mean Squared Logarithmic Error) MAE(Mean Absolute Error) MAPE(Mean Absolute Percentage Error) 結果を可視化する Window幅を変えてみる GRU(Gated Recurrent Unit)を使う GRUの層を増やしてみる LSTM学習のコツ まとめ 参考
NIPS2016報告記【前編】 | リクルート
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら エンジニアの棚橋、そして、マッドサイエンティストの佐野です。 今年も残りわずかとなりましたが、みなさんごきげんいかがでしょうか。 2016年、リクルートコミュニケーションズ, アドテク部は量子コンピューティングに参入(ZDNet: Googleやリクルートが取り組む理由–量子アニーリング理論の可能性)するなど、マッドに始まりマッドに終わる１年となりました。 そんな１年を締めくくるべく、今回我々は機械学習のトップカンファレンスの一つであるNIPSに参加してきました。 昨年は氷点下の中、カナダのモントリオールで開催されたNIPSですが、今年は日本よりも比較的温暖なバルセロナで開催されました。 参加者数は過去最高の5680人、会場は人で溢れかえり
関係データ学習の実装 ツイッターデータのスペクトルクラスタリングとSBM - やったことの説明
概要 関係データ学習の学習のために，自分で実装して理解する． ツイッターのフォローフォロワー関係を使って，グラフラプラシアンを求めスペクトルクラスタリングを行った． その結果，なんとなくクラスタリングできた． また，確率的ブロックモデルによる非対称データクラスタリングをStanによって実装しようとした． これはうまくいっていない． はじめに 関係データ学習という本を買って読んでいる． www.kspub.co.jp 本の内容は前半と後半に分かれていて，前半は関係データをスペクトルクラスタリングしたり，確率的ブロックモデルでクラスタリングしたりする話．後半は行列分解やテンソル分解の話になっている． まだ前半の途中までしか読めていないが，予想していたよりも数式が簡単だったこともあり，実際のデータに適用してみたくなった． 数年前に書いたツイッターのフォローフォロワー関係をダウンロードするスクリプ
エンジニアな僕の情報収集法 - Qiita
はじめに エンジニアの情報収集の話です。 僕は、けっこうストレスな環境で情報収集をやっていて、クリスマス一人ぼっちを機に見直し、やり方を変えてみました。 ちょっと自分メモ的なところがありますが、qiitaにしてみました。 ※ ここでは参考先URL(link)がある情報だけです。それ以外は対象外としています。 ※ これがベストなやり方と主張してるわけではないです。人それぞれ自分にあったやり方でやれば良いと思います。僕の場合はこうなったよ、というのqiitaにしただけです。 やり方変更前とストレス やり方変更後と辞めたもの 解決したこと やり方変更前とストレス やり方変更前の全体像 やり方変更前の全体像です。 「Input情報」をまとめていた「Input先」(feedly,HBfav,TechFeed,Twitter,Facebook)が複数あり、分散して情報観覧してました(図の赤線)。 「O
ガウス過程の定義と存在を測度論の言葉を使って、出て来る言葉の定義を全て与えて、ごまかさないで、しっかりと、数学的に説明してみようと思ったけど、ただの機械学習のための測度論的確率論超絶速習コースになってしまいました。 - Obey Your MATHEMATICS.
こんにちは。 今回は、このブログを読んでいる機械学習界隈の人なら必ず一度は聞いたことがあるであろう ガウス過程(Gaussian Process) についてです。かの有名な悪名高いPRMLにも頻繁に登場しますし、機械学習の本や論文にはしょっちゅう出て来る存在だと思います。僕の大好きなベイズ最適化 mathetake.hatenablog.com においても非常に重要な数学的概念です。 ガウス過程の説明でよくあるあるのは、 「確率変数の集まりであって、有限個取った場合にその同時分布はガウシアンである」 と言うものですが、、、。 肝心なのは、皆さん、 ・確率変数って何か分かってますか？ ・確率分布ってなにか分かってますか？ ・そもそも確率って何か分かっていますか？ と言う話なのです。曖昧な土台の上で議論や話を進めるの、もうやめにしませんか？気持ち悪くありませんか？ そして重要なのは、ガウス過程
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://ide-research.net/papers/2016_ICDM_Ide.pdf
im2016