Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
KerasでGridSearchCVをしてみた 機械学習のモデル精度はパラメータに左右されます。 モデル構築時に活性化関数や最適化アルゴリズム、中間層のユニット数等々、多数のパラメータを設定しますが、その時設定したパラメータが最適なものかは、トレーニングして実用してみるまでわかりません。 しかし機械学習の魅力は自動的に最適なモデルが生成されることです。 であれば、パラメータも自動的に最適化されても良いじゃないか!と思うわけです。 Pythonの機械学習で有名なscikit-learnにはGridsearchcvというモデル選択とパラメータチューニングまで可能なライブラリがあります。 実はKerasはscikit-learnをラッパーしており、GridsearchcvをKerasのモデル構築時に使用することができます。 というわけで、早速KerasのGridsearchcvしてみましょう。
はじめに 注: [改良版]KerasでVAT(Virtual Adversarial Training)を使ってMNISTをやってみる の方がマシな実装だと思うので参考にしてください。 遅まきながら、VAT(Virtual Adversarial Training)という学習方法を知ったのですが、Kerasでの実装が見つからなかったので実装してみました。 VATは簡単にいうと、「通常の入力X→出力Y」と「なるべく結果が異なるように入力Xに微小なノイズdを入力に加えた入力(X+d)→出力Y'」から「KL-Divergence(Y, Y')」を損失関数に余分に加えて学習をする手法です。 これだけだと何言ってるかわからないと思うので、詳しくは元の論文か、この方の解説をご覧になると良いかと思います。 VATは学習における位置づけとしては「正則化」に近いという話で、DropoutやNoiseを加える
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? kerasで事前学習できるモデルの理解を深めるたい。 #大規模な画像認識のための非常に奥行きのあるコンビネーションネットワーク(VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION) ##抜粋 本研究では、大規模な画像認識設定における畳み込みネットワークの深さがその精度に及ぼす影響を調べる。 私たちの主な貢献は、非常に小さい(3×3)畳み込みフィルタを備えたアーキテクチャを使用して、深度のネットワークを徹底的に評価することであり、深さを16-19ウェイトのレ
ECSでのリソースの割り当ては以下 c4.xlargeを使う場合の設定 c4.4xlargeを使う場合の設定 gunicornがkerasを積んだニューラルネットワークの計算を行うもの、nginx_gunicornはnginx (微妙なリソースの割り当て割合の差とか出ていますが...) 負荷をかけてみる Tsungを使って、予測するURLに負荷をかけてみました。 Tsungを積んだDockerで負荷テストを行う テスト内容は、180秒で2秒間に1回ユーザーが新規にアクセスをするといった感じ c4.xlarge * 4 c4.4xlarge * 1 結論を言うと、今回はスケールアップした方が負荷に対して強かった。 少しグラフの見方があっているかわからないので、正しい確証ないのですがcloudwatchなどと照らし合わせて考えると、c4.xlargeで待ちうける場合、ある時点からレスポンスの時
はじめに KerasでネットワークのWeightを固定させて、別のLayerのみ学習したいということはしばしばあります。その時に何を気をつけたら良いかを調べたメモです。 Versions Python 3.5.2 Keras 2.0.2 検証 下記のようなModelを考えます。 ここのNormalContainer の部分のWeightを「更新したい」ときと、「更新したくない」ときがあるとします。 直感的には Container#trainable というPropertyにFalseを設定すれば良さそうですが、それでちゃんと意図通り動くのかやってみます。 コード # coding: utf8 import numpy as np from keras.engine.topology import Input, Container from keras.engine.training imp
動画 Generalization and Equilibrium in Generative Adversarial Nets (GANs) torch7のpix2pix torch7がオリジナル http://qiita.com/masataka46/items/3d5a2b34d3d7fd29a6e3 DCGAN DCGANアーキテクチャ https://www.slideshare.net/xavigiro/deep-learning-for-computer-vision-generative-models-and-adversarial-training-upc-2016 https://blog.openai.com/generative-models/ 敵対生成で画像を生成する。ノイズを入力し、ジェネレーターで偽の画像を生成。ディスクリミネータで本物の画像を判定する。 ジェ
ベイズ最適化のKeras DNNモデルへの適用 ディープラーニングに限らず、機械学習モデルを作るときに大変なのがパラメータの調整です。 機械学習モデルの精度はパラメータに左右されますが、パラメータは数も範囲も広く、最適解を見つけることが難しいのが現状です。 例えば隠れ層3のニューラルネットワークモデルを考えるとき、各層のアウトプットとなるニューロン数やドロップアウト率、バッチサイズやエポック数等々、決めなければならない要素が多く、範囲も広いです。 各パラメータの決め方は色々ありますが、可能な数値の例は大体以下になります。 ニューロン数:1以上の整数 ドロップアウト率:0以上1より小さい小数 バッチサイズ:入力データ以下の整数 エポック数:1以上の整数 ニューラルネットワークによって適当な数値はあったりしますが、データとニューラルネットワークモデル次第で適不適があるため、正直パラメータ調整は
大まかにいうと cntkや他のフレームワークをラッピングしていこうという考えがあるようです。 keras2は長期サポートされると言っています。 apiの名前が変わったり、削除されたりしています。 cntk https://github.com/fchollet/keras/issues/5299 # kerasブログの訳です。Tue 14 March 2017 https://blog.keras.io/introducing-keras-2.html Kerasは2年前、2015年3月にリリースされました。その後、1人のユーザーから10万人に成長しました。 何百人もの人々がKerasコードベースに貢献しています。 多くの人々がコミュニティに貢献してきました。 Kerasは新しいスタートアップを可能にし、研究者をより生産的にし、大企業のエンジニアのワークフローを簡素化し、以前の機械学習経験
Raspberry Pi 上でリアルタイム画像認識」をやってみたいと思います。やる前の気持ちは「ほんとに動くんだろうか…」です。 Raspberry Pi って? そもそも「ラズパイ」って何?っていうと、こちらですね。 約5,000円くらいで買える超小型のコンピュータです。ARMプロセッサーという処理系がのっかったいわゆるシングルボードコンピュータというものになります。なんと64bitのクアッドコアCPUです。最初にリリースされたのが2012年で、昨年発売されたRaspberry Pi 3 Model B で3世代目になります。下の表( http://www.lifehacker.jp/2016/03/160312raspberry_pi.html より)にあるように、CPU性能もかなり向上していますが、2世代目と比較して最も大きい違いはWi-FiとBluetoothが搭載された点でしょう
お知らせ これまでこの記事でチュートリアルの内容を公開していましたが、規模が大きくなり更新が二度手間になるので、詳しい内容はGithubのノートを参照していただくようにしました。そのほうが最新の内容をフォローできると思うので、良いのではないかと考えました。なお、Githubのほうでの更新については、継続してこちらのページでお知らせするつもりです。 リポジトリはこちら チュートリアルの内容のみご覧になりたい方はこちらから なお、チュートリアルの内容でエラー等が出た場合は、記事へのコメントかGithubのissueページでご報告いただけるとうれしいです。 CIFAR-10 チュートリアル: この記事の内容 CIFAR-10 チュートリアル[付録]: ちょっとしたTips CIFAR-10 チュートリアル[転移学習]: CIFAR-10を用いた転移学習について。 いつか記事にするかも。 dltパ
漫画家の北道正幸氏が2月22日の“猫の日”を記念して,フォント「きたみ字222」を制作・公開している. http://kitamichi.sub.jp/Sites/iblog/C513573485/E937677024/ (紹介記事:http://www.forest.impress.co.jp/docs/review/20160303_746474.html ) まず初めに,ライセンスを確認しておく. ◆ご使用について 「きたみ字222」はフリーウェアです。 商用以外であれば制限なくご自由に使っていただいてかまいません。ただし「フォントファイル本体」の販売・再配布・加工はご遠慮ください。 「きたみ字222」の著作権は北道正幸にあります。 フォント使用によって生じたマシンその他のトラブルには一切の責任を負いません。 (今回,フォントイメージを切り出して機械学習のデータとしましたが,「フォン
はじめに 一年前にTensorflowを使ってももクロ顔識別webアプリを開発しましたが、今回はWWDC2017で発表された iOS11の CoreML + Vision Framework を使ってももクロメンバーの顔画像をリアルタイムで識別するiOSアプリを作ってみました。 なお、本記事はiOSDC2017での発表の元となった記事です。 発表資料はこちら CoreML / Vision Frameworkとは? CoreMLはiOS11で導入された機械学習フレームワークです。Kerasなどメジャーな機械学習ライブラリを使ってデスクトップやクラウド上で訓練し、その学習結果をCoreML用に変換しiOSアプリに組み込むことで、デバイス単体で予測や識別処理をさせることができます。 Vision Frameworkは顔検出や矩形検出など高度な画像認識処理を行うAPIを提供してくれるフレームワー
■MeCabについて MeCab は、オープンソースの形態素解析エンジンです。 MeCab 以外でもフリーで入手可能なものには、ChaSen、Juman、KAKASI などがある。有償のものだと Basis Technology の Rosette 形態素解析システムなどもある。 MeCab - Wikipedia によると、 MeCabはオープンソースの形態素解析エンジンで、奈良先端科学技術大学院大学出身、現GoogleソフトウェアエンジニアでGoogle 日本語入力開発者の一人である工藤拓氏によって開発されている。名称は開発者の好物「和布蕪(めかぶ)」から取られた。 開発開始当初はChaSenを基にし、ChaSenTNGという名前で開発されていたが、現在はChaSenとは独立にスクラッチから開発されている。ChaSenに比べて解析精度は同程度で、解析速度は平均3-4倍速い。 品詞情報を
前回 マルチGPUを導入した話とseparable_conv2dの話など : TensorFlow将棋ソフト開発日誌 #11 目次 TensorFlow将棋ソフト開発日誌 目次 ソースはgithubにあります(俺が読めればいいというレベル) なうりぶーてぃんぐ 目次 最近何をしていたか TFRecordを使用する理由 非同期読み込みにこだわる理由 TFRecord関係の参考ページ TFRecordを使用する際の注意点(ここだけ読めば良い) 出力 : データをTFRecordに変換する 入力 : TFRecordをTFRecordReaderでtf.Tensorにする 参考 : 自前のファイル形式と自前の非同期読み込みのコード 最近何をしていたか 年初あたりにコンピュータ将棋にPFNが参入というニュースが出て非常に非常にモチベーションが下がりました。勝てるわけねえじゃん。 TensorFlo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く