ソフトマックス関数 | 高校数学の美しい物語
ソフトマックス関数とは yi=exiex1+ex2+⋯+exn (i=1,…,n)y_i=\dfrac{e^{x_i}}{e^{x_1}+e^{x_2}+\cdots +e^{x_n}}\:(i=1,\dots,n)yi=ex1+ex2+⋯+exnexi(i=1,…,n) という関数のこと。 各成分が正で，合計が 111 になるように調整するという役割を持つ。 ソフトマックス関数の定義式： yi=exiex1+ex2+⋯+exn (i=1,…,n)y_i=\dfrac{e^{x_i}}{e^{x_1}+e^{x_2}+\cdots +e^{x_n}}\:(i=1,\dots,n)yi=ex1+ex2+⋯+exnexi(i=1,…,n) について，説明します。 nnn 個の実数 (x1,⋯ ,xn)(x_1,\cdots,x_n)(x1,⋯,xn) を入力とし，
softmax(ソフトマックス)関数 - neuralnetな日記
softmaxの数学的な意味合いは こちらの記事 に書きました。 TensorFlowのMNIST(チュートリアル)でよく出てくるsoftmax関数について調べたのでメモ。 softmax関数は、シグモイド関数の多変量版。正規化指数関数ともいう。 シグモイド関数と同様、アクティベーション関数の一種だが、多変量版なので、例えば、多クラスのフィードフォアワード型のニューラルネットの活性化関数として利用される。 参考: ソフトマックス関数 - 機械学習の「朱鷺の杜Wiki」 シグモイド関数は、教師あり学習で一般的に利用されるアルゴリズムであるバックプロゲーションを伴うニューラルネットワークでアクティベーション関数としてよく利用される。アクティベーション関数としてシグモイドが利用されるのは、比較的単純な非線形関数であり、微分も容易であるという数学的な理由による。 参考：活性化関数 - Wikipe
落ちこぼれないためのTensorFlow Tutorialコード - Qiita
前記事にて，Deep Learning Framework "TensorFlow" のドキュメントが難しい，という点に触れた．本記事では，TensorFlowの2層ネットワークを使って MNIST（手書き数字の分類問題）を解くことをやってみたい． 動機 - for Beginners と for Experts の間を埋めたい TensorFlowのTutorialに目を通すと，最初に ”MNIST for Beginners” があってその次が "Deep MNIST for Experts" となっており，かなり技術レベルのジャンプがあるように見える． For Beginners ... Softmax Regression （ソフトマックス関数による多クラス，ロジスティック回帰） （ネットワークモデルの基本，MLP (Multi Layer Perceptron Neural Ne
誤差逆伝播法のノート - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに ※）「目標関数」をより一般的な名称である「損失関数（Loss Function）」表記に改めました．(2015Oct19) 誤差逆伝播法（以下，Backprop）は多層パーセプトロンを使う人にとってお馴染みのアルゴリズムですよね． いや，これだけ有名なアルゴリズムなのでちょっとネットで探してみれば沢山解説を見つけることが出来るのですが，Backpropを予測誤差の最小化に適用する場合の説明しかみつからないんです．（とはいえ，PRMLをちゃんと読めば全部載ってるんですが）. Backpropでできることは何なのか？ ということが
勾配降下法の最適化アルゴリズムを概観する | POSTD
(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット
勾配降下法の�最適化アルゴリズム
モメンタム、Nesterov accelerated gradientとAdagrad, Adadelta, Adamについて解説しました。Read less
確率的勾配降下法とは何か、をPythonで動かして解説する - Qiita
勾配降下法は何に使う？ 勾配降下法は統計学や機械学習で多く使われています。特に機械学習というのは基本的に何かしらの関数を最小化（最大化）する問題を数値解析的に解くことに帰結する場合が多いです。（e.g. 最小二乗法 → 誤差の二乗和を最小化（参考）、ニューラルネットワークのパラメータ決定 etc...） なので、基本的にはひたすら微分して0となるところを探す問題ですね、微分して0。で、その微分して0となる値は何か、をプログラムで解く場合に重要になるのがこの勾配降下法です。幾つか勾配法にも種類がありますがここでは最急降下法、確率的勾配降下法の２つを扱います。まずはイメージをつかむために１次元のグラフで確認していきたいと思います。 1次元の場合 1次元の場合は、確率的という概念はなく、ただの勾配降下法になります。 （どういうことか、はのちほど） 1次元の例は、正規分布をマイナスにしたものを使っ
単語の数学的表現メモ - Negative/Positive Thinking
はじめに 単語をベクトルや確率分布などの数学的表現で扱いたい場合があったりする。 しかし、「どのようなベクトル・確率分布にすべきか？」などはタスクに依存したりして、自明じゃない。 たくさんあって、派生や新しいものもどんどんでていると思うので、どんなものがあるか調べたかぎりメモ。 One hot表現 各次元が「その単語か否か」を表すベクトルで表現 次元の大きさ＝ボキャブラリ数 例: スカイツリー = (「船」か否か, 「スカイツリー」か否か, ... ) = (0,1,0,...) 素性のどれか1つしか1にならなくてスパースネスの問題がでる 未知語はゼロベクトルになってしまう 文字nグラムによる表現 単語の表層から得られる情報を利用 単語に出現している文字nグラムを利用 カタカナ語とか有効そう 例: スカイツリー = (「スカ」の出現回数, 「カイ」の出現回数, 「イツ」の出現回数, 「アア
WEB屋の自分が機械学習株価予想プログラムを開発した結果
2020/02/01 追記 [コード付き]誰も知らない関連銘柄を、機械学習を使って素早く見つける こちらに最新の結果を載せました！ 気づいたんですけど、私みたいな貧乏人はショッピングモールでおしゃれなゴミをせっせと買い漁るんですが、お金持ちの人って株を買うらしいんですよね。 考えてみれば貧乏人が欲しがるものって、百均のちょっとしたものから家や車やバイクやゲーム機など、買ったらお金が減るものばかりなんです。 それに比べて、お金持ちが買うものって、株や投資用の土地や、リスクこそあるものの貧乏人が欲しがらないわりに買ったらお金が増える可能性のあるものばかりなんですよねー。 これは悔しい！休日になるたびにせっせとショッピングモールにお金を運んでゴミを買い漁ってる自分を見てお金持ちはきっと笑っているに違いない！いやお金持ちには自分のような人間は視界にすら入らないのか、これはさっそく株を買わないと！と
機械学習に必要な高校数学やり直しアドベントカレンダーのカレンダー | Advent Calendar 2016 - Qiita
今年、機械学習の本を少なくとも一度は手にした人は多いのではないでしょうか。 数ページめくっていると、数式のオンパレードで、「うっ」てなって、静かに本を閉じてから数ヶ月。 すでに本棚の肥やしになっていたりしませんか？ それは私です。これはイカンと思って 機械学習の本を理解するための高校数学のおさらいをしようよ！で、作りました。 誰が書くの？ すでに、おさらいが終わった人、 これを機会におさらいを始めてみようと思った人、 おさらいする必要もなく理解している人、 一緒にこのアドベントカレンダーを作りませんか？ 何を書いたらいいの？ 得意な分野の説明をわかりやすく説明、三角関数とか行列とか統計とか・・・ 自分の勉強法の紹介 オススメの書籍やオススメ記事やオススメ勉強法の紹介 などなど 来年はもっと理解出来た状態で、機械学習と向き合う年にしましょう！
[TensorFlowで株価予想] 0 - Google のサンプルコードを動かしてみる - Qiita
TensorFlowで株価予想シリーズ 0 - Google のサンプルコードを動かしてみる 1 - 終値が始値よりも高くなるかで判定してみる 2 - 日経平均225銘柄の株価予想正解率ランキング〜 3 - 日本3506銘柄の株価予想ランキング 4 - 実際に売買したら儲かるのかシミュレーションしてみる 5 - 大きく上がると予想されたときだけ買ってみるシミュレーション 6 - 学習データの項目を増やす！隠れ層のサイズも増やす！ 7 - 株価が何%上昇すると予測したら買えばいいのか？ 8 - どの銘柄を買うか 9 - 年利6.79% 前置き 猫も杓子もディープラーニングディープラーニング。なにそれ美味いの？ って感じだけど、 2015年末に Google が書いた 「Machine Learning with Financial Time Series Data on Google Clo
![[TensorFlowで株価予想] 0 - Google のサンプルコードを動かしてみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e66fb33cd90d527a45952821fb461ba298d2aa3d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCVGVuc29yRmxvdyVFMyU4MSVBNyVFNiVBMCVBQSVFNCVCRSVBMSVFNCVCQSU4OCVFNiU4MyVCMyU1RCUyMDAlMjAtJTIwR29vZ2xlJTIwJUUzJTgxJUFFJUUzJTgyJUI1JUUzJTgzJUIzJUUzJTgzJTk3JUUzJTgzJUFCJUUzJTgyJUIzJUUzJTgzJUJDJUUzJTgzJTg5JUUzJTgyJTkyJUU1JThCJTk1JUUzJTgxJThCJUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1jYjJjYWFkYmNhMjIyNzYzZmQzNzA3NTc1NDcxY2U1ZQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBha2lyYWFrJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yNzkwYWU3NDM5YThkOGY5NzEyNDdjNDQzMzBiMGYyMg%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Db53941c42ab3353f83bb5364b7b1d737)
研究分野と周辺
静岡理工科大学総合情報学部知能インタラクション（金久保）研究室に関係する研究分野を紹介するページ群への導入ページです。
TensorFlowのチュートリアルを通して、人工知能の原理について学習する - Qiita
以下のことについて知りたい人向けの記事。 ①機械学習の利点と欠点、TensorFlowの利点と欠点 ②ニューラルネットワークの原理についての簡潔な説明 (オンライン書籍：http://nnadl-ja.github.io/nnadl_site_ja/index.html をまとめたもの) ③TensorFlowのチュートリアルに沿ってプログラム作成、その実行結果 以下、参考にしたサイト 1次関数の近似： https://www.tensorflow.org/versions/master/get_started/index.html http://qiita.com/MATS_ELB/items/fec7f54de2dd18b043ae n次関数の近似： http://msyksphinz.hatenablog.com/entry/2015/11/19/085852 手書き数字画像認識：
TensorFlowによるDCGANでアイドルの顔画像生成 その後の実験など - すぎゃーんメモ
memo.sugyan.com の続編。 あれから色々な変更しつつ実験してみたりしたのでその記録。 結論を先に書くと、これくらい改善した。 DCGAN ざっくりおさらい Generator: 乱数の入力から画像を生成する Discriminator: 入力した画像がGeneratorが生成したものか学習データのものかを判別する という2種類のネットワークを用意し、お互いを騙す・見破るように学習を行うことで Generatorが学習データそっくりの画像を生成できるようになる、というもの 学習用画像の増加 前回の記事では90人の顔画像データから生成していたけど、あれから収集を続けて もう少し多く集まったので、今回は260人から集めた顔画像100点ずつ、計26,000件を学習に使用した。 Feature matching openai.com の記事で紹介されている "Improved Tech
TensorFlowで遊んでみよう！
TensorFlow 勉強会 (4) の発表資料です。 途中の動画を見るには↓の元ファイルを御覧ください。 https://docs.google.com/presentation/d/1CWHjeiDJovG4ymuaoGCFLiBcSHNuNccMQQYkoFtpHxc/pub?start=false&loop=false&delayms=3000
機械学習をやりたいけれど、どこから手をつけていいか分からない人のために - Qiita
要約 機械学習をやりたいけれど、どこから手をつけていいか分からない。 → まずは機械学習の全体像を調べて、自分が解きたい問題にあった分野の見当をつけよう！ 投稿の目的 機械学習について、自分の学習記録を投稿いたします。 学習記録とは書いていますが、ただの備忘録ではなく、以下の目的から誰かに読んでいただくことを想定しています。 自分の解釈についてフィードバックを得たい。 自分の考えをわかりやすく人に伝える力を付けたい。 せっかくだし、自分と同じ内容を勉強している人には役立ててもらいたい。 はじめに これは機械学習以外にも言えることですが、専門技術というのは理論と実践が１セットになっています。 この両輪を回して初めて専門技術を習得することができます。 そして、理論と実践を修めるには大きく２つのアプローチ方法があります。 先に理論を修め、それを実問題に適用する人（理論（1）→実践先（N）） 先に
中学生にも分かるTensorFlow入門 その１ テンソルとはなにか - Qiita
目的 このシリーズは中学三年生程度の数学の知識があれば、Python言語の機械学習記述用ライブラリを利用して記述された、基本的な教師あり学習のニューラルネットワークである誤差伝搬型3層ニューラルネットワークのプログラム、つまり、TensorFlowのサイト（TensorFlow.org)上にあるTutorialのMNIST For ML Beginnersの内容をを理解できるということを目的としています テンソルとは何か 早速本題に入り、まずはテンソルということについて考えて行きます ベクトルとスカラー テンソルについて説明する前に、まず、スカラーとベクトルについて説明します スカラーとは大きさです。例えば距離、例えば重さ、そういうものを数学用語でスカラーといいます ベクトルとは大きさと向きがあるものです。座標というものベクトルで考えることができます。それは原点をどこかにとれば、座標への向
TensorFlowを使った為替(FX)のトレードシステムを作るチュートリアル ～システムのセットアップからトレードまで～ - Qiita
機械学習ライブラリ「TensorFlow」と、オープンソースのシステムトレードフレームワーク「Jiji」を組み合わせて、機械学習を使った為替(FX)のトレードシステムを作るチュートリアルです。 システムのセットアップからはじめて、機械学習モデルの作成、トレーニング、それを使って実際にトレードを行うところまで、具体例を交えて解説します。 システム構成 次のようなシステムを作ります。 Jijiのバックテスト機能を使ってトレードデータを収集。これをTensorFlowに入力してモデルをトレーニングします。 予測する内容については後述。 訓練したモデルを使って予測結果を返すREST APIを作り、トレード時にJijiから呼び出して使います。 レート情報の取得やトレードには、OANDA REST API を利用 トレード状況の確認やアルゴリズムの管理は、ブラウザ or スマホアプリで 外出先でも状況
「TensorFlow はじめました」をはじめました！ - blog.tmp.tokyo
機械学習という言葉が最近話題になってきています。少し前に IBM 社の Watson が癌患者を救ったというニュースがありました。 www3.nhk.or.jp はい。最近はこの IBM の Watson が頑張っています。膨大な情報を読み込み，その中から最適の解を探してくるのです。人間には到底不可能な量の情報を扱うためまさに「人工知能」と言うに相応しいソリューションと言えます。 www.ibm.com うちの会社でも一部の部隊が Watson を使って何か怪しげなことをやっていますが，Watson はいかんせん「タダじゃない」のです。まあ人間の代わりに学習してより知能を高めていくのですから作った方もタダで使わせてくれるわけはありません。 ところが，世の中にはこの機械学習をタダで試してみることができるものも存在するのです。 我らが Google ! そうです。世界トップクラスの IT 企業
講義まとめ：自然言語処理のための深層学習（CS224d） - Qiita
CS224d(自然言語処理のための深層学習)はスタンフォード大のRichard Socherが2015年から教えている講義で、動画やスライドなどの講義資料と演習問題がウェブ上で無料で公開されています。 CS224d: Deep Learning for Natural Language Processing 会社の勉強会で週1回半年程度かけて講義動画と演習を終えたため、勉強したことを簡単にまとめてみたいと思います。 なぜ今なのか？ 深層学習（Deep Learning）は2000年代後半のRBMやauto-encoderなどの教師なし学習から流行が始まりましたが、それらを教師あり学習の事前学習に使うアプローチは徐々に衰退し、2010年代前半には画像認識のための畳み込みネットワークがImageNetコンテストのおかげで爆発的に有名になりました。詳しくありませんが音声認識の分野でも既存の複雑な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
