DeepLearningだ！と意気込んだものの手書き数字認識の後に続かなくなった時に読むデータそのものの話 - Qiita
DeepLearningだ！人工知能だ！機械学習だ！ エンジニアとしての意気込みと、 なんだかすごいことが出来そうだな！という上司の後押しを一身に受け、 深層学習本やQiita記事を流し読み、 TensorFlowやChainerを導入して、 チュートリアルの写経で徳を積んで、 ゲームに使っていたGPUも学習という大義名分のもとフル稼働させた、、、 Accuracy 99.23% 今回は、MNISTやIRISを99%超で識別するエンジンを実装して満足してしまったエンジニアが MNISTを脱却するためにMNISTを知るための話 おなじみ、「MNIST」がつまりどんなデータなのか？ 28行28列の画像→正しいが今はそこではない。 データセットとしては、70000行784列、 70000はサンプル数、784は28*28をベクトルに直した時の次元数。 行に解析したいデータ総数、列に解析したいデータ
TensorFlowチュートリアル - ML初心者のためのMNIST（翻訳） - Qiita
TensorFlowのチュートリアル（MNIST For ML Beginners） https://www.tensorflow.org/versions/master/tutorials/mnist/beginners の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 このチュートリアルは、機械学習と TensorFlow に不慣れな読者を対象とします。MNIST が何であるか、ソフトマックス（多項ロジスティック）回帰が何であるかを知っている場合は、よりテンポの速いチュートリアルを好むかもしれません。チュートリアルを開始する前にTensorFlow をインストールしてください。 プログラミングを学ぶとき、最初に「Hello World.」をプリントするという伝統があります。 プログラミングには Hello World があるように、機械学習には MNIST があります。 M
機械学習を使った株価予想（回帰編） - Qiita
以前（1,2,3）からの続き物。 分類ばかりでは面白くないので、回帰問題を試したい。 というわけで、今回は機械学習のフレームワークTensorFlowやscikit-learnを使用して株価を直接予想するという遊び。前は翌日の株価が「上がる or 下がる」の2択の分類でしたが、今回は「何円か」を直接予想します。 なお、入力に使うデータは使い回しです。毎回スミマセン。 ##趣旨 TensorFlowやscikit-learnを使用して、株価の予想をしてみる。 精度や使用感を確認する。 ##やること 「数日分の世界中の株価指数（ダウ、日経平均、DAXなど）を使用して、次の日の日経平均株価を予想する」（回帰） ##環境 ###scikit-learn scikit-learn 0.17.1 Python 2.7 Windows 7 ###TensorFlow TensorFlow 0.7 Ubu
知識ゼロからTensorFlowを使った機械学習で人工知能を作るー入門編１ - Qiita
TensorFlow TensorFlowはGoogleがオープンソースとして公開した機械学習のライブラリ。 www.tensorflow.org ここしばらく機械学習の本読んで、TensorFlow触りまくって出した結論はこれ。 TensorFlowは機械学習の初心者がスグにカンタンに使えるモノではない TensorFlowを使えば機械学習の概念をそのまま直感的にコードに落としこむことができる。ただ、そのためには機械学習の理論を予め知っておくことが必要。「ニューラル・ネットワーク」とか「構造パターンマイニング」とかの用語が分からないといちいちそこで手を止めて、調べる必要が出てくる。 ただ数学好きであれば、全てが数式で表現される世界が妙に楽しい。アルゴリズムや使い方さえ分かれば、かなりのレベルで面白いモノが実装できることは確かだ。 TensorFlowのインストール（MacOS編） まーこ
TensorFlowチュートリアル - 畳み込みニューラルネットワーク（翻訳） - Qiita
TensorFlow のチュートリアル（Convolutional Neural Networks） http://www.tensorflow.org/tutorials/deep_cnn/index.html#convolutional-neural-networks の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 注：このチュートリアルは TensorFlow の上級ユーザーを対象としており、機械学習の専門知識と経験を前提としています。 ##概説 CIFAR-10 分類は、機械学習における一般的なベンチマーク問題です。問題は、RGB 32×32 ピクセルの画像を10カテゴリーに分類するものです：飛行機、自動車、鳥、猫、鹿、犬、カエル、馬、船、およびトラック 詳細については CIFAR-10ページ と Alex Krizhevsky による技術レポートを参照してください。
TensorFlow AdamOptimizerが収束しないエラー？ ReluGrad input is not finite. : Tensor had NaN values - Qiita
I tensorflow/core/common_runtime/local_device.cc:25] Local device intra op parallelism threads: 12 I tensorflow/core/common_runtime/gpu/gpu_init.cc:88] Found device 0 with properties: name: GeForce GTX TITAN X major: 5 minor: 2 memoryClockRate (GHz) 1.076 pciBusID 0000:05:00.0 Total memory: 11.99GiB Free memory: 11.69GiB I tensorflow/core/common_runtime/gpu/gpu_init.cc:112] DMA: 0 I tensorflow/cor
Tensorflowを２ヶ月触ったので"手書きひらがな"の識別95.04%で畳み込みニューラルネットワークをわかりやすく解説 - Qiita
どうも、データセットの用意でバイナリーとの戦いを5時間繰り広げたあげく、記事に１日かかりました。丁寧に記事書くって大変ですね。うふふっ☆ 前回: 特にプログラマーでもデータサイエンティストでもないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説 に続き、MNISTのエキスパート編を解説しようと思ったのですが、せっかくなので数字ではなくひらがなデータセット計71文字を識別していくなかで**"畳み込みニューラルネットワーク"の解説をしたいと思います。 英語ではConvolutional Neural Networkなので以下CNN**と呼びます コードはほぼTensorflowのチュートリアルエキスパート編のものですので、そちらを見てからだとよりわかりやすいかと。 #1: データセット 産総研(AIST)の公開しているETL手書き文字データベースからいただきました。(旧:電総研の
TensorFlowを理解するための基礎情報共有（１） - Qiita
１ヶ月ほど前にGoogleから公開されたTensorFlowですが、TensorFlow.orgのチュートリアルをひととおり試してみたものの、その本質的理解がなかなか進まずに自分独自の利用に歩みが進まないケースが散見されます。私も現在学習中なのですが、自分が前に進むうえで理解の整理に役に立ったことを共有します。「そんなことは知っている」という方もいらっしゃるとは思いますがご容赦ください。 TensorFlowの最初の利用方法紹介である「GET STARTED」では「y = 0.1 x + 0.3」という数式を使って生成したxとyを学習データとして、y = W x + b という数式のWとbを最適化していく事例が掲載されています（下記URL）。 https://www.tensorflow.org/versions/master/get_started/index.html この事例はx,
TensorFlowで機械学習と戯れる: LSTMでユーザの行動を予測するモデルを作る実験 - Qiita
はじめに LSTM(Long Short Term Memory) は時系列データの学習によく用いられているものです。 わかるLSTM ～ 最近の動向と共にの記事がとても詳細に説明されています。 上記でも解説されていますが、LSTMは例えば「今までの単語列を入力として、もっともらしい次の単語を予測する」というような「文章の生成」に使うことができます。 このLSTMを使って、例えば、Webサービスにアクセスする 「ユーザの行動」を「単語」 とみなせば 「ユーザの一連の行動」は「文章」 とみなせるわけで、 **「こういう行動を取ってきた人は、次にこういう行動を行う」**という予測モデルが作れないかと考えました。 この予測モデルが作れれば、あとは文章生成のような形で 行動生成 ができます。つまり、ある種の ユーザ行動のシミュレーション ができることになります。 ユーザがある程度アクセスすれば、
ディープラーニング（TensorFlow）を使用した株価予想 - Qiita
なぜかあまりやっている人を見ない、ディープラーニングを使用した株価の予想をしてみます。 ディープラーニング、Pythonともに初心者です。ライブラリ、実装方法、理論等は殆ど分かっておりません。ツッコミ等お待ちしています。 ##目標 数日分の株価データを使用して、翌日の日経平均株価が「上がる」か「下がる」か「変わらず」かを予想します。（分類） ##概要 「上がった」か「下がった」か「変わらず」だったかの判断には翌日の終値をベースに判断。 入力データは数日前から前日までの「始値」「高値」「安値」「終値」を使用。 隠れ層は4つ。 入力として上記過去数日分の株価をぶっこんでトレーニングするだけです。 ##環境 TensorFlow 0.7 Ubuntu 14.04 Python 2.7 AWS EC2 micro instance ##内容 ###準備 可能な限りの日経平均のデータを用意します。今
AWSのGPUインスタンスでTensorFlowを動かす - Qiita
以下の環境で試したので、インストール時の作業記録を残しておきます。 Mac OS X CPUのみ Amazon web service(AWS) GPUあり なお、TensoFlowはWindowsで動作しません。TensorFlowが採用しているGoogle製のビルドツールBazelが、LinuxとMacのみの対応です。手元にMacかLinuxマシンが無ければ、AWSでUbuntu環境を用意するのが簡単だと思います。 Mac OS X CPUのみで動作するパッケージをインストールしました。最もお手軽です。 スペック MacBook Pro (Retina, 15-inch, Mid 2014) CPU: 2.2 GHz Intel Core i7 メモリ: 16 GB 1600 MHz DDR3 公式ドキュメント通りpipでパッケージを導入。
特にプログラマーでもデータサイエンティストでも�ないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? これ書くだけで土日２日間まるまる潰れてしまった。 学んだ内容に沿っているので、順に読み進めるに従ってコードの話になっていきます。 Tensorflow触ってみたい/みたけど、いろいろまだ理解できてない！という方向けに書きました。 ※2018年10月4日追記 大分古い記事なのでリンク切れや公式ドキュメントが大分変更されている可能性が高いです。 この記事のTensorflowは ver0.4~0.7くらいだった気がするので ver2.0~となりそうな現在は文章の大半が何を参考にしているのか分からないかもしれません。 1: Deep Lear
Distributed TensorFlowを試してみる - Qiita
Distributed TensorFlow が公開されました。中の人の説明がわかりやすいですが、TensorFlowの分散環境における並列演算を支援する仕組みです。 Dockerイメージを山ほど作って使うのが想定なのでしょうけれども、低火力コンピューティングの底辺にいる私としては、とりあえず自宅のデスクトップPCのUbuntu14.04(64bit)上でサーバを走らせて、MacBookから叩くところまでやってみます。 自宅の環境はデスクトップPCのほうがCPUがしょぼい上にGPU非搭載なので実用上まったく価値が無いのですが、まあ練習ということで。 サーバのビルド(Ubuntu14.04) 現時点(2016/2/28)ではソースからビルドする必要があります。TensorFlow公式にならって環境構築からビルドまでやってみます。 まずbazelのインストール。 $ sudo add-apt-
TensorFlow MNIST For ML Beginners 翻訳 - Qiita
TensorFlowが出てきてから一月も立ってしまいすでに出遅れ感がありますが、初心者用チュートリアルである「MNIST For ML Beginners」を試すためにまずは翻訳をしてみました。 ただし翻訳が間違っている可能性大であるため参考にされる場合はご注意を。 間違いがありましたら指摘いただけると嬉しいです。 翻訳元：MNIST For ML Beginners MNIST For ML Beginners（機械学習初心者のためのMNIST） このチュートリアルは機械学習とTensorFlowの両方に不慣れな読み手を対象としたものである。 もしあなたがすでにMNISTとは何か、softmax (多項ロジスティック)回帰とは何かを知っているならば、もっと先のチュートリアルをしたほうがいいだろう。 どのようにプログラムするか学んだ時、あなたが最初にするのは"Hello World."とp
DockerでJupyter Notebook環境をお手軽に準備する(TensorflowやGraphvizもあるよ） - Qiita
はじめに ちょっとデータ分析や機械学習をやってみたい、んだけど環境準備が少し面倒だとか、 ハンズオンとかやるんだけど環境セットアップの説明だけで結構時間を使ってしまう、ということがなきにしもあらずかと思います。 Jupyter Notebookは機能的にも素晴らしい環境ですし、Webブラウザがあれば使うことができます。そういう環境はDockerに入れておくと便利で、各自のLocalで起動して使うか、クラウドサーバで起動しておけば、Webブラウザがあれば誰でも使えるのでお手軽です。 既に公開されているDocker Containerもあるのですが、いくつか欲しいものが足りないので追加したものを作ったので共有します。 Jupyter Notebook Docker Container Dockerファイルはここにあります。 https://github.com/mokemokechicken/
Distributed TensorFlowの話 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Hadoop Conference Japan 2016 もともとは2月8日に開催されるHadoop Conference Japan 2016のセッションとしてこの話を応募したのですが、あえなく落選しました……（;_;) しかし、ありがたいことに復活戦のLightning Talkの投票では5位に選んでいただき、ランチタイムA会場でお話することになりました。ありがとうございます！ 今回のスライドはここで公開しています。 とはいえ、5分のLTではこの内容をしっかりと伝えられる自信がないので、以下でスライド内容の詳しい解説をしたいと思いま
Distributed TensorFlowの話 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Hadoop Conference Japan 2016 もともとは2月8日に開催されるHadoop Conference Japan 2016のセッションとしてこの話を応募したのですが、あえなく落選しました……（;_;) しかし、ありがたいことに復活戦のLightning Talkの投票では5位に選んでいただき、ランチタイムA会場でお話することになりました。ありがとうございます！ 今回のスライドはここで公開しています。 とはいえ、5分のLTではこの内容をしっかりと伝えられる自信がないので、以下でスライド内容の詳しい解説をしたいと思いま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【TensorFlowのTutorialをざっくり日本語訳していく】2. Deep MNIST For Experts - Qiita
TensorFlowのAPIメモ（Python） - Qiita
[TF]TensorflowのAPIについて - Qiita![[TF]TensorflowのAPIについて - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/756893516986b4a6275917d3e17b040167bbd078/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTAwNTIzJTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA4MTIwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTlmNjVlN2Y3NTE0MGQwZWNmYjAwNzhkMmM3ZDJmMTZj%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D1c718de2b30c00590130a4e7c1781925%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCVEYlNURUZW5zb3JmbG93JUUzJTgxJUFFQVBJJUUzJTgxJUFCJUUzJTgxJUE0JUUzJTgxJTg0JUUzJTgxJUE2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9ZmMxNmFiOWVlYzRlZTc5NGMzZTg2MDI4ZjIzNzQwOGY%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzdXBlcnNhaWFrdWppbiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTllZGIzOTQ1YThjNDUxMjIwMWZhYTU3YjM2MTYwODI5%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Df230d43e5fe5e802ea58b3f3f9f1a841)
