なぜかあまりやっている人を見ない、ディープラーニングを使用した株価の予想をしてみます。 ディープラーニング、Pythonともに初心者です。ライブラリ、実装方法、理論等は殆ど分かっておりません。ツッコミ等お待ちしています。 目標 数日分の株価データを使用して、翌日の日経平均株価が「上がる」か「下がる」か「変わらず」かを予想します。(分類) 概要 「上がった」か「下がった」か「変わらず」だったかの判断には翌日の終値をベースに判断。 入力データは数日前から前日までの「始値」「高値」「安値」「終値」を使用。 隠れ層は4つ。 入力として上記過去数日分の株価をぶっこんでトレーニングするだけです。 環境 TensorFlow 0.7 Ubuntu 14.04 Python 2.7 AWS EC2 micro instance 内容 準備 可能な限りの日経平均のデータを用意します。今回はYahooファイナ
続・TensorFlowでのDeep Learningによるアイドルの顔識別 - すぎゃーんメモ の続き、というかなんというか。 前回までは「ももいろクローバーZのメンバー5人の顔を識別する」というお題でやっていたけど、対象をより広範囲に拡大してみる。 様々なアイドル、応援アプリによる自撮り投稿 あまり知られていないかもしれないけど、世の中にはものすごい数のアイドルが存在しており、毎日どこかで誰かがステージに立ち 歌って踊って頑張っている。まだまだ知名度は低くても、年間何百という頻度でライブを中心に活動している、所謂「ライブアイドル」。俗に「地下アイドル」と言ったりする。 ライブアイドル - Wikipedia そういったアイドルさんたち 活動方針も様々だけど、大抵の子たちはブログやTwitterを中心としてWebメディアも活用して積極的に情報や近況を発信していたりする。 そんな中、近年登
前回の続き。 ディープラーニングのフレームワークであるTensorFlowを使用して株価を予想するぞ~、というお話です。ちなみに前回は完全に失敗でした。 前回のコメントで、tawagoさんから「Googleが同じようなことしている」という情報をいただいたので、そちらをコピ・・・インスパイアしてみました。 ##前回との相違点 前回は、「数日分の日経平均を使用して、次の日の日経平均が上がるか、下がるか、変わらないか(3択)を予想する」ものでした。 Googleのデモでは、「数日分の世界中の株価指数(ダウ、日経平均、FTSE100、DAXなど)を使用して、次の日のS&Pが上がるか下がるか(2択)を予想する」という内容でした。 ということで、下記が前回からの主な変更点となります。 「上がるか」「下がるか」の2択 日経平均だけでなく、他国の株価指数も使用 隠れ層x2、ユニット数は50,25 予想する
自分は一応暫くMySQLの開発者だったので、MySQLでできることできないことはすぐわかる訳です。現実的な問題と対峙すること1年間、MySQLは使えることにしか使わないわけで、そうすると構築してしまうと、アラートメールが全く来ないので、水や空気のように存在を忘れてしまいます。でも、使えないことには全く使う気がしないわけで…。というわけでMySQLは結局逆にあまり触れていません。限られた範囲では完成を見ているというわけでしょうか。 データを処理して何か貯めて利用できるものをデータベースとするならば、MySQLを適用する気も起きないような領域があって、近年はそのような領域に挑む別の道具が出てきています。 今回は趣向を変えて、いろいろ現状MySQLでは扱えない問題の解決法を模索したことについて少し触れます。MySQLを離れた話題ですが、いつか遠い未来にMySQLの世界に持って帰る事柄かも知れませ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? これ書くだけで土日2日間まるまる潰れてしまった。 学んだ内容に沿っているので、順に読み進めるに従ってコードの話になっていきます。 Tensorflow触ってみたい/みたけど、いろいろまだ理解できてない!という方向けに書きました。 ※2018年10月4日追記 大分古い記事なのでリンク切れや公式ドキュメントが大分変更されている可能性が高いです。 この記事のTensorflowは ver0.4~0.7くらいだった気がするので ver2.0~となりそうな現在は文章の大半が何を参考にしているのか分からないかもしれません。 1: Deep Lear
TensorFlowを使って、実際にコードを動かしながら、DeepLearningの仕組みを段階的に学んでいきましょう。 目次 ・No.1 TensorFlow Tutorialの数学的背景 − MNIST For ML Beginners(その1) 平面上の2種類のデータをロジスティック回帰で直線的に分類するという、機械学習の基礎を説明します。 ・No.2 TensorFlow Tutorialの数学的背景 − MNIST For ML Beginners(その2) 線形多項分類器とソフトマックス関数で、3種類以上のデータを分類する方法を説明します。 ・No.3 TensorFlow Tutorialの数学的背景 − TensorFlow Mechanics 101(その1) No.1で説明した問題に対して、もっとも単純なニューラルネットワークを適用して、複雑な境界を持つ分類を実現します
はじめに ちょっとデータ分析や機械学習をやってみたい、んだけど環境準備が少し面倒だとか、 ハンズオンとかやるんだけど環境セットアップの説明だけで結構時間を使ってしまう、ということがなきにしもあらずかと思います。 Jupyter Notebookは機能的にも素晴らしい環境ですし、Webブラウザがあれば使うことができます。そういう環境はDockerに入れておくと便利で、各自のLocalで起動して使うか、クラウドサーバで起動しておけば、Webブラウザがあれば誰でも使えるのでお手軽です。 既に公開されているDocker Containerもあるのですが、いくつか欲しいものが足りないので追加したものを作ったので共有します。 Jupyter Notebook Docker Container Dockerファイルはここにあります。 https://github.com/mokemokechicken/
昨日に引き続き,機械学習のお話. TensorFlowのチュートリアルで紹介されていた画像をクラス分けするConvolutional Neural Networksの例題(CIFAR-10)のデータセットだけを差し替えて実験してみた. 今回の実験の目的は 写真を収集するためのツールの開発 TensorFlowで書いたプログラムに自前で用意した写真を与える練習 少しのデータでどれくらいの分類精度が出せるのか試す といった感じ. 分類対象は,電通生なら誰でも知っている有名な中華料理店食神の590円定食メニュー.1番〜8番まであるけれど,今回は訓練データ数の都合上半分の1, 3, 4, 5番をターゲットとした*1. まず,写真を集めるツールについて. ウェブブラウザで画像の収集と欲しい部分を切り抜くためのツールが欲しかったので作ってみた. しかし少し解決できない問題があって,ブラウザで触るアプリ
昨日の記事 の冒頭で紹介した,機械学習用の画像データを収集する作業を手助けするツール『tfPhotoPalette』をChromeウェブストアで公開しました.TensorBoardに傚ってオレンジ系統の配色にしてみました. Chromebookでも使えます!! 画像の表示 画面上部の長いボックスに画像のURLを入力して,その隣の「Load」ボタンを押すと画像が表示されます.一番左に大きく表示された画像がオリジナルなものです.画像の中に用意されている半透明な領域の大きさや位置を変更して,任意の箇所を切り抜くことができます.切り抜かれた領域は,オリジナル画像のすぐ右隣に表示されます. 画像の切り抜きと縮小 機械学習で学習/評価用に与える画像のサイズは,かなり縮小しておく必要があります.TensorFlowのチュートリアルで紹介されていた画像分類の話や,昨日の例では入力画像は32 x 32 px
※TensorFlowとは2015年11月9日にオープンソース化されたGoogleの機械学習ライブラリです。 本ブログでは、実際のTensorFlowの使い方を連載方式でご紹介しています。 皆様こんにちは。 テクノロジー&ソフトウェア開発本部の佐藤貴海です。 本日から「TensorFlowを遊び倒す!」と銘打って、Googleが2015年11月9日に公開した“機械知能(?)ライブラリ”のTensorFlowを入門編&応用編にわけて、使い方をご紹介していこうと思います。 www.youtube.com http://www.tensorflow.org/ TensorFlowを何と呼ぶかは微妙なところです。機械学習ライブラリと言っているところもありますが、Getting Startedで「Hello, TensorFlow!」とやっているので、もう少し大きい概念のライブラリのようです。 とり
何の話かというと TensorFlow Tutorialの最初に登場する「MNIST For ML Beginners」では、次の方針で手書き文字の分類器を作成しています。(今の段階では、下記が何を言ってるのか分からなくても大丈夫です。) ・28x28ピクセルの手書き文字画像を各ピクセルの濃度を並べた784次元ベクトルと見なす。 ・784次元ベクトル空間を10箇所に分類する線形の多項分類器を用意する。 ・多項分類器の出力値をsoftmax関数に入れて、784次元空間の各点について、「0」〜「9」のそれぞれの文字である確率を定義する。 ・上記の定義の下で、トレーニングセットが得られる確率を最大にするよう、線形多項分類器のパラメーターを調整する。 これが一体何を言ってるのか・・・ということを数学的に理解していただくことが目標です。今回は、下準備として、より単純化したデータで上記と同じ処理を実装
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Hadoop Conference Japan 2016 もともとは2月8日に開催されるHadoop Conference Japan 2016のセッションとしてこの話を応募したのですが、あえなく落選しました……(;_;) しかし、ありがたいことに復活戦のLightning Talkの投票では5位に選んでいただき、ランチタイムA会場でお話することになりました。ありがとうございます! 今回のスライドはここで公開しています。 とはいえ、5分のLTではこの内容をしっかりと伝えられる自信がないので、以下でスライド内容の詳しい解説をしたいと思いま
今回は、人工知能関連のテーマです。 Google の機械学習フレームワーク TensorFlow に触れてみようと思います。 プロローグ 人工知能の分野が盛り上がりを見せるなか、世界の名だたる研究機関やIT企業から様々な機械学習ツールがオープンソースで提供されるようになりました。これを使えば、自分にも機械学習を扱えるはず! と思いたち、Facebook の Torch 7 という機械学習フレームワークにチャレンジしたことがあります。が、チュートリアルまでやってみたところで、何が動いたのかまったく理解できず・・・あえなく挫折しました。 まだまだ素人には難しいか・・・とか思ってしょんぼりしていたのですが、それからしばらくして、世の中には日本語の情報も増えてきた様子。今度こそ自分でもできるかも! と期待に胸が震えたわけです。 今回 TensorFlow にチャレンジしようと思ったきっかけを与えて
TensorFlowによるディープラーニングで、アイドルの顔を識別する - すぎゃーんメモ の続き。 前回は最も簡単に画像分類を試すために TensorFlow に同梱されているtensorflow.models.image.cifar10パッケージのモデルや学習機構を利用して約75%の識別正答率の分類器を作ったが、それよりも良い結果を出したいし色々ためしてみたい、ということで今回は色々と自前で実装したり改良を加えてみた。 結論だけ先に書くと、約90%の正答率のものを作ることができた。分類数も変えてしまっているので一概には前回のものと比較できないけど。 入力画像の変更 まずは入力の画像について。 前回はCIFAR-10のデータセットに合わせて、検出して切り出した顔画像を32x32サイズに縮小したものを利用していた。 32x32 → inside 96x96 of 112x112 流石に32
「いつか勉強しよう」と人工知能/機械学習/ディープラーニング(Deep Learning)といったトピックの記事の見つけてはアーカイブしてきたものの、結局2015年は何一つやらずに終わってしまったので、とにかく一歩でも足を踏み出すべく、 本質的な理解等はさておき、とにかく試してみる ということをやってみました。 試したのは、TensorFlow、Chainer、Caffe といった機械学習およびディープラーニングの代表的なライブラリ/フレームワーク3種と、2015年に話題になったディープラーニングを利用したアプリケーション2種(DeepDream、chainer-gogh)。 (DeepDreamで試した結果画像) タイトルに半日と書きましたが、たとえばTensorFlowは環境構築だけなら10分もあれば終わるでしょうし、Chainerなんてコマンド一発なので5秒くらいです。Caffeは僕
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く