Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
概要 この記事は、TensorFlowのチュートリアル"MNIST For ML Beginners"をJupyter Notebookで動かしてみるための記事です。 また、記事上部のバッジからJupyter Notebook版をダウンロードできます。ぜひNotebook形式でコードをいじりながら試してみてください。 qiita2notebook - Qiitaの記事をJupyter Notebook化してちょっといじって実行する - Qiita 記事内で使う記号 で始まる文章はコードをいじる際のヒントです。Jupyter Notebook上で試してみてください。 で始まる文章はコードをいじる際に気をつけるポイントです。 準備 Python 2.7 (3系では動作未確認) Jupyter Notebook TensorFlow 0.9以上 (MNISTデータセットの読み込みのため) Mat
iOS 10でニューラルネットワークAPIのBNNS (Basic neural network subroutines) がAccelerateフレームワークに追加されたり、TensorFlowのiOSサポートが追加されたり、Prismaがオフライン対応したりと、なんとなくあらかじめ学習させておいたモデルを使って計算するぐらいのことはiOSデバイス側でやらせてもいいんじゃないか、という空気感も出てきたような気がしてます。1 ・・・いや、そんな大層な理由ではなくて、機械学習/ディープラーニングについて無知な自分が、学習用に大量のデータを集めて、Pythonスクリプトを書いて自前モデルを作成するのは一段ハードルが高いように思えてしまいます。 というわけで、先日書いた『TensorFlowにiOSサポートが追加されたそうなので試してみた』の次のステップとして、GitHubとかに落ちている学習済
さて前々回、前回とDistributed Tensorflowの仕組みを学んできましたが、いよいよGoogle Cloud Platform(GCP)上で動かしてみます。無料枠の$300を突っ込んでvCPUインスタンスをたくさん作れば貧乏人にも高火力の鱗片が見れるのでは?という期待がモチベーションでした。 最初にネタばらししてしまうと、GCPの無料アカウントでは1regionにつきvCPU8個までに制限されていることがわかりましたので、それほどの高火力にはなりませんでした。今回はインターフェイスとマスタサーバに1個ずつvCPUを当てたので、vCPU6個での並列化となります。それでも、もちろんちゃんと速くなりました。 Dockerイメージの作成 GCPのContainer Engine で動かしたいので、まずDockerイメージを作ります。 先日ビルドしたTensorflowサーバのみを入れ
機械学習ライブラリ「TensorFlow」と、オープンソースのシステムトレードフレームワーク「Jiji」を組み合わせて、機械学習を使った為替(FX)のトレードシステムを作るチュートリアルです。 システムのセットアップからはじめて、機械学習モデルの作成、トレーニング、それを使って実際にトレードを行うところまで、具体例を交えて解説します。 システム構成 次のようなシステムを作ります。 Jijiのバックテスト機能を使ってトレードデータを収集。これをTensorFlowに入力してモデルをトレーニングします。 予測する内容については後述。 訓練したモデルを使って予測結果を返すREST APIを作り、トレード時にJijiから呼び出して使います。 レート情報の取得やトレードには、OANDA REST API を利用 トレード状況の確認やアルゴリズムの管理は、ブラウザ or スマホアプリで 外出先でも状況
機械学習ライブラリ「TensorFlow」と、オープンソースのシステムトレードフレームワーク「Jiji」を組み合わせて、機械学習を使った為替(FX)のトレードシステムを作るチュートリアルです。 システムのセットアップからはじめて、機械学習モデルの作成、トレーニング、それを使って実際にトレードを行うところまで、具体例を交えて解説します。 システム構成 次のようなシステムを作ります。 Jijiのバックテスト機能を使ってトレードデータを収集。これをTensorFlowに入力してモデルをトレーニングします。 予測する内容については後述。 訓練したモデルを使って予測結果を返すREST APIを作り、トレード時にJijiから呼び出して使います。 レート情報の取得やトレードには、OANDA REST API を利用 トレード状況の確認やアルゴリズムの管理は、ブラウザ or スマホアプリで 外出先でも状況
Deep learningのライブラリとして有名なTensorFlowには英仏翻訳のチュートリアルがありますが、AWSのGPUインスタンスを使って英日翻訳で試してみたので紹介します。 環境 TensorFlow 0.9 AWS g2.2xlarge instance Ubuntu Server 14.04 Python 3.5 TensorFlowをAWSのGPUインスタンスで動かす方法については、以下の記事の通りに行いました。 Setting up TensorFlow 0.9 with Python 3.5 on AWS GPU-instance 初期のTensorFlowはAWSとの相性が悪くパッチを当てる必要があると言われていましたが、バージョン0.9ではすんなりとインストールできました。 注意点として、GPUインスタンスの使用にはAWS側に申請して1日ほど待つ必要があったのと、そ
TL;DR Qiita記事タイトルの頻出パターン(例:「◯◯で△△を□□する」「◯◯で△△の□□を✗✗する」)を分析してみた 「What」に注目したタイトルと「How」に注目したタイトルに分かれることが判明した 背景 別件でQiitaに記事を投稿しようと思って記事を書いていたら、ふと「Qiitaの記事はどんなタイトルをつけるのが良いんだろう?」と気になってしまったので、記事タイトルの頻出パターンを分析してみることにしました。 実装 コード全文はGistに上げました。 Qiitaのタイトルから頻出パターンを導く 1. 記事タイトルを集めよう Qiita APIで新着記事を取れるだけ取ってきます。titleだけ取り出してファイルへ保存。 for i in $(seq 1 100); do; curl 'http://qiita.com/api/v2/items?per_page=100&pag
前置き(読み飛ばしていいです) 古巣(某ISP)が定期的にハッカソンを開催していて、ありがたいことに毎回お声掛け頂いています。 特にテーマは無い、もくもく会的なハッカソンです。 毎回美味しいお弁当が出ますが、今回は量は満足でしたが、質がいまいちでした やりたいなーと思っててやる時間がなかったことを毎回やってます。 今回はLSTMを使ってナンバーズの予測をやりました。 ナンバーズ 数字選択式宝くじ 平日は毎日抽選が行われる 数字を3つ選ぶナンバーズ3と、4つ選ぶナンバーズ4がある 数字と並びの両方を当てるストレート、並びは関係なく数字だけを当てるボックス、ストレートとボックスに半々にかけるイメージのセットがある。 当選金額は ストレート >> セットのストレート > ボックス > セットのボックス みたいなイメージ ナンバーズに関するオカルト「ひっぱり現象」 同じ数字が何回かにわたって連続し
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景 現在、TensorFlow、Chainer他多数のDeepLearning用ライブラリが公開されています。 本格的なアプリケーションで使うには実行スピード、クオリティ、拡張性、ドキュメント、コミュニティの充実等多くの面で、それらの中から選択して使用するのが鉄板な状況です。もちろん、私もメインではそれらを使わせてもらっています。これらのライブラリ、例えばtensorFlowではcomputatoin graphを構築、operationを追加してそれを実行というイメージで(行列、数式で取り扱うイメージ)、根底にある古典的なニューロン
はじめに 以前、「Pylearn2で三目並べのAIをつくってみる」という記事を書きました。 このときは問題を簡単にして三目並べにしましたが、今回はオセロのAIをニューラルネットワークで作成するという当初の目標にチャレンジします。 トライ&エラーが多い記事になるかもしれませんがご容赦ください。 今回はDeep Learning用ライブラリとしてChainerを使ってみます。 記事は2部構成です。 前編(この記事) 教師データの変換 MLPの設計 モデルのトレーニングと保存 後編 オセロゲームへの実装 プレイアブルかどうかの確認(ルールを逸脱せずにゲームできるか) ここでプレイアブルでないと分かったら、MLPモデルの作成に戻る 後編でAIの実装を行いますが、上手くいかなければ、ニューラルネットワークの構成から考え直すことになります... →動作確認と結論が出ました 教師データの準備 こちらから
with slim.arg_scope([slim.ops.conv2d, slim.ops.fc], stddev=0.01, weight_decay=0.0005): net = slim.ops.repeat_op(2, inputs, slim.ops.conv2d, 64, [3, 3], scope='conv1') net = slim.ops.max_pool(net, [2, 2], scope='pool1') net = slim.ops.repeat_op(2, net, slim.ops.conv2d, 128, [3, 3], scope='conv2') net = slim.ops.max_pool(net, [2, 2], scope='pool2') net = slim.ops.repeat_op(3, net, slim.ops.conv2d, 2
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 再帰型ニューラルネットワーク(RNN)は自然言語処理の分野で高い成果をあげ、現在最も注目されているアルゴリズムの一つです。しかしながら、その人気が先走りして実際にRNNがどのように動くのか、構築するのかを解説する書籍は限られているように思います。この投稿はその部分にフォーカスを当てて友人のDenny(WildMLブログの著者)と一緒に書きました。 さてRNNベースの言語モデルを解説したいと思います。言語モデルの用途は2つあります。1つ目は文章が実際にどのくらいの確率で現れるのかのスコアリングをすること。このスコアは文法的に、セマンティク
#はじめに 前回の 記事 ではtensorflow/tensorflowのイメージを元にdocker上でGPUモードのtensorflowを動かせる環境を構築しました. 先日,caffeのdocker環境を構築する機会がありまして,nvidia-dockerというものを使いました.nvidia-dockerを使うとdocker上から簡単にcudaにアクセスすることができます.今回はnvidia-dockerを使ってtensorflowを動かしてみようと思います. 追記 - 現在はtensorflow公式のイメージもnvidia-dockerを使うようになっています. #nvidia-dockerの導入 dockerを導入した環境において,以下で導入できます.
【 論文を読む 】Deep neural network に 外部知識DB を 参照する補正項 を 組み込むと、少量学習データ でも NLP意味計算精度 アップした件MachineLearningDeepLearningrdfNLP自然言語処理 【 関連記事 】 HirofumiYashima Qiita記事(2016/08/17)「【 概念・語彙 意味関係 知識ベース 参照型 word2vec( GloVe )】Joint representation 論文 の C++言語 公式実装コード を サンプルデータ で 動かして挙動確認してみた」 ニューラル言語モデル × オントロジー セマンティック知識DB参照モデル 融合のアプローチ が切り開く可能性 ( 文書コーパスから、各トークンの意味表現ベクトルを組成する neural network モデル のアルゴリズムに、外部 知識DBに記述さ
著者・監修の佐々木 拓郎さん、 高柳さん、および SB Creative さまより『Amazon Web Services クラウドネイティブ・アプリケーション開発技法 一番大切な知識と技術が身につく』をご献本いただきました。 昨今のモバイルアプリケーションには大抵の場合バックエンドも必要になりますが、たとえば僕はiOSアプリしかつくれません。そういう場合に、他のサーバーサイドエンジニアやインフラエンジニアと組む以外に、ちょっと前であれば Parse.com を利用してサクッと済ませてしまう、という選択肢もありましたが、来年にはサービス終了してしまうという悲しい事態になってしまった今、やはりモバイルアプリケーションのバックエンドのインフラとして真っ先に候補に挙がるのは AWSです。 ただそのAWS、LambdaとかMobile HubとかIoTとか色々ありすぎて、手を付け始める前からハード
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く