サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
パリ五輪
qiita.com/hayatoy
これは誰が得をするのかわからないエントリーですが、コーヒーブレイクにどうぞ。 発端その1:Pythonのコードスタイル PythonのコードスタイルといえばPEP8が有名です。スタイルチェックにこれを利用している方も多いのではないでしょうか?こちらでは、インデントに半角スペース4つ使う事がルールとなっています。 Use 4 spaces per indentation level. さて、ところがこの半角スペース4つって、ちょっと幅を取りすぎな感じがしないでしょうか?でも天下のPEP8で規定されているので、勝手に数を減らすとPython警察が出動しそうです。ここはこちらの意見をサポートする事例が必要です。 Chromium Python Style Guideは、Chromium OSにコントリビュートするときに使われるスタイルガイドです。こちらのインデントはどうでしょうか? Indent
ディープラーニングの画像識別は今日では広く認知されているものの、あまり事例が出てこないのはデータ数が膨大に必要である事と、それに伴って学習が長時間になるのが原因ではないかと思います。 そんな課題をクールに解決してくれるのが転移学習です。 転移学習はネットワークの全てをまっさらな状態から学習するのではなく、学習済みのネットワークの一部のみを学習し直す事で、データ数も時間も少なく精度の高い結果を得られる手法です。しかし学習と運用の面ではまだ面倒な事がたくさんあるため、ここではML Engineを使って簡単に転移学習を実現する方法を紹介します。 本記事はNotebookにまとまっています。 Kerasを使った転移学習 転移学習は前述の通り学習済みのネットワークが必要となります。TensorFlowでも一部の方が公開されていますが、デフォルトで且つ簡単に利用できるという点ではKerasが一番おすす
これはGCPUG Beginners Tokyo #3 のハンズオン資料です。 このスライドはQiitaにあります bit.ly/dataflow-ho Google Cloud Dataflowとは データ処理を簡単にやってくれる ワーカーのワークロードバランスを勝手にとってくれる GCEで動いてるので何でもできる Datalab (Jupyter) 上からdeployできる! 簡単に言うとMapReduceのスーパーイケてる版 チュートリアル用リポジトリ git clone https://github.com/hayatoy/dataflow-tutorial.git 事前準備 Google Cloud Platform の課金設定 Dataflow APIの有効化 GCSのBucketを作る BigQueryにtestdatasetというデータセットを作る Project名を変更し
Cloud ML Engine のruntime versionが1.2になったので、Kerasが小細工なしで使えるようになりました。TensorFlowの高レベルAPIもいい感じになって来ていますが、やはりKerasのpretrained modelの多さは魅力的です。とりあえずやり方だけ把握しておこうと、せっかくなので学習だけでなくOnline PredictionもKerasモデルでserveしてみました。 Cloud ML Engineとは TensorFlowのフルマネージドな実行環境です。分散環境で学習、オートスケールしAPIで推論リクエスト可能なOnline Prediction等、TensorFlowの運用には最高の環境です。 KerasをCloud ML Engine(training)で使う 注意するのは、 Kerasのimportをtf.contribからする job
GCPのML系機能を使いまくりたい・・という時にちょうど良い題材があったのでやってみました。GCPは機械学習を行う上で必要なデータ取得、preprocessing、学習と予測まで、フルマネージドな環境が揃っています。今回はその中で以下を使用しました。 ML Engine Dataflow BigQuery Natural Language API Datalab コードは全てDatalabで実行しました。開発環境を整える必要もなく、インタラクティブに結果を見られるのでGCPのML系を触るときは特におすすめです。 概要 色々発言が注目されるトランプ氏ですが、市場への影響はどれ位でしょうか?ツイートの後と通常(ランダムに時間帯を選択)でUSDJPYの価格変動がどう違うか比較します。 ランダムな日時 ツイート後 横軸は分、縦軸は変動(円)です。きちんと分散をみていませんが、ツイート後10分は荒れ
Cloud ML Engineへ学習JobをJupyterから簡単に投げたいなぁと思い、そんなJupyter用 Magic Command Extensionを作りました。 Jupyterで書いたモデルを、Runすればクラウド上で実行することができます。 こんな感じ。 Cloud ML Engineとは 簡単に言えばTensorFlowの学習や予測JobをCloud上で実行できるマネージドな環境です。一般的にはDistributed TensorFlowで大規模に学習をさせるケースが多いかと思いますが、私のようにメインマシンがMacBookでGPUも使えない環境の場合は、GPUを気軽に使えるリモートの環境として重宝しています。 また、GCEとは違ってJobが終われば自動で立ち下がるため、インスタンス落とし忘れで課金が大変な事になる心配もありません。 準備 Google Cloud SDKの
前回までRNN(LSTM)や他の識別器で為替の予測を行ってきましたが、今回はCNNで予測をしてみたいと思います。 第1回 TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる 第2回 ディープじゃない機械学習で為替(FX)の予測をしてみる データの準備 前回まで終値の差分を学習データとしていましたが、今回は終値そのものを学習データにしてみます。 また、今回はUSDJPYの1時間足、2008年1月1日〜2017年3月10日を利用し、前半95%を学習、後半5%をテスト(バリデーション)としました。 CNNは画像認識で高い精度を発揮していますが、画像以外でも応用することは可能です。例えば終値が以下のようなデータがあったとします。 これを画像に変換します。 このように1次元の画像と見なすことができます。 色が複数チャネルあるように見えますが実際はグレースケールです。カラーマッ
小規模なデータセットで学習をさせる時、大まかな傾向を見るためにモデルのパラメータを振りたい時があります。scikit-learnにはGrid SearchとCross Validationを同時に行うGridSearchCVという名前そのまんまな便利機能がありますが、 これをTensorFlowでも、 リモートで並列に、 そして面倒な分散処理コードを書かずに Jupyter Notebookから簡単に やりたいですよね。 はい、Google Cloud Dataflowならそれができるんです! 準備 ここは前回の記事とほぼ同じですが、モデルによってはマシンタイプを変えた方が良いでしょう。worker_options.machine_typeの部分で指定できます。 またnum_workersを指定するとautoscaleが無効にされるようです。今回は6を設定したので、workerが6つ一気に
機械学習というと深層学習(ディープラーニング)を連想されがちですが、それ以外にも沢山あります。また、ディープじゃ無いからダメかというとそうでもありません。 というわけで、前回の記事のデータを別の機械学習でやってみます。 関連シリーズ - 第1回 TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる - 第2回 ディープじゃない機械学習で為替(FX)の予測をしてみる - 第3回 TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる CNN編 TL;DR 資産の増減をグラフにしました。半年ほどで12%の利益になってますが、学習の条件に対して結果がロバストでは無いので今後もうまくいくとは限りません。 GitHubにNotebookを置いてあります。 Forkして遊んでみてください。 https://github.com/hayatoy/ml-forex
機械学習で何ができるの?深層学習(ディープラーニング)だと何が違うの? というのは他の方に任せるとして、やっぱりMNIST以外のデータで色々試してみたいですよね。 というわけで為替(FX)の予測でもやってみます 関連シリーズ - 第1回 TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる - 第2回 ディープじゃない機械学習で為替(FX)の予測をしてみる - 第3回 TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる CNN編 他の方の研究、記事など 調べてみると色んな方がやっています。この辺とか、Qiitaだと以下が有名なようです。 [TensorFlowで株価予想] 0 - Google のサンプルコードを動かしてみる TensorFlowを使った為替(FX)のトレードシステムを作るチュートリアル 学習に用いるデータを大きく分けると以下で
このページを最初にブックマークしてみませんか?
『hayatoy - Qiita』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く