Cloud Dataflow 超入門 - Qiita
これはGCPUG Beginners Tokyo #3 のハンズオン資料です。 このスライドはQiitaにあります bit.ly/dataflow-ho Google Cloud Dataflowとは データ処理を簡単にやってくれる ワーカーのワークロードバランスを勝手にとってくれる GCEで動いてるので何でもできる Datalab (Jupyter) 上からdeployできる！ 簡単に言うとMapReduceのスーパーイケてる版 チュートリアル用リポジトリ git clone https://github.com/hayatoy/dataflow-tutorial.git 事前準備 Google Cloud Platform の課金設定 Dataflow APIの有効化 GCSのBucketを作る BigQueryにtestdatasetというデータセットを作る Project名を変更し
KerasモデルをCloud ML Engineで学習してOnline Predictionしてみた - Qiita
Cloud ML Engine のruntime versionが1.2になったので、Kerasが小細工なしで使えるようになりました。TensorFlowの高レベルAPIもいい感じになって来ていますが、やはりKerasのpretrained modelの多さは魅力的です。とりあえずやり方だけ把握しておこうと、せっかくなので学習だけでなくOnline PredictionもKerasモデルでserveしてみました。 Cloud ML Engineとは TensorFlowのフルマネージドな実行環境です。分散環境で学習、オートスケールしAPIで推論リクエスト可能なOnline Prediction等、TensorFlowの運用には最高の環境です。 KerasをCloud ML Engine(training)で使う 注意するのは、 Kerasのimportをtf.contribからする job
Google Cloud ML EngineをJupyterから簡単に使えるMagic - Qiita
Cloud ML Engineへ学習JobをJupyterから簡単に投げたいなぁと思い、そんなJupyter用 Magic Command Extensionを作りました。 Jupyterで書いたモデルを、Runすればクラウド上で実行することができます。 こんな感じ。 Cloud ML Engineとは 簡単に言えばTensorFlowの学習や予測JobをCloud上で実行できるマネージドな環境です。一般的にはDistributed TensorFlowで大規模に学習をさせるケースが多いかと思いますが、私のようにメインマシンがMacBookでGPUも使えない環境の場合は、GPUを気軽に使えるリモートの環境として重宝しています。 また、GCEとは違ってJobが終われば自動で立ち下がるため、インスタンス落とし忘れで課金が大変な事になる心配もありません。 準備 Google Cloud SDKの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
