機械学習システムの運用課題とコンテナオーケストレーションがもたらすもの - yubessy.hatenablog.com
最近仕事では機械学習を使ったアプリケーションをKubernetes上で運用することが多くなっています。 MLOpsのような言葉も次第に浸透してきたりと、システムとしての機械学習をどう運用していくかが活発に議論されるようになってきました。 運用に頭を悩まされてきた身としては心強い限りです。 この記事ではKubernetes(以下k8s)のようなコンテナオーケストレーション技術が、機械学習システム(以下MLシステム)の実行基盤としてなぜ適しているのかについて考えてみました。 注意点として、私はMLアルゴリズムの専門家ではなく、またLinuxやコンテナ技術の専門家でもありません。 あくまで仕事としてMLシステムを運用するためにk8sを利用している立場からの考察です。 TL; DR: MLシステムの運用には次のような課題が存在する 目的によって求められるワークロードの形態が異なる 一時的・断続的に
UbuntuでのGPUディープラーニング環境の構築【Ubuntu 16.04 LTS対応】
ご注意：本記事は、＠IT／Deep Insider編集部（デジタルアドバンテージ社）が「deepinsider.jp」というサイトから、内容を改変することなく、そのまま「＠IT」へと転載したものです。このため用字用語の統一ルールなどは＠ITのそれとは一致しません。あらかじめご了承ください。 0. ディープラーニングのOS環境の選択指針 TensorFlowやChainerなどのライブラリを使ったディープラーニング（Deep Learning）を始めようとしたら、まずはGPU付きのPCを手に入れてから環境構築を始めるだろう。もちろんクラウド環境を利用する方法も使えるが、ディープラーニングの試行錯誤に時間がかかって課金が膨らんでしまう不安もあるので、まずは手元のPCを使いたいという方が多いのではないだろうか。 手元のPCを使うとして、ディープラーニング環境用のOSとしては、ライブラリの対応にも
Kerasのノウハウ覚え書き (Keras 1.x.x版) - Qiita
注意：この記事はKeras 1.x.x向けです Keras 2.x.x向けはこちら。 とりあえずマニュアル 見落としがちですが、メニューの下の方にも結構色々重要(?)なものがあります。 コールバック EarlyStopping、各エポックでのモデル保存、学習率の調整、、etc Applications 事前学習済みのモデル 可視化 モデルを画像化してくれるやつ などなど。 読むと楽しいソース Examples だいぶ色々入ってます。VAEとかHRNNとかBidirectional LSTMとか。 事前学習済みのモデル(の実装) 昔はExamplesに入っていた気がするVGGとかResNetとか。 細かいノウハウ(?)やコピペ用コード片など モデルのsave/load モデルのsave/loadは、ググると重みとモデル(json or yaml)を別々に保存したりしている例がよく出てきますが
TensorflowのFaster RCNN実装を試す - Qiita
デモが動かない 画像の物体検出をして、赤枠で囲って表示するというデモが準備されています ここにデモを動かす手順があります しかし、この通りにやっても、訓練済みモデルファイルとソースのネットワーク構成がずれているようなエラーが出ます なんらかのバージョン問題なんだと思いますが、よくわからないのであきらめました そもそもこのFaster RCNN実装が想定しているTensorflowのバージョンがいくつなのか不明だし・・・ 自分でモデルをトレーニングする 仕方がないので自力でモデルをトレーニングして、それでデモを動かすことにしました。 画像データのダウンロード README通りに入手＆解凍＆配置 # wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar # wget http://host
Keras チュートリアル - Qiita
# encoding: utf-8 from keras.datasets import mnist from keras.models import Sequential from keras.layers.core import Dense, Activation from keras.utils import np_utils # kerasのMNISTデータの取得 (X_train, y_train), (X_test, y_test) = mnist.load_data() # 配列の整形と，色の範囲を0-255 -> 0-1に変換 X_train = X_train.reshape(60000, 784) / 255 X_test = X_test.reshape(10000, 784) / 255 # 正解ラベルをダミー変数に変換 y_train = np_utils.to_
機械学習で遊ぼう! APIサービスやTensorFlowを使ったサンプルレシピ集|Tech Book Zone Manatee
「機械学習に興味あるけど、なかなか自分でアプリを作るところまでできない…･･･」 本連載では、そんな方を対象に、気軽に機械学習を使ったアプリを作れるようなサンプルを紹介していきます。 興味があるけどなかなか着手できていなかった方、一度チャレンジしてみたけれど難しくて挫折してしまった方、またはすでに取り組んでいて、もっといろんなアプリを作ってみたい方は、ぜひ本連載で紹介するアプリを一緒に作ってみてください。 本連載では、前半ではAPIサービスを、後半ではライブラリを使って、機械学習を使ったアプリのサンプルを紹介していきます。APIサービスとしてはGoogleのGoogle Cloud Platformで提供されているAPIサービスを使い、ライブラリとしては、オープンソースとして提供されているTensorFlowを使います。 阿佐志保 TIS株式会社 戦略技術センター所属。金融系シンクタンクで
新しい Deep Learning Base AMIでkerasとtensorflowを設定する - Qiita
新しい Deep Learning Base AMI 使ってみた。簡単だった。 https://aws.amazon.com/jp/blogs/news/new-aws-deep-learning-amis-for-machine-learning-practitioners/ 新しい Deep Learning Base AMI Base AMI にはディープラーニング用の基盤となる構成要素がプリインストールされています。これには Amazon Elastic Compute Cloud (EC2) インスタンスで Machine Learning を加速化しスケールするため、NVIDIA CUDA ライブラリ、GPU ドライバ、システムライブラリが含まれています。Base AMI は白紙の状態でカスタマイズしたディープラーニングセットアップをデプロイできるようなものとお考えください。
TensorFlowのチュートリアルをAWSのGPUインスタンスで動かす - もふもふ技術部
TensorFlowでseq2seqを試してみたりしているのですが、やはりローカルPCのCPUでディープラーニングはつらすぎるということがよくわかったのですが、とりあえずさくっとAWSのGPUインスタンスで対応できないかと思ったので、やってみます。 けっこう色んな人が取り組んでいて情報はそこそこあるのですが、結果的に普通のUbuntuでやってうまくいきました。 EC2インスタンスを立ち上げる セットアップ Cuda ToolkitとcuDNNのセットアップ TensorFlowのチュートリアル「Deep MNIST for Experts」を実行する 実は失敗していた 追記 EC2インスタンスを立ち上げる スポットインスタンスの方が相当安いのですが、セットアップの手間がそこそこあるので、普通のインスタンスにして、学習させてないときは寝かせておく運用にしようと思います。 AWSのEC2の「L
機械学習を始めたい方に見て欲しいTensorflow入門資料まとめ
機械学習は日々進化を遂げ、全てのエンジニアにとって無視できない存在となってきました。 現在では、検索エンジン、マーケティング、データマイニング、SNS等さまざまな分野で活用されています。 そんな中、2015年11月10日にGoogleが機械学習ライブラリ・TensorFlowをオープンソース化し、大きな注目を集めました。 そこで今回は、機械学習に興味があるけれど何から手を付けたらいいのかわからないエンジニア向けに、TensorFlowの入門資料（記事・スライド）をまとめました。 機械学習案件を提案してもらう 特にプログラマーでもデータサイエンティストでもないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説 / Qiita http://qiita.com/tawago/items/c977c79b76c5979874e8 TensorflowがMNIST（手書き数字データ）の
特にプログラマーでもデータサイエンティストでも�ないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? これ書くだけで土日２日間まるまる潰れてしまった。 学んだ内容に沿っているので、順に読み進めるに従ってコードの話になっていきます。 Tensorflow触ってみたい/みたけど、いろいろまだ理解できてない！という方向けに書きました。 ※2018年10月4日追記 大分古い記事なのでリンク切れや公式ドキュメントが大分変更されている可能性が高いです。 この記事のTensorflowは ver0.4~0.7くらいだった気がするので ver2.0~となりそうな現在は文章の大半が何を参考にしているのか分からないかもしれません。 #1: Deep Lea
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
