SageMakerの「パイプモード」を使ってTensorFlowの処理を高速化する:Amazon SageMaker Advent Calendar 2018 ｜ DevelopersIO
SageMakerの「パイプモード」を使ってTensorFlowの処理を高速化する:Amazon SageMaker Advent Calendar 2018 概要 こんにちは、データインテグレーション部のyoshimです。 この記事は「クラスメソッド Amazon SageMaker Advent Calendar」の4日目の記事となります。 目次 1.やること 2.「パイプモード」について 3.TensorFlowの自作コードで学習をする方法 4.まとめ 1.やること SageMakerの「パイプモード」という機能を調べたことがなかったので調べてみました。 また、チュートリアルが公開されていたので、このチュートリアルの内容をベースに紹介していきたいと思います。 2.「パイプモード」について まず、「パイプモード」とはなんぞや、というところから調べました。 こちらを見てみると、下記のよう
Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 | Amazon Web Services
Amazon Web Services ブログ Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社はごく一握りだからです。 では、そのような恵まれた環境ではないとしましょう。機械学習用の準備作業の中で、フォーマットの異なるデータセットを統合し、データの分析や可視化を行ううえでの支援が必要なら、ぜひこの記事をお読みください。 このブログ記事では、Amazon SageMaker で、大量の企業データを予備解析する方法について説明します。Amazon SageMaker では、Jupyter ノートブックが動作しており、企業のデータレイクの中
Amazon SageMaker でハイパーパラメータチューニングをしようとして詰まったこと | DevelopersIO
はじめに Amazon SageMakerは、機械学習のモデルの学習からホストまで行うことができる、フルマネージドサービスです。 当エントリでは、Amazon SageMakerの組み込みアルゴリズムのハイパーパラメータチューニングを行う際に詰まった内容とその解決策について紹介します。 詰まった内容 Amazon SageMakerで組み込みアルゴリズムの画像分類を使ったモデルのハイパーパラメータチューニングを実行した際に、エラーが出て学習が止まってしまいました。 エラーの内容は次の通りです。 ClientError: Additional hyperparameters are not allowed (u'sagemaker_estimator_module', u'sagemaker_estimator_class_name' were unexpected) (caused by
SageMakerで「うまい棒検出モデル」を作ってみた | DevelopersIO
うまい棒好き「この写真にはうまい棒が何個写っている？？」 AI「コンポタ味が3本、チーズ味が2本、めんたい味が1本写っています。」 このようなシーンを実現したい人がいるかどうかはわかりませんが、SageMakerの物体検出アルゴリズムを使って、このシーンを実現するための学習モデル（うまい棒検出モデル）を作ってみました。 少し長くなりますが「物体検出を手軽に始めたい方」は是非見ていってください。 目次 商品画像取得 画像増幅 アノテーション S3へのアップロード SageMakerで学習モデル構築/エンドポイント作成 推論 エンドポイント削除 開発環境 macOS High Sierra 10.13.6 Python 3.6.3 Pillow 5.2.0 awscli 1.15 商品画像取得 3種類のうまい棒を検出します。そのために今回は40枚の画像を用意しました。 うまい棒が1〜2本写って
Amazon SageMakerでネジ画像の分類をやってみた_データを増やしてみた | DevelopersIO
概要 こんにちは、yoshimです。 先日は「ネジ画像」の分類に挑戦したのですが、イマイチな結果でしたので、再挑戦してみようと思います。 先日の敗因は、「データサイズが小さかったこと」が一番の原因かと思ったので、今回はデータサイズを少し増やしてみました。 （まだ少ないかもしれないけど...） また、上記のデータだけではまだ不足していると思ったので、学習時のハイパーパラメータで指定できる「augmentation_type」も使ってみました。 (データ拡張のオプションです。) 「データ拡張」を使うことで良い結果を得られるといいなぁ...。 目次 1.最初に 2.データの準備 3.実際にやってみた(「Data Augmentation」なし) 4.実際にやってみた(「Data Augmentation」あり) 5.まとめ 6.引用 1.最初に 今回は先日ご紹介したチュートリアルに沿って、ネジ画
Amazon SageMaker Adds Batch Transform Feature and Pipe Input Mode for TensorFlow Containers | Amazon Web Services
AWS News Blog Amazon SageMaker Adds Batch Transform Feature and Pipe Input Mode for TensorFlow Containers At the New York Summit a few days ago we launched two new Amazon SageMaker features: a new batch inference feature called Batch Transform that allows customers to make predictions in non-real time scenarios across petabytes of data and Pipe Input Mode support for TensorFlow containers. SageMak
Amazon SageMakerがどのような仕組みで動いているのか | DevelopersIO
こんにちは、小澤です。 今回はAmazon SageMaker(以下SageMaker)の機械学習でどんなことができるのか？ではなく、そういった実運用するに際してありがたい仕組みがどのように提供されているのかついて書かせていただきます。 なお、機械学習に関する話は出てこないので、その点はご了承ください。 今まで何が課題だったのか さて、最初に機械学習を使ったシステムを実運用するに際してどんな課題があったのかを整理したいと思います。 機械学習を使ったシステムの開発フローは以下のようになります(画像は過去に書いたブログからの転載)。 この中で大きく分けて「学習時のフロー」と「予測時のフロー」で必要となるスキルが異なります。 「学習時のフロー」では機械学習そのものに対する専門知識が必要になります。 これには 機械学習の手法そのものに対する知識 有効な特徴抽出に関する知識 適切な評価に関する知識
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
404 | Developers.IO
Amazon SageMaker Now Supports Pipe Mode for Datasets in CSV Format