データサイエンティストに優しいフレームワーク「Metaflow」、Netflixがオープンソース化
Netflixは2019年12月3日（現地時間）、データサイエンスプロジェクトを迅速かつ容易に構築、管理するためのフレームワーク「Metaflow」をオープンソースソフトウェアとして公開した。 MetaflowはNetflixが開発したPythonライブラリ。コンテンツ配信やビデオエンコーディングの最適化など、社内の何百ものユースケースに2年間、Metaflowを用いてデータサイエンスを適用してきたという。 なぜMetaflowを開発したのか Metaflowの開発が始まる前、Netflixの機械学習インフラチームはデータサイエンティストに対して社内では何が困難なのかをインタビューした。大規模なデータの扱いやモデル作り、最新GPUに関した回答が集まると当初は考えていたものの、予想は外れた。 最も困難だったのは、「バージョン1」のローンチに到達するまであまりにも時間がかかることだったという。
Amazon SageMaker（機械学習モデルを大規模に構築、トレーニング、デプロイ）| AWS
Amazon SageMaker フルマネージドインフラストラクチャ、ツール、ワークフローを使用して、あらゆるユースケース向けの機械学習 (ML) モデルを構築、トレーニング、デプロイします。 Amazon SageMaker は、あらゆるユースケースで高性能で低コストの機械学習 (ML) を実現する幅広いツールを統合した完全マネージド型サービスです。SageMaker では、ノートブック、デバッガー、プロファイラー、パイプライン、MLOps などのツールを使用して、ML モデルを大規模に構築、トレーニング、デプロイできます。しかも、すべてを 1 つの統合開発環境 (IDE) で行えます。SageMaker は、アクセス制御の簡素化と ML プロジェクトの透明性により、ガバナンス要件をサポートします。さらに、FM の微調整、実験、再トレーニング、デプロイを行うための専用ツールを使用して、独
AWS SageMakerは機械学習のモデル作成からホスティングまでクラウドで単純化してくれます
第一回目Amazon SageMakerの初心者向け入門チュートリアルの記事を公開しました。銀行の定期貯金キャンペーンの予測問題をAmazon SageMakerとXGBoostを使って予測しました。 第二回目ゲームソフトの売行きをXGBoostで予測してみた【Amazon SageMaker ノートブック＋モデル訓練＋モデルホスティングまで】の記事を公開しました。 AWS SageMaker（AWSセージメーカー）の概要 Amazon SageMakerは、端的にいうと機械学習モデルの開発や訓練、さらにはデプロイメントまで、一つのプラットフォームで管理・効率化してくれるサービスです。公式AWSのタイトルでは「機械学習を加速する」と書かれており、機械学習エンジニアが一つのプロジェクトで必要とするほぼ全てのステップにおいて、AWS SageMakerを利用することで効率化・スピードアップが可
AWS SageMakerをコンソールから試したらハマったのでメモ - Qiita
はじめに 先週のRe:Invent2017でリリースされたAWS SageMakerを早速試してみました。 AWSのドキュメントでは ノートブックインスタンスを作成し、コマンドでその後の手順を実行していますが、 今回はコンソールから試してみました。けっこうハマったのでメモです。 使用データ 今回はモデルデータとしてirisのデータセットを使用。 こちらから生データを入手しました。 やってみる SageMakerでは、 ノートブックインスタンスの作成 ジョブの作成 モデルの作成 エンドポイントの作成 の順で実施していけばいいらしい。 ノートブックインスタンスの作成 設定項目をいい感じで入力すると、jupyter notebookのインスタンスが作成される。 この中でデータの整形だったりの前準備をするといいらしい。 今回はpythonを書いて行うような前処理もないので、ここは割愛。 ジョブの作
Amazon SageMaker – 機械学習を加速する | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker – 機械学習を加速する 機械学習は多くのスタートアップやエンタープライズにとって重要な技術です。数十年に渡る投資と改善にも関わらず、機械学習モデルの開発、学習、そして、メンテナンスはいまだに扱いにくく、アドホックなままになっています。機械学習をアプリケーションに組み込むプロセスはしばしば一貫しない仕組みで数ヶ月間に及ぶエキスパートチームによるチューニングと修正を伴います。企業と開発者は機械学習に対する生産パイプラインに対するのエンド・エンドな製品を望んでいます。 Amazon SageMaker の紹介 Amazon SageMaker はフルマネージドなエンド・エンド機械学習サービスで、データサイエンティストや開発者、機械学習のエキスパートがクイックに機械学習モデルをスケーラブルにビルド・学習・ホストするこ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
よくある質問 - Amazon SageMaker | AWS
TechCrunch | Startup and Technology News