[B! deeplearning][AWS] flatbirdのブックマーク

データサイエンティストに優しいフレームワーク「Metaflow」、Netflixがオープンソース化

Netflixは2019年12月3日（現地時間）、データサイエンスプロジェクトを迅速かつ容易に構築、管理するためのフレームワーク「Metaflow」をオープンソースソフトウェアとして公開した。 MetaflowはNetflixが開発したPythonライブラリ。コンテンツ配信やビデオエンコーディングの最適化など、社内の何百ものユースケースに2年間、Metaflowを用いてデータサイエンスを適用してきたという。なぜMetaflowを開発したのか Metaflowの開発が始まる前、Netflixの機械学習インフラチームはデータサイエンティストに対して社内では何が困難なのかをインタビューした。大規模なデータの扱いやモデル作り、最新GPUに関した回答が集まると当初は考えていたものの、予想は外れた。最も困難だったのは、「バージョン1」のローンチに到達するまであまりにも時間がかかることだったという。

flatbird 2019/12/18

リンク

すべてのデータ、分析、AI のセンター – Amazon SageMaker – AWS

広く採用されている AWS の機械学習 (ML) と分析機能をまとめた次世代の Amazon SageMaker は、すべてのデータに対する統合アクセスとともに、分析と AI のための統合エクスペリエンスを提供します。SageMaker AI (HyperPod、JumpStart、MLOps など) でのモデル開発、生成 AI、データ処理、SQL 分析のために使い慣れた AWS ツールを使用して、統合スタジオからの迅速なコラボレーションと構築を実現します。これは、ソフトウェア開発のための極めて有能な生成 AI アシスタントである Amazon Q Developer によって加速されます。データレイク、データウェアハウス、サードパーティーまたはフェデレーテッドデータソースのいずれに保存されているかにかかわらず、すべてのデータにアクセスし、組み込みガバナンスを活用して、企業のセキュリティニ

flatbird 2018/02/05

リンク

AWS SageMakerは機械学習のモデル作成からホスティングまでクラウドで単純化してくれます

第一回目Amazon SageMakerの初心者向け入門チュートリアルの記事を公開しました。銀行の定期貯金キャンペーンの予測問題をAmazon SageMakerとXGBoostを使って予測しました。第二回目ゲームソフトの売行きをXGBoostで予測してみた【Amazon SageMaker ノートブック＋モデル訓練＋モデルホスティングまで】の記事を公開しました。 AWS SageMaker（AWSセージメーカー）の概要 Amazon SageMakerは、端的にいうと機械学習モデルの開発や訓練、さらにはデプロイメントまで、一つのプラットフォームで管理・効率化してくれるサービスです。公式AWSのタイトルでは「機械学習を加速する」と書かれており、機械学習エンジニアが一つのプロジェクトで必要とするほぼ全てのステップにおいて、AWS SageMakerを利用することで効率化・スピードアップが可

flatbird 2018/02/05

リンク

AWS SageMakerをコンソールから試したらハマったのでメモ - Qiita

はじめに先週のRe:Invent2017でリリースされたAWS SageMakerを早速試してみました。 AWSのドキュメントではノートブックインスタンスを作成し、コマンドでその後の手順を実行していますが、今回はコンソールから試してみました。けっこうハマったのでメモです。使用データ今回はモデルデータとしてirisのデータセットを使用。こちらから生データを入手しました。やってみる SageMakerでは、ノートブックインスタンスの作成ジョブの作成モデルの作成エンドポイントの作成の順で実施していけばいいらしい。ノートブックインスタンスの作成設定項目をいい感じで入力すると、jupyter notebookのインスタンスが作成される。この中でデータの整形だったりの前準備をするといいらしい。今回はpythonを書いて行うような前処理もないので、ここは割愛。ジョブの作

flatbird 2018/02/05

リンク

Amazon SageMaker FAQs – AWS

The next generation of SageMaker is a unified platform for data, analytics, and AI. Bringing together widely adopted AWS machine learning (ML) and analytics capabilities, the next generation of SageMaker delivers an integrated experience for analytics and AI with unified access to all your data. SageMaker allows you to collaborate and build faster from a unified studio using familiar AWS services

flatbird 2018/02/05

リンク

Amazon SageMaker – 機械学習を加速する | Amazon Web Services

Amazon Web Services ブログ Amazon SageMaker – 機械学習を加速する機械学習は多くのスタートアップやエンタープライズにとって重要な技術です。数十年に渡る投資と改善にも関わらず、機械学習モデルの開発、学習、そして、メンテナンスはいまだに扱いにくく、アドホックなままになっています。機械学習をアプリケーションに組み込むプロセスはしばしば一貫しない仕組みで数ヶ月間に及ぶエキスパートチームによるチューニングと修正を伴います。企業と開発者は機械学習に対する生産パイプラインに対するのエンド・エンドな製品を望んでいます。 Amazon SageMaker の紹介 Amazon SageMaker はフルマネージドなエンド・エンド機械学習サービスで、データサイエンティストや開発者、機械学習のエキスパートがクイックに機械学習モデルをスケーラブルにビルド・学習・ホストするこ