データテストライブラリー「Deequ」を触ってみた - 終末 A.I.
DeequはAWSがリリースしているデータテストを行うためのライブラリです（Deequの説明ではUnit Testと表現されています）。 ここで言うデータテストは、ETL処理やデータマート作成処理などの意図通り動いているどうか、取り込んだデータが昔と変化していないかを確認するための検証処理のことを指しています。 ETL処理などを最初に作成したタイミングでは、その処理が意図したものになっているか確認すると思います。一方で、日次のバッチ処理や、動き続けているストリーム処理について、本当に意図したようにデータが加工されているかどうかは、通常の方法では処理自体が成功したかどうかくらいしか確認するすべがありません。 しかし、日々のデータ処理は簡単に意図しないデータを生み出してしまう可能性があります。気づいたらデータの中身が変わっていて、変換処理が意図しない動作をしてしまっていたり、そもそもソースデー
Amazon SageMaker Model Monitor – Fully Managed Automatic Monitoring For Your Machine Learning Models | Amazon Web Services
AWS News Blog Amazon SageMaker Model Monitor – Fully Managed Automatic Monitoring For Your Machine Learning Models Today, we’re extremely happy to announce Amazon SageMaker Model Monitor, a new capability of Amazon SageMaker that automatically monitors machine learning (ML) models in production, and alerts you when data quality issues appear. The first thing I learned when I started working with d
ML@Loft #9. Deep Learning フレームワークと推論 (2019/12/19 18:30〜)
参加登録はこちらから → https://mlloft9.splashthat.com/ About the event ML@Loft は AWS 上で機械学習ワークロードを運用しているデベロッパー/データサイエンティストのための、お悩み相談会です。月に1回 AWS Loft Tokyo で開催し、毎回活発な議論が行われています。 第9回は、Deep Learning フレームワークを用いた学習・推論運用について議論します。はじめにファシリテーターから 10分ずつの自己紹介 LT 形式でユーザー企業における機械学習の課題・実例を問題提起頂いた後、テーブルに分かれて参加者全員参加型で問題解決のディスカッション・ナレッジシェアを行います。 これまでのイベント開催ブログはこちら [ #1, #2, #3, #4, #5, #6] Who should attend 機械学習の運用に課題をお持ち
Amazon re:MARS 2022
Watch all the keynotes from 2022 and hear from some of the brightest minds across science, academia, industry, and business.</div>\r\n"}}" id="text-d7b1de9dc1" class="cmp-text"> Watch all the keynotes from 2022 and hear from some of the brightest minds across science, academia, industry, and business.
AWS Innovate - AI/ML and Data Edition
Enhance customer experiences, boost creativity, optimize processes, and unlock generative AI’s potential–and more. If you are ready to harness the power of AI and ML, join us at AWS Innovate to explore, discover, and learn the practical steps to bring these ideas to life. Stay ahead in this rapidly evolving tech space with the latest technologies, up level your AI/ML skills, and connect with exper
A Deep Dive on AWS DeepLens
Should GET and POST be the only HTTP request methods used by developers?
New – Predictive Scaling for EC2, Powered by Machine Learning | AWS News Blog
AWS News Blog New – Predictive Scaling for EC2, Powered by Machine Learning Update May 21, 2021 – Predictive Scaling is now available natively in EC2 Auto Scaling for easier configuration. See our documentation for more information and to get started. When I look back on the history of AWS and think about the launches that truly signify the fundamentally dynamic, on-demand nature of the cloud, two
Scikit Docker コンテナを構築して、Amazon SageMaker で Scikit-learnモデルのトレーニングとホストを行う | Amazon Web Services
Amazon Web Services ブログ Scikit Docker コンテナを構築して、Amazon SageMaker で Scikit-learnモデルのトレーニングとホストを行う re:Invent 2017 で登場した Amazon SageMaker は機械学習モデルを規模に応じてビルド、トレーニング、デプロイするためのサーバーレスデータサイエンス環境を提供します。お客様はまた、Scikit-learn など、最も身近なフレームワークで作業できます。 このブログ記事では次の 2 つの目標に沿って進めていきます。まずは、Amazon SageMaker がモデルのトレーニングやホストのためにどのようにコンテナを使用するかについて、高水準の説明を行います。続いて、Amazon SageMaker で Scikit モデルのトレーニングおよびホスト用に Docker コンテナを
Amazon SageMaker でのご利用開始: より正確な時系列予測のための DeepAR アルゴリズム | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker でのご利用開始: より正確な時系列予測のための DeepAR アルゴリズム Amazon SageMaker の最新内蔵アルゴリズムとして、Amazon SageMaker DeepAR をリリースします。DeepAR はポイント予測と確率的予測の両方を生成するために再帰型ニューラルネットワーク (RNN) を使用する時系列予測の教師あり学習アルゴリズムです。私たちは、開発者が Amazon 内でミッションクリティカルな決定を行う、この伸縮自在にスケール可能で、極めて精度の高い予測アルゴリズムを利用できるようになることに大変な期待を寄せています。DeepAR アルゴリズムは他の Amazon SageMaker 内蔵アルゴリズムと同じように使用でき、トレーニングや推測のために、インフラストラクチャをセットアッ
高速な研究開発を支えるGPU計算機環境 - クックパッド開発者ブログ
研究開発部の染谷 ( @ayemos_y ) です。好きな ImageNet のラベル(Synset)は "Eccentric, eccentric person, flake, oddball, geek" です。 クックパッドの研究開発部は2016年7月に発足し、現在はアルバイトを含め13名の体制となっています。その中で、こちらの記事でも紹介されている料理／非料理判別モデルを開発するなど、機械学習／ディープラーニング分野に特に力を入れて取り組んでいます。 最近は、モデルを開発し改善する手法などについて多くの情報にアクセス出来るようになり、このような技術をプロダクトに応用していきたいという気持ちが高まっている現場が多いかと思います。しかし一方で、分析の為のデータへのアクセスや画像認識モデルの実装や実験を行うためのGPU環境の整備など、現場の都合に対応するコストによって開発の勢いが鈍化して
Machine Learning, Recommendation Systems, and Data Analysis at Cloud Academy | Amazon Web Services
AWS News Blog Machine Learning, Recommendation Systems, and Data Analysis at Cloud Academy In today’s guest post, Alex Casalboni and Giacomo Marinangeli of Cloud Academy discuss the design and development of their new Inspire system. — Jeff; Our Challenge Mixing technology and content has been our mission at Cloud Academy since the very early days. We are builders and we love technology, but we al
Distributed Time Travel for Feature Generation
We want to make it easy for Netflix members to find great content to fulfill their unique tastes. To do this, we follow a data-driven algorithmic approach based on machine learning, which we have described in past posts and other publications. We aspire to a day when anyone can sit down, turn on Netflix, and the absolute best content for them will automatically start playing. While we are still wa
ナレッジワークス、自然言語処理ノウハウと機械学習を組み合わせ「データサイエンス」事業を開始 – ナレッジワークス株式会社
ナレッジワークス、自然言語処理と機械学習などを使用した ビッグデータ活用プラットフォームをアマゾン ウェブ サービス上に構築 ナレッジワークス株式会社(本社：東京都港区、代表取締役：所司 里佳、以下 ナレッジワークス)は、自社の検索サービス「SCOPE」で培ってきた自然言語処理のノウハウを、機械学習や深層学習など新技術と組み合わせてサービスを提供する『データサイエンス事業』を、2015年12月16日(水)に開始しました。 ▼『データサイエンス事業』詳細 /service/datascience/ 今回の発表で、ナレッジワークスは、「アマゾン ウェブ サービス(以下 AWS)」上に、Amazon Machine Learningをはじめとする、Amazon Kinesis、AWS Lambda、Amazon S3、Amazon Redshiftなど複数のAWSサービスと「オープンソースソフト
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - awslabs/gluonts at v0.7.6
GitHub - awslabs/gluonts: Probabilistic time series modeling in Python
Amazon SageMaker autopilot: a white box AutoML solution at scale
ML Solutions Lab
How we use AWS for Machine Learning and Data Collection - Webinar
Real-time Recommendations using Spark Comcast Labs
Clojure and Rails - the Secret Sauce Behind FlightCaster
