Netflix社のMLOpsの事例を紹介します | 行灯Labo（アンドンラボ）｜JapanTaxi採用ブログ
その中で特に面白かったNetflix社の事例を紹介します！ Netflix社事例「A Human-Friendly Approach to MLOps」 Netflix社では、「Metaflow」と呼ばれる独自フレームワークを開発して、データサイエンティストに提供することにより、機械学習アプリケーションの開発・運用を社内で拡大することを実現している。 Netfliexのデータ分析の目標 コンテンツの発売前に、日毎の視聴者数の予測がしたい。これにより、優先度付やリソースの配置を考えている ゴールは２つ 190カ国すべてのオフィスにて、データから一貫した洞察を得られるようにする意思決定者のために正確で即時の情報を提供する データ分析プロジェクトの進め方型と課題 データ探索（〜２週間）notebookなどを用いて、データの振る舞いを理解して、どの特徴量を使うべきか等を探索するプロトタイピング（６
ALBのアクセスログにアベイアビリティゾーン情報を追加してみた | DevelopersIO
はじめに AWSチームのすずきです。 ELB (Application Load Balancer:以下ALB) アクセスログは、接続元となるクライアント(ブラウザ等)と、接続先のターゲット(httpd等が稼働するEC2)のIPアドレスを確認することが可能です。 今回、アクセスログに含まれない ALBノードのIPアドレス、アベイアビリティゾーン単位での解析を実施する必要が生じたため、 アクセスログのファイル名よりALBノードのIPアドレス情報を取得し、ネットワークインターフェイス情報からアベイアビリティゾーンを求める機会がありましたので紹介します。 アクセスログ仕様 ALBのアクセスログの仕様は、2019年9月時点の公式ドキュメントを参考にしました。 Application Load Balancer のアクセスログ ログファイル ログファイル名に含まれる「ip-address」より、AL
Amazon Forecastのサンプルを動かして時系列予測してみた | DevelopersIO
re:Invent 2018で発表されたAmazon Forecastが、先日ついにGAされました！ Amazon Forecastがどんなものなのか確かめてみるため、AWSのGA発表ブログの中で言及されているサンプルをやってみました。 re:Invent 2018で発表されたAmazon Forecastが、先日ついにGAされました！ Amazon Forecast – Now Generally Available | AWS News Blog Amazon Forecastについては、弊社ブログで何度か取り上げられています。こちらも御覧ください。 データ資産を活用しビジネスを加速させるAI -Amazon Forecast- ｜ DevelopersIO [速報] 時系列予測サービスAmazon Forecastが発表されました #reinvent ｜ DevelopersIO A
AWS CDK(Python)を使って繰り返し処理でEC2インスタンスを作成してみる | DevelopersIO
おはようございます、もきゅりんです。 最近、CFnを触ることが多いのですが、先日、CFnのBlackBeltを改めて眺めていると、(遅ればせながら)AWS Cloud Development Kit (以下、AWS CDK)に気付きました。 こいつあ楽しそうじゃないですか〜。 世の中の皆さんは割りとTypeScriptでトライしているし、自分は敢えてJavaで久し振りに何か書いてみようかな、なんて思ってたら、タイムリーにPythonが追加されているじゃないですか！ これは乗るしかない！と思って触ってみたのがこのブログです。 なお、触って思ったのが、やはりCFnで手が届かない、痒そうな部分に手の届く柔軟感が良さそうです。 また、yamlで作成したときの冗長感だったり、構成が複雑になってきたときの可読性の悪さを改善できそうだな、と感じました。 個人的には今後も使っていきたいツールと感じました。
AWS LambdaにLayerなるものが追加されたのでPythonで簡単に使ってみる #reinvent | DevelopersIO
サーバーレス開発部の夏目です。 ラスベガスには行っていませんが、数多くの発表があり情報を追いかけるだけでも大変です。 AWS LambdaにFunctionでコードを共有することができる "Layer"なる機能が追加されたので、 簡単に使ってみようと思います。 【速報】【アップデート】Lambdaが複数のファンクションで共有するコードを持てるようになりました(Lambda Layer) #reinvent 注意 どういう風にすれば使えるのかを確認したいだけです 簡単に使ってみるつもりなので、管理とか特に考えてないです なのでAWSの操作はコンソールでぽちぽちします Layer用のコードを作成する 共有したいコードを書いていきます。 Layer用のコードはzipで直接アップロードするかS3経由にするかでしか対応していないようなので、デプロイ用のzipファイルを作成します。
AWS LambdaでNumpy、Scipyを使ってみる！Serverless Frameworkとプラグインを使えばパッケージ管理が簡単！ ｜ DevelopersIO
Numpy、ScipyはLambdaのLayer機能を利用することで今回紹介する方法を使わなくても利用できます。AWSがNumpy、ScipyをホストしたLayerを提供しているので対象のLambdaのレイヤに設定することで利用できます。 詳細はこちらをご確認ください。 どうも！大阪オフィスの西村祐二です。 機械学習やデータ分析でよく目にするライブラリとして、Numpy、Scipyがあると思います。 今回、そのライブラリをAWS Lambda上で動かしてみた、という話になります。 通常、上記を実現するためにいくつか注意点があるのですが、Serverless Frameworkとプラグインのserverless-python-requirementsを使えば、その注意点をほぼ気にすることなく実現できたのでブログにまとめておきます。 AWS Lambdaで外部モジュールを利用する際の注意点 外
AWS SDK for Python (Boto3)の エラーの再試行について ｜ DevelopersIO
API 呼び出しは様々な要因で一時的に失敗することがありますが、AWS SDKは自動再試行ロジックを実装しています。今回は、AWS SDK for Python (Boto3)でのリトライ回数の変更方法をご紹介します。 リトライ処理やエクスポネンシャルバックオフについてはAWSドキュメント AWS でのエラーの再試行とエクスポネンシャルバックオフ もご参照ください。 Boto3におけるリトライ処理、エクスポネンシャルバックオフ 自動でリトライ処理が実装されていますが、AWS SDK for Python (Boto3)ではデフォルトで5回エクスポネンシャルバックオフによるリトライ処理が実施されるようです。 Boto 3 Documentation | Config Referenceより 'max_attempts' -- An integer representing the maxim
サーバーレスのメリット＆本質を、AWS Lambdaを使って理解しよう｜ハイクラス転職・求人情報サイト アンビ（AMBI）
サーバーレスのメリット＆本質を、AWS Lambdaを使って理解しよう 「サーバーレス」はここ数年の技術トレンドの一つです。サーバーレスアーキテクチャを2年運用してきたJX通信社の小笠原みつき（yamitzky）さんが、そのメリットや実際の業務における考え方を、ハンズオンを交えながら解説します。 JX通信社の小笠原みつき（@yamitzky）と申します。ニュース速報アプリ「NewsDigest」の事業統括をしているエンジニアです。 JX通信社では、人手のかかる「報道」という分野を機械化・自動化することをミッションの一つとして掲げており、技術選択においても、なるべく運用を自動化できる方法を選ぶよう心掛けています。その過程で「サーバーレス」という技術に出会い、2016年ごろから本番運用してきました。 今回の記事のゴールは、サーバーレスという技術が「どんなものであるか？」を理解することです。サー
AWS LambdaがSQSをイベントソースとしてサポートしました！ | DevelopersIO
大栗です。 先程AWS LambdaでSQSをイベントソースとしてサポートすることが発表されました。このエントリーではSQSからのLambdaの起動方法についてレポートします。 Announcement: AWS Lambda supports Amazon SQS as an event source Lambdaのイベントソース AWS Lambdaは以下のサービスのイベントを元に起動することができます。今回SQSのメッセージをトリガーとしてLambdaを起動することが可能になります。 API Gateway AWS IoT Alexa Skills Kit Alexa Smart Home CloudWatch Events CloudWatch Logs CodeCommit Cognito Sync Trigger DynamoDB Kinesis S3 SNS SQS <- N
AWS SDK for Python (boto3)でAmazon Pollyの声を使い分けてみる | DevelopersIO
はじめに 小ネタです。先日Amazon Pollyに待望の日本人男性声であるTakumiが追加されました。 [新機能] Amazon Pollyが東京リージョンに！そして新しい声としてMatthewとTakumiが追加！ なので、「男性と女性の会話の台本を作って、AWS SDK for Pythonを使ったPythonスクリプトに読み込ませて、MP3ファイルを作る」ということをやってみました。 やってみた 環境 Pythonスクリプトを動かしている環境は以下の通りです。 $ python --version Python 2.7.10 $ python -m pip freeze | grep boto3 boto3==1.4.4 #!/usr/bin/env python # -*- coding: utf-8 -*- from boto3 import Session import o
ゼロから作りながら覚えるAPI Gateway環境構築 | DevelopersIO
こんにちは、臼田です。 みなさん、Lambdaしていますか？ Lambdaと合わせてAPI Gatewayを使う場面も何かとあるかと思います。 本ブログでは様々なAPI Gatewayの記事があり、下記のまとめも参考になります。 【まとめ】API Gatewayを学ぶための記事まとめ しかし、ゼロからAPI Gatewayを構築して、実際に今後APIの実装を行なって行こうとする時に何からやればいいかわからない、ということもあるかと思い今回その手順をまとめようと思いました。 本ブログの趣旨 本稿は以下の内容を意識して作成しました。 これからAPI Gatewayを使ってAPIを構築しようとしている人向け API Gatewayと、連携するLambdaのモック、それに付随したIAMを作成する とりあえずAPI Gatewayの環境を作成し、APIの実装やバックエンドのロジックに取り掛かれるよう
Chalice の 1.0.0 GA がリリースされました | DevelopersIO
こんにちは、藤本です。 現地時間 7/31 に Chalice の 1.0.0 GA がリリースされました。 Chalice – 1.0.0 GA Release プレビュー版が登場して、1年ちょっとで遂に GA リリースとなりました。（既に GA リリース済みかと思ってた。 【新機能】Python Serverless Microframework for AWS(プレビュー版)が登場！ Chalice Chalice は API Gateway + AWS Lambda for Python の API 環境を実行するサーバレスフレームワークです。サーバレスフレームは SAM(Serverless Application Model) や Serverless Framework など既に多く存在しますが、Chalice はシンプルで Python ユーザーが簡単にサーバレス環境を管理
SNSに投稿しようとしている料理写真に対して、みんなの反応がよいかどうかを予想してくれるAPIをAWS API GatewayとLambdaで作ってみた - Qiita
目的・背景 http://snapdish.co というサービスを開始して数年、カメラロールに大量の料理写真があります。でも、いつまでたっても私の撮影センスがいまいち。 そこで、「いい感じの写真だよ！」気軽に教えてくれるAIくんに助けてもらえなかなと妄想が膨らんできたので、作ってみちゃいました。 学習データの準備 データ収集のポイント マンパワーに依存するデータ収集は非現実的でコストが高いので絶対やらない データ収集の方法 SnapDishには、約1000万以上の料理写真があります。 そして、評判が良かった写真やリアクションがあまりなかった料理写真や規約違反の料理ではない写真があります。 そのデータを基に、以下の条件でデータを収集します。 遠い関係の人からのリアクションが、一定上ある料理写真 → YES画像 まったくリアクションがとれなかった料理写真 → NO画像 まったく関係のない写真
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSマネジメントコンソールの操作を記録して再現コードやCloudFormationテンプレート、Terraform定義を生成してくれるブラウザ拡張 – Console Recorder for AWS ｜ DevelopersIO