意外と知られてない？AWS Prescriptive Guidance（AWS規範的ガイダンス）めっちゃ使えるよ | DevelopersIO
AWS Prescriptive Guidance（AWS規範的ガイダンス）について紹介されているものが少なったので、ひょっとして未だ認知度低いんじゃないか？ということで紹介したいと思います！ AWS Prescriptive Guidance（AWS規範的ガイダンス） Amazon Web Services (AWS) Prescriptive Guidance provides time-tested strategies, guides, and patterns to help accelerate your cloud migration, modernization, and optimization projects. These resources were developed by AWS technology experts and the global communi
AWS Batch, Lambda, ECS Task 比較：バッチやジョブにはどれを使う？ - Tech Blog
CTOの椎名です。最近弊社では家族アプリFammの印刷・配送・通知など様々な処理を使うために AWS Lambda と AWS Batch を使う量が増えてきて、ECS Fargate も徐々に導入をはじめてきました。 Lambda も Batch も ECS Task も、何かのジョブを単発/定期でサーバー無しで実行するための手段として似ているところがあります。何かのバッチ/ジョブを作る時に「これはLambdaで作るべきか？Batchで作るべきか？」などで迷う事もあります。もちろん製品名の通り「バッチならAWS Batch」と言う考え方もありますが、AWS Batchではオーバーキルな時もあれば、かゆいところに手が届かない時もあります。 今回はこれらの特徴やメリット/デメリットの比較をまとめます。 AWS Lambda 簡単に言うと「コードだけアップロードして実行トリガーを決めればその通
【備忘録】Sagemakerの学習にスポットインスタンスを使う【超カンタン】 | DevelopersIO
せーのでございます。 Sagemakerを使って機械学習をしていますと、気になるのはやっぱりコストです。特に学習インスタンスはGPUを沢山積んでいたりして、単価が高めになっているので、なるべく節約して使いたい。今回はそういうお話です。 どうやばいのか Sagemakerの学習インスタンスのコストはタイプによっていろいろ違います。。例えば私がよく使うp2やp3系だとこんな感じになります。 Sagemakerの場合、学習インスタンスは学習した時間しかかかりません。それでも複数インスタンスを一気に回したりし続けると、月に関するコストはかなりの負担になります。 そこで活用したいのがスポットインスタンスです。Sagemakerでは「マネージドスポットインスタンス」というものが使えます。 マネージドスポットインスタンスとは マネージドスポットインスタンスとは、トレーニングジョブをオンデマンドではなく、
AWS CLIからのMFA(多要素認証)を楽にするツール(aws-mfa)を使ってみた - Qiita
はじめに こんにちは、エンジニアのogadyです。 うちの会社では、IAMユーザーのMFAをマストとしています。そうすると、AWS CLIからMFAする手順がめんどくさい。 aws cliからMFA認証通す時って、クソめんどい。皆さんどうやってるんだろう。そもそもcli用ユーザー作ってmfa無効にするのが正解なのか？ — ogady@アニオタエンジニア (@gadyma) October 11, 2019 公式の手順はこれ AWS CLI 経由で MFA を使用してアクセスを認証する 自分で作ろうかとも思ったのですが、良さげなツールを見つけたので試してみました。 aws-mfa を使えば、簡単に期限付きのAWSアクセスキーを発行して、AWS CLIからリソースにアクセスできます。 こんな人向け AWS CLIのMFAを毎回公式の方法でやっている MFA使うべきなのはわかってるけど運用がめん
Python 3.7向けにSageMaker PyTorch Containerをビルドする - Ahogrammer
先日、Flairを使ったモデルを構築し、SageMakerのトレーニングジョブに投げたところモデルの保存で躓いた。原因を調べたところ、pickleでダンプしようとしていたオブジェクトの中に、Python 3.6ではダンプできないオブジェクトがあるようだった。そこで、SageMakerのトレーニングで使われているPythonのバージョンを3.6から3.7に上げたところモデルの保存をできるようになった。 以下に、作成したDockerfileを貼っておく。これをCodeBuildでビルドし、ECRに登録後、SageMakerのEstimatorで登録したイメージを指定すれば使うことができる。 FROM nvidia/cuda@sha256:4979db047661dc0003594fb20d37cce6d6c7e989252f4e3fb0beb39874a078e2 LABEL maintain
[チュートリアル] Amazon SageMakerでの学習・デプロイ - Qiita
本記事では，Amazon SageMakerを用いて機械学習モデルの学習・デプロイを行うための必要最低限の知識を説明します．普段，仕事や学業で機械学習プロジェクトに携わっているけどAWSにあまり馴染みのないという方のお役に立てば幸いです． また本記事は，AWSの3daysインターンシップで取り組んだことを題材に，インターンシップでチームを組んだ中田勇介さん(nakata_yusuke)と一緒に作成しました．コードはgithub上で公開しています． Amazon SageMakerとは Amazon SageMakerとは，機械学習モデルを高速に開発・学習・デプロイするためのマネージドサービスです．よく利用されるEC2は，主にインフラ(やフレームワーク等)を提供するためのサービスなので，EC2の1つ上のレイヤのサービスとなります． Amazon SageMakerを利用することで，以下のよう
![[チュートリアル] Amazon SageMakerでの学習・デプロイ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0b13781917e035c1b14ada02f74ac9581470fe05/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUUzJTgzJTgxJUUzJTgzJUE1JUUzJTgzJUJDJUUzJTgzJTg4JUUzJTgzJUFBJUUzJTgyJUEyJUUzJTgzJUFCJTVEJTIwQW1hem9uJTIwU2FnZU1ha2VyJUUzJTgxJUE3JUUzJTgxJUFFJUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgzJUJCJUUzJTgzJTg3JUUzJTgzJTk3JUUzJTgzJUFEJUUzJTgyJUE0JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1jNWQ3Y2M4MWM3ODJiODIxYjU0ZTRlNjcyYzBkOWNkZA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrdTI0ODImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWYwN2JjY2QxYmUyNGJmZTBhZmEwMjIzMDI3Mjg0YTY1%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dbb34fb5da60c6dc6a4b9101f5bcf55aa)
IAM初心者がAWS CLIでスイッチロールするまで | DevelopersIO
こんにちは。 サービスGの金谷です。 これまでIAMの設定を自分でやることがあまりなく、スイッチロールで何が起きているのか全然理解できていなかったのでまとめようと思います。 まず大前提 AWSアカウント≠ IAMユーザー です。 当然といえば当然なのですが別物です。 ざっくり説明するとAWSアカウントの中にIAMユーザーがいるといった形で、AWSアカウント＝ルートユーザーのようなイメージです。 私個人の経験としてはプライベートでAWSを学び触り始めたばかりのときは IAMを何も設定せずに他のサービスを触ったりしていましたが、通常は使用するべきではないです。 ちゃんとIAMユーザーを作成してそちらで作業するようにしましょう。 スイッチロールとは 名前の通りIAMロールを切り替える機能です。 アカウントを跨いだロールの切り替えも可能です。（というかこちらをメインに使います） 上図ではスイッチ元
AWS CLIのCredentialの設定に嵌ったお話 | DevelopersIO
本日、東京から札幌へ戻る横山です。 AWS CLI使えるようになるまでのメモです。 前提 aws-cliを使うためのCredentialが設定されていないEC2がある。 $ aws ec2 describe-availability-zones Unable to locate credentials. You can configure credentials by running "aws configure". $ aws --version aws-cli/1.5.0 Python/2.6.9 Linux/3.14.20-20.44.amzn1.x86_64 準備 今回はIAMユーザ作り、access keyを作るところから始めていきます。 IAMのUsers画面を開き、Create New Usersからユーザを作っていきます。 次に、適当なユーザ名をつけて、Access Key
SageMakerで独自アルゴリズムを使う｜Dentsu Digital Tech Blog
電通デジタルで機械学習エンジニアをしている今井です。 本記事では、SageMaker独自アルゴリズムとして開発した libsvm-converter について紹介します。 Amazon SageMakerとは Amazon SageMakerはAWSが提供する完全マネージド型の機械学習（ML）サービスです。 SageMakerにはJupyterノートブックが搭載されており、数行のPythonコードを記述するだけでMLモデルの学習、デプロイ、推論が可能になります。 簡単にですが、SageMakerの使い方を紹介します。 開発環境には conda_python3 のノートブックを使用しています。 はじめに、モデルの学習を行います。 モデルの学習には sagemaker.estimator.Estimator を使用します。 import sagemaker estimator = sagema
高レベル (s3) コマンドは、 AWS CLI - AWS Command Line Interface
開始する前に このセクションでは、aws s3 コマンドを使用する前の注意事項をいくつか示します。 大容量オブジェクトのアップロード aws s3 コマンドを使用して大きなオブジェクトを Amazon S3 バケットにアップロードする場合、 AWS CLI は自動的にマルチパートアップロードを実行します。これらの aws s3 コマンドを使用した場合、失敗したアップロードを再開することはできません。 タイムアウトが原因でマルチパートアップロードが失敗した場合、またはで手動でキャンセルした場合 AWS CLI、 AWS CLI はアップロードを停止し、作成されたファイルをすべてクリーンアップします。この処理には数分かかることもあります。 マルチパートアップロードまたはクリーンアッププロセスが kill コマンドまたはシステム障害によってキャンセルされた場合、作成されたファイルは Amazon
Ansible使いの人はちょっと見逃せない。AWS Systems Managerで複雑な構成のAnsible-Playbookの実行が可能になりました | DevelopersIO
AWS事業本部 梶原@新福岡オフィスです。 数日前に、AWS Systems Manager で複雑な構成のAnsible-Playbookの実行がサポートされました。 https://aws.amazon.com/jp/about-aws/whats-new/2019/09/now-use-aws-systems-manager-to-execute-complex-ansible-playbooks/ 一瞬、以前からAnsible Playbookの実行はできてたじゃん。とスルーしそうになったんですが、Complexの文字が目にとまりました。 よくよく読んでみると、S3 or Github上のzip またはディレクトリ構造のPlaybookを実行できるとの記載があります。 そうです、AnsibleのBest Practicesに沿った構成のまま、EC2上でAnsible-Playboo
AWS障害、“マルチAZ”なら大丈夫だったのか？ インフラエンジニアたちはどう捉えたか、生の声で分かった「実情」
AWS障害、“マルチAZ”なら大丈夫だったのか？ インフラエンジニアたちはどう捉えたか、生の声で分かった「実情」（1/3 ページ） 8月23日に起きたクラウドサービス「AWS」（Amazon Web Services）の東京リージョンでの障害は、国内のさまざまなサービスに影響を及ぼした。 AWSが同日午後8時ごろに復旧するまで、モバイル決済サービス「PayPay」や、仮想通貨取引所「Zaif」、オンラインゲーム「アズールレーン」などで利用できない、もしくは利用しづらい状況が続いた。PCショップの「ドスパラ」はECサイトの不具合が長引き、翌日の24日には実店舗を臨時休業して対応に当たっていた。 AWSという1つのサービス障害が起きただけで、多くの企業やサービスに影響を及ぼしたため、「クラウドサービスはもろい」という論調も散見された。 しかし、インフラエンジニアたちからは違う意見が聞こえてくる
AWS、人工衛星通信基地局サービスを提供開始、衛星との通信が時間課金で利用可能：世界12カ所に展開へ - ＠IT
AWS、人工衛星通信基地局サービスを提供開始、衛星との通信が時間課金で利用可能：世界12カ所に展開へ Amazon Web Services（AWS）は2018年11月27日（米国時間）、米ラスベガスで開催中のAWS re:Invent 2018で、従量課金制の人工衛星基地局サービス「AWS Ground Station」のプレビュー提供を開始したと発表した。 Amazon Web Services（AWS）は2018年11月27日（米国時間）、米ラスベガスで開催中のAWS re:Invent 2018で、従量課金制の人工衛星基地局サービス「AWS Ground Station」のプレビュー提供を開始したと発表した。 同サービスでは、Lockheed Martinとの協力により、低コストの小型アンテナを複数台備えた衛星通信基地局を、世界12カ所に展開。その多くはAWSリージョンに近い場所に
AWSを使うときに確認すべき52のセキュリティチェック項目と15分でできる簡単なチェックの方法｜DevelopersIO
はじめに 自分が使っているAWS環境のセキュリティに問題がないかと心配になることはないでしょうか？私はよくあります。そこでCIS Amazon Web Service Foundations Benchmark というAWSのセキュリティのガイドラインに沿って使っているAWSアカウントのセキュリティの状況をチェックしてみました。チェック項目は全部で52あります。内容を一通り確認したところ知らなかったAWSのセキュリティの機能やノウハウを知ることができ、見ただけでもとても勉強になりました。簡単にチェックする方法も併せて紹介しますのでぜひ使っているAWS環境でチェックしてみてください。 1 IAM 1.1 rootアカウントを利用しない rootアカウントは強力な権限を持つため、rootアカウントを利用せずIAMユーザーを利用してください。通常運用でrootアカウントが利用されていないか確認し
AWSを使っている人が絶対にやっておくべきセキュリティ対策 | セキュリティ対策 | CyberSecurityTIMES
EC、流通大手Amazon社の提供するクラウドサービスAWS（Amazon Web Service）。国内クラウド市場でもトップシェアを誇っています。 企業におけるITシステムおよび環境の構築でも、クラウドの活用が進んでいます。政府も利用システムの調達においてクラウドファースト（クラウド・バイ・デフォルト）とすることを標榜しており、クラウドはまさにIT環境の第一の選択肢の座に登り詰めたといえるでしょう。 積極的に利用していきたいクラウドサービスですが、心配なのがセキュリティです。特にパブリッククラウド上にシステムを構築するとなれば、ネットワーク上に存在するため外部からの攻撃にさらされかねません。 今回は、AWSを利用する場合に知っておきたいWebセキュリティについてご紹介いたします。 クラウドはネットワーク上に構築された仮想コンピュータ環境やソフトウェアです。パブリッククラウドの場合はイン
サーバーレスがアプリケーションにもたらす本当のメリットとは？「サーバーレスのポテンシャルとシステム表現」#devsumi ｜ Developers.IO
サーバーレスがアプリケーションにもたらす本当のメリットとは？「サーバーレスのポテンシャルとシステム表現」 #devsumi 「そのサーバーレス、本当に意味あるの？」 AWS re:Invent 2014で、AWS Lambdaが発表されてから丸3年が経過。サーバーレスという単語もすっかりこの界隈では定着した感はあります。 ですが、実際の開発・運用ノウハウについては、まだまだ試行錯誤が続いているのが現状じゃないでしょうか。ぶっちゃけ、既存アプリケーションのEC2をLambdaに置き換えるだけではほとんどメリット無いでしょ、という感触は、ある程度サーバーレスアプリケーションをゴリゴリ作っている人であれば、よく感じていることだと思います。 そんななか今回受講したこのデブサミのセッションでは、新しい観点でサーバーレスがもたらす恩恵やメリットを捉えることができてごっつ新鮮だったので、その模様をお届け
有料動画配信システムをサーバーレス化、毎日放送がITコストを9割削減
毎日放送（MBS）はAmazon Web Services（AWS）を使い、定額制の有料動画配信サービス「MBS動画イズム444」のシステム基盤を構築した。コスト削減などを目的に、イベント駆動型コード実行サービス「AWS Lambda」を使ったサーバーレス構成を採用している。 MBSの試算では、オンプレミス（自社所有）環境に構築した場合に対するコスト削減効果（構築費用を除いたランニングコスト、4年間）は、Amazon EC2（Elastic Compute Cloud、仮想マシンサービス）を多用した構成にすると75％削減だが、今回採用したサーバーレス構成だと92％削減になるという。 EC2多用の構成との比較でも、サーバーレス化によってランニングコストが約3分の1になる計算だ。 サーバーレス化は開発期間の短縮にも効果があったという。アジャイル型の開発手法を採用したこともあり、約3カ月で基盤を
サーバレスでスケーラブルかつ堅牢なシステムを構築するためのデザインパターンとアーキテクチャ。Serverlessconf Tokyo 2017 － Publickey
サーバレスコンピューティングは新しいシステム開発手法である。Serverlessconf Tokyo 2017で紹介された、スケーラブルで堅牢かつ高性能なアプリケーションの構築に役立つ6種類のデザインパターンを紹介する。 2017年11月2日、3日の2日間、東京都内でサーバレスコンピューティングのイベント「Serverlessconf Tokyo 2017」が開催されました。 サーバレスコンピューティングもしくはサーバレスアーキテクチャと呼ばれるアプリケーション実行環境は、一般にサーバのことを意識せずにアプリケーションを実行できる環境のことを指します。 そのサーバレスコンピューティング環境の実装として一般的なのが、あらかじめアプリケーションとして実行したいコードを関数として登録しておくと、指定されたイベントによって自動的に関数が呼び出されて実行されるという、いわゆるFunction-as-
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to Deploy a Pytorch Model on SageMaker
AWSではじめる機械学習 ～サービスを知り、実装を学ぶ～(8) Amazon SageMakerの基本的な使い方を理解する(4)
