Sorry..., Page Not Found. お探しのページは見つかりませんでした。 でも、Developers.IOでは日々たくさんの技術記事やイベント情報が公開されています。 いま気になる技術を探しに行きましょう! Developers.IOへ
こんにちは、せーのです。今日はまさにAWSらしい、痒い所に手が届くアップデートをご紹介します。 CloudFrontのTTL CloudFrontはそんなに頻繁に更新しないような画像、JS、CSSファイル等のキャッシュに使うのであれば特段の設定なく絶大な威力を発揮しますが、威力が絶大故になかなか思い通りに動いてくれない、というお話もよく聞きます。その内の一つが「キャッシュTTL」に関する設定です。まずはこの記事を御覧ください。 CloudFrontのキャッシュ時間(TTL)はどの程度なのか 例えばS3の画像をCloudFrontで配信する場合、24時間がデフォルトでキャッシュされます。何も設定を加えなければ画像を差し替えようが削除しようが24時間は同じ画像が表示され続けます。これを15分くらいのキャッシュでどんどん更新していきたい、という場合は各画像オブジェクトに対してmeta-dataで
あらすじ AWS上にWEBサービスを構築しておりました所、徐々に全体的なレスポンスが悪化していっておりました。よくあることです。計測してみた所、サマリ結果をキャッシュしていたElastiCacheのRedisがネックになっていた事が発覚しました。 更に詳細に計測してみると、どうやらRedisに対するSETになんか8秒ほどかかっている模様、おっと、何かがおかしい。 現場は騒然とし始めます。一刻も早くこのボトルネックを潰さないと大変なことになる、こうして我々の残業はスタートを切りました。 こうした試行錯誤の顛末が、誰かの役に立てばと思ってこの記事を残します。 結論先取 ElastiCacheの弱いインスタンスはネットワーク帯域が狭い ElastiCacheのデフォルトのインスタンスが r3.large なのには意味がある キャッシュをしたけりゃ現金を払え GETしか絞れないSLOWLOG、そし
はじめに サーバーレス開発部@大阪の岩田です。 AWS IoTに対して負荷テストを行う機会があったのですが、負荷テストツールのLocustとECSを組み合わせることで、スケール可能な負荷テスト環境が構築できたので手順をご紹介します。 Locustとは まず、Locustについて簡単にご紹介します。 LocustはPythonで記述された分散型の負荷テストツールです。 公式サイトはこちら Pythonのコードでテストシナリオが記述できる master - slave構成を取ることができ、slaveを増やすことで簡単にスケールアウトすることが可能 WebのUIが提供されている といった特徴があります。 WebのUIはこんなイメージです。 Locustを選定した理由 負荷テストのツールを選定する際に、Locustの対抗馬としてJMeterとGatlingが候補に上がっていたのですが、両ツールとも
はじめに 本記事では私なりの CloudFormation を少しでも楽にメンテするノウハウを説明します。 この記事で触れること AWS CloudFormation の (私なりの) 作成・メンテ手順 Templateファイルをどうやって書くか スタックの作成、更新手順 テスト・CI・動作確認の流れ AWS CloudFormation の組み込み関数 AWS CloudFormation Change Sets AWS CloudFormation Cross Stack Reference この記事で触れないこと AWS の説明 「これから AWS を触るんです!」という方には色々と説明不足な点があると思いますがご了承下さい CloudFormation ヘルパースクリプト cfn-init とか cfn-signal など 私にはベストプラクティスを説明できる自信がないので省いてい
Amazon CloudFrontの使いどころ Amazon CloudFrontはオリジンサーバの代わりにコンテンツをキャッシュして配信してくれるサービスです。キャッシュの入っているサーバをエッジサーバと言います。東京リージョン内では、東京と大阪にエッジロケーション(エッジサーバが置いてある場所)があります。全世界で数十拠点あり、1つのオリジンサーバから全世界に配信することができます。オリジンサーバには、S3かWebサーバの載っているEC2インスタンスかAWS管理下かどうかに関係なくドメイン名を指定することができます。 キャッシュを指定する場所 Webサーバがコンテンツをユーザに届ける際、どの程度キャッシュするか指定します。CloudFrontを使う場合、オリジンサーバのキャッシュ時間を引き継ぐか、独自に設定することができます。キャッシュする時間が長ければオリジンサーバへの負荷はもちろん
はじめに おはようございます、加藤です。す...すごい機能がリリースされました!AWS Systems Mangerの新機能でセッションマネージャーという機能です。 一言で言えば、「EC2インスタンスにSSH・RDPで接続せずにブラウザ上からCLI操作ができる機能」です。ブラウザがSSHクライアントとして動作している訳でなく、制御はSSMによって実現されています。 セキュリティグループのインバウンド設定や踏み台ホストを作ること無く安全にEC2インスタンスへ接続できちゃいます!テンション高まる! やってみた 前提 SSMエージェントのバージョンが2.3.12以上である必要があります(2018/09/12 09:00 時点で起動したインスタンスはアップデート必要と思われます) 作成済みのインスタンスの場合はRun CommandのAWS-UpdateSSMAgentを使うなどしてバージョンアッ
Amazon Web Services ブログ Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社はごく一握りだからです。 では、そのような恵まれた環境ではないとしましょう。機械学習用の準備作業の中で、フォーマットの異なるデータセットを統合し、データの分析や可視化を行ううえでの支援が必要なら、ぜひこの記事をお読みください。 このブログ記事では、Amazon SageMaker で、大量の企業データを予備解析する方法について説明します。Amazon SageMaker では、Jupyter ノートブックが動作しており、企業のデータレイクの中
はじめに Amazon SageMakerは、機械学習のモデルの学習からホストまで行うことができる、フルマネージドサービスです。 当エントリでは、Amazon SageMakerの組み込みアルゴリズムのハイパーパラメータチューニングを行う際に詰まった内容とその解決策について紹介します。 詰まった内容 Amazon SageMakerで組み込みアルゴリズムの画像分類を使ったモデルのハイパーパラメータチューニングを実行した際に、エラーが出て学習が止まってしまいました。 エラーの内容は次の通りです。 ClientError: Additional hyperparameters are not allowed (u'sagemaker_estimator_module', u'sagemaker_estimator_class_name' were unexpected) (caused by
つまりは、オートスケールやタスク数設定によるコンテナ増減に連動して、Route 53のレコードが自動的に書き換えられるということすね。 従来から存在したRoute 53のAuto Naming 実は弊社大瀧が書いた、下記記事に有るように、Route 53のAuto Naming APIを利用したサービスディスカバリー実装の機能自体はありました。 Amazon Route 53 Auto Namingでサービスディスカバリを実現する | Developers.IO 今回紹介する機能は、これをECSに拡張したものと言えます。 実際にECSサービスディスカバリーを設定してみる 前置きが長くなりましたが、実際にECSに登録する様子を見てみましょう。既に、既存のECSクラスターとタスク定義がある前提で解説していきます。 従来どおり、ECSのサービスを作成していきます。今回は起動タイプもFARGATE
うまい棒好き「この写真にはうまい棒が何個写っている??」 AI「コンポタ味が3本、チーズ味が2本、めんたい味が1本写っています。」 このようなシーンを実現したい人がいるかどうかはわかりませんが、SageMakerの物体検出アルゴリズムを使って、このシーンを実現するための学習モデル(うまい棒検出モデル)を作ってみました。 少し長くなりますが「物体検出を手軽に始めたい方」は是非見ていってください。 目次 商品画像取得 画像増幅 アノテーション S3へのアップロード SageMakerで学習モデル構築/エンドポイント作成 推論 エンドポイント削除 開発環境 macOS High Sierra 10.13.6 Python 3.6.3 Pillow 5.2.0 awscli 1.15 商品画像取得 3種類のうまい棒を検出します。そのために今回は40枚の画像を用意しました。 うまい棒が1〜2本写って
コンニチハ、千葉です。 AWS Batchを導入する機会があり、やったこと、設計したことなどをまとめました。 AWS Batchってなに?は、こちらにまとめましたので御覧ください!前提知識として必要になります。 本エントリーでは、設計時に考えたことをまとめます! ECR Dockerコンテナを格納するリポジトリが必要になります。プライベートリポジトリであるECRを利用しましょう。リポジトリを利用する認証もIAMロールで対応できるのでシンプルに利用できます。 AWS Batch環境の作成前に、リポジトリを作成しダミー用コンテナイメージをアップしておきましょう。 IAMロール 必要なIAMロールです。AWS Batch作成前に事前に作成しました。EC2のインスタンス用とコンテナ用の2種類が必要になります。 EC2インスタンス用ロールとしては、「AmazonEC2ContainerService
This document summarizes an AWS webinar on Amazon Simple Email Service (Amazon SES). It discusses how Amazon SES can be used to send emails using SMTP or APIs. It also covers topics like delivery optimization, reputation management, and monitoring email sending activity. Configuration options like dedicated IPs and suppression lists are presented as ways to improve deliverability.
はじめに 皆さまがシステムを運用にするあたり、様々な不安を抱えていらっしゃると思います。 そういったよくある「不安」を書き出し、解消するための対策や参考ページなども記載しましたので、本記事をご覧いただいている皆さまには抱えている不安を淡々と潰していただければと思います。 【ケース1】大量のアクセスによる高負荷への不安 近日中に Web サイトの広告を出す予定だが、現状のままで増加するアクセスに対応できるのか不安がある 以下のような対策が考えられます ELB(Elastic Load Balancing)を使用し、Webサーバー(Amazon EC2)の複数台構成にする アクセス数や負荷に応じて自動で Webサーバー(Amazon EC2)の台数を増やす(スケールアウト)、減らす(スケールイン)ために AWS Auto Scaling を使用する ELB の暖機申請(予め AWS へ連絡して
大栗です。 先程EC2のドキュメントのDocument Historyを眺めていたらAutomate snapshot lifecycleというFeatureが有りました。何やら新機能みたいなので調べていたら、EBSスナップショットの世代管理などをやってくれるサービスが登場した模様です!早速レポートします。 Automating the Amazon EBS Snapshot Lifecycle Amazon DLM Amazon Data Lifecycle Manager (Amazon DLM)を使用するとEBSのバックアップであるスナップショットの作成、保存、削除を自動化できます。 定時バックアップをスケジュールして貴重なデータを保護します。 監査人または社内のコンプライアンスが要求する期間バックアップを保持できます。 古いバックアップを削除してストレージコストを削減します。 Am
概要 こんにちは、yoshimです。 先日は「ネジ画像」の分類に挑戦したのですが、イマイチな結果でしたので、再挑戦してみようと思います。 先日の敗因は、「データサイズが小さかったこと」が一番の原因かと思ったので、今回はデータサイズを少し増やしてみました。 (まだ少ないかもしれないけど...) また、上記のデータだけではまだ不足していると思ったので、学習時のハイパーパラメータで指定できる「augmentation_type」も使ってみました。 (データ拡張のオプションです。) 「データ拡張」を使うことで良い結果を得られるといいなぁ...。 目次 1.最初に 2.データの準備 3.実際にやってみた(「Data Augmentation」なし) 4.実際にやってみた(「Data Augmentation」あり) 5.まとめ 6.引用 1.最初に 今回は先日ご紹介したチュートリアルに沿って、ネジ画
こんにちは、菊池です。 小ネタです。S3やDynamoDBなど、AWSのパブリックサービスへのアクセスにVPC Endpointを利用すると、パブリックIPを持たないEC2インスタンスからもAWSネットワークを経由してアクセスが可能です。この、VPC Endpointを経由したアクセスですが、利用できるのはVPCと同じリージョンのエンドポイントのみとなります。 VPC Endpointを経由するアクセス VPC Endpontはリージョンに紐付くサービスなので、その先のエンドポイントにルーティングできるのも同じリージョンのサービスに限定されます。 注意したいのは、S3の場合です。S3のバケット名は全リージョンでユニークなので、AWS CLIなどでアクセスする際には、リージョンを明示的に指定しなくてもバケット名のみでアクセスすることが可能です。しかし、アクセスするリージョンを明示的に指定する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く