［速報］Amazon OpenSearch Serviceをサーバレス化する「Amazon OpenSearch Serverless」プレビュー版登場。AWS re:Invent 2022
［速報］Amazon OpenSearch Serviceをサーバレス化する「Amazon OpenSearch Serverless」プレビュー版登場。AWS re:Invent 2022 Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開催中です。 2日目の基調講演では、検索エンジンサービスのAmazon OpenSearch Serviceをサーバレス化するオプション「Amazon OpenSearch Serverless」プレビュー版が発表されました。 Amazon OpenSearch Serviceは、Elasticsearchから派生した検索エンジンサービスです。ログファイルやドキュメントなどの検索、解析などを実行できます。 もともとはElastic社がオープンソースで開発していたElasticsearc
Amazon SQS を使ったアプリケーションを本番で運用する際に考慮すべき基本的な 5 つのこと
Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5
Amazon ECS and AWS Fargate support for Amazon EFS File Systems now generally available
Amazon Elastic Container Service (ECS) tasks running on both Amazon Elastic Compute Cloud (EC2) and AWS Fargate can now mount Amazon Elastic File System (EFS) file systems. ECS tasks using EFS will automatically mount the file systems specified by the customer in the task definition and make them available to the containers in the task across all availability zones in the region. This enables pers
Amazon ECS タスク定義のコンテナ依存関係を可視化する - 酒日記 はてな支店
Amazon ECS のタスク定義には、タスク内のコンテナの起動と終了の順序を制御する依存関係が定義できます。 docs.aws.amazon.com アプリケーションのコンテナと、アプリケーションが依存しているミドルウェアのコンテナがあった場合、依存を定義すると タスク開始時にミドルウェアが起動してからアプリケーションが起動する タスク終了時にアプリケーションが停止してからミドルウェアが停止する というような制御が可能です。 graphviz による可視化 しかし依存関係が複雑になると、JSON で文字列で書いただけでは実際にどう依存しているのかがよく分からないし、間違ってループを作ってしまうと起動できないので事前に確認したい、ということで可視化してみました。 これはとあるアプリケーションタスクの依存関係を、task definition の JSON から graphviz 用の .d
Amazon Linux AMI から Amazon Linux 2 への移行のためのプレアップグレードアシスタントのご紹介
Amazon Linux を実行しているインスタンスでプレアップグレードアシスタントを実行し、パッケージ、ライブラリ、サービス、コマンドラインオプション、設定ファイルの非互換性をチェックできます。プレアップグレードアシスタントによって、潜在的な非互換性の概要が記載されたレポートが作成され、非互換性を軽減するための提案が提供されます。Amazon Linux AMI 向けのプレアップグレードアシスタントモジュールは、Apache 2.0 オープンソースライセンスのもと、GitHub で利用可能です。 Amazon Linux 2 は次世代の Amazon Linux オペレーティングシステムです。お客様は長期サポートを受けながら、Linux コミュニティによる機能拡張が施された最新のアプリケーション環境を活用できます。AWS では、Amazon Linux 2 への移行を促進するために、Am
Amazon Kinesis Data Firehose がカスタム Amazon S3 プレフィックスのサポートを発表
本日、Amazon Kinesis Data Firehose がカスタム Amazon S3 プレフィックスのサポートを発表しました。これによりデータ配信向けの S3 パスの設定がより柔軟になります。 この新しい機能により、お客様は ETL (抽出、変換、ロード) ワークフローを簡素化および高速化し、データパーティションを有効にしてクエリパフォーマンスを向上させることができます。 Apache Hive フォーマット、および Java の DateTimeFormatter クラスにサポートされたタイムスタンプフォーマットを使用して、Amazon S3 プレフィックスをカスタマイズできるようになりました。
Amazon ECSを安定運用するためにやっていること コンテナインスタンス、ログ、モニタリングにおける工夫
2018年11月28日、クックパッド株式会社が主催するイベント「Cookpad Tech Kitchen」が開催されました。第20回となる今回のテーマは「クックパッドのマイクロサービスプラットフォーム現状」。クックパッドが開発を行っているマイクロサービスプラットフォームの今と、その仕組みについて解説します。プレゼンテーション「Amazon ECS の安定運用のために」に登壇したのは、鈴木康平氏。クックパッドにおけるAmazon ECSの運用事例と工夫していることについて解説します。講演資料はこちら Amazon ECSの安定運用 鈴木康平氏：「Amazon ECSの安定運用」というタイトルで発表したいと思います。今回のアウトラインとしては、「ECSをどう使うか」みたいな話ではなくて、そのECSを運用していく上でこんなことやっていますよということを話していければなと思います。 内容としては、
Amazon ECSサービスの新しいDAEMONタイプでECSインスタンスごとにコンテナを配置する｜Developers.IO
ども、大瀧です。 AWSのDockerコンテナ管理サービスAmazon ECSの管理画面を眺めていたら、ECSサービスの設定画面にサービスタイプという項目が追加されていました。本記事ではサービスタイプとして新たに追加されたDAEMONタイプをご紹介します。 ECSサービスとDAEMONタイプ ECSではDockerコンテナの実行数や配置を管理するECSサービスという機能があり、従来はDockerを実行するホスト(ECSインスタンス)の配置ルールをある程度決める一方で、1ホスト1コンテナと配置する仕組みがありませんでした。今回追加されたDAEMONタイプは、ホストの増減に合わせて1コンテナずつ実行する新しいECSサービスの設定です。なお、DAEMONタイプの追加に伴い、従来のルールベースのECSサービスはREPLICAタイプと分類されるようになりました。 設定方法と動作確認 動作確認環境 :
最新のECS-optimized AMI IDをParameter Storeから取得できるようになりました（Amazon Linuxもあるよ） | DevelopersIO
はじめに 中山（順）です 以前、Windows Serverの最新AMI IDを取得する方法をご紹介しました。 パラメーターストアから最新のWindows AMIのIDを取得する 同様に、ECS-optimized AMI IDもパブリックパラメーターストアから取得できるようになりました。 Amazon ECS provides ECS-Optimized AMI metadata via SSM Parameters また、いつアナウンスされたのか全く気がつきませんでしたが、Amazon LinxuについてもAMI IDが取得できるようになっていました。 やってみた 早速、AWS CLIで取得してみたいと思います。 ECS-optimized AMI ID Value自体がJSONのため、以下のようにして抽出しました。 aws ssm get-parameters \ --names /
Amazon Athena のパフォーマンスチューニング Tips トップ 10 | Amazon Web Services
Amazon Web Services ブログ Amazon Athena のパフォーマンスチューニング Tips トップ 10 2020/10/13 に、原文の更新に合わせて最新のバージョンにアップデートしました Amazon Athena は、S3 に保存されたデータに対して標準 SQL で簡単に分析を行える、インタラクティブクエリサービスです。Athena はサーバーレスのためインフラ管理の必要がなく、また実行したクエリのぶんだけ料金を支払うかたちになります。Athena は簡単に使えます。Amazon S3 上のデータに対してスキーマを定義し、標準 SQL でクエリを投げるだけです。 このブログポストでは、クエリパフォーマンスを改善するための 10 個の Tips をご紹介します。Tips には、Amazon S3 に置かれたデータに関するものと、クエリチューニングに関するものがあ
Amazon Glacier からデータを取り出すときには気をつけようね - takatoshiono's blog
注意 この記事は2014年7月5日時点の情報に基いて書かれています。Amazon Glacierの最新の料金体系についてはAmazonの公式ページをご参照ください。 料金 - Amazon Glacier | AWS よくある質問 - Amazon Glacier | AWS 昨日の出来事 Amazon Web Services から6月の請求が来た。 Total: $20.30 あれ、なんか高いぞ・・。 ちなみに先月は 0.18 ドルだった。 やっぱり高すぎる。 内訳を見たら以下のようになっていた。 たしかに先月 Glacier のデータをリストアしたけど、なんだこの 1,633.224 GB というばかでかい数字は・・。こんな大きいデータリストアしてないし、そもそも持ってない。 調べた Amazon Glacier のリストア料金は「ピーク復元レート」というのに基づいて計算される。ピー
Dynamo: Amazonの高可用性Key-value Store[和訳]
Dynamo: Amazonの高可用性Key-value Store.markdown Dynamo: Amazonの高可用性Key-value Store[和訳] 原題：Dynamo: Amazon’s Highly Available Key-value Store 原文: Amazon's Dynamo - All Things Distributed (PDF Version) This article is translated by @ono_matope. Please contact me if any problem. Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, Gunavardhan Kakulapati, Avinash Lakshman, Alex Pilchin, Swaminathan Sivasubram
![Dynamo: Amazonの高可用性Key-value Store[和訳]](https://cdn-ak-scissors.b.st-hatena.com/image/square/1ef26f6cb4349557952890dbe3e567f7f98dc151/height=288;version=1;width=512/https%3A%2F%2Fgithub.githubassets.com%2Fassets%2Fgist-og-image-54fd7dc0713e.png)
MongoDB on AWS
MongoDB on AWS Guidelines and Best Practices Rahul Bhartia May 2015 Amazon Web Services – MongoDB on AWS May 2015 Page 2 of 30 © 2015, Amazon Web Services, Inc. or its affiliates. All rights reserved. Notices This document is provided for informational purposes only. It represents AWS’s current product offerings and practices as of the date of issue of this document, which are subject to change wi
現場志向でELBについて考える | TecTec Cloud
ELBについて深く知りたくなってしまったので、改めて調べたり聞いたりした。 今回そもそも知りたかったポイントは下記の2点 ELBがどういう仕組みで膨大なトラフィックに耐えているのか ELBで稀に障害が発生するみたいなので、その影響をなんとか回避できないか ELBの概要 内部仕様に踏み込む前に、改めて概要と基本機能を確認。 ELBの役割 ELB（ElasticLoadBalancer）は、Webトラフィックを配下のEC2Instanceに適切に分散してバランスを取る仕組み、いわゆるロードバランサー。なぜ分散させる必要があるかというと、1台のサーバで処理可能なトラフィックには限りがあるから。また、AutoScalingや、Zone間分散（Multi-AZ）といった構成をとる為にも必要となる。 ELBの基本機能 ELBの基本機能は、高負荷システムにおいて、肝となる重要なものばかり 負荷分散
EC2でEBSベースのAMIをRegion間移行する方法 at nkjmkzk.net
Virtualization, Operating System, Storage, Cloud ComputingEC2をしばらく使っていると、クラウドといえどRegionというのはかなりハードなパーティションであることがわかります。あるRegionで作成したSnapshot, Volume, AMI, InstanceはそのRegionでしか利用することができませんし、Region間通信にPrivateセグメントは利用できません。 S3ベースのAMIに関してはRegion間移行するためのAPIが用意されているのですが、EBSベースのAMIについてはRegion間移行を行う手段は提供されていません。つまり、例えばUS Eastで作成したAMIをAP North Eastでも使えるようにしたい場合にそれを簡単に実現するためのツールがないということです。Amazonさんの勢いからするとその内
Amazonクラウドの大規模障害、そのときに内部で何が起きていたのか？ 日本語での要約
4月21日から23日のあいだ、Foursquare、Quora、Herokuなど多くのサービスに影響を与えたAmazonクラウドの大規模障害。このとき実際にどのような障害が発生していて、どう対応したのか、詳しい日本語での資料がAmazonから公開されています。 この資料は非常に詳細に記されているため、短時間で内容を把握できるものではありません。そこで本記事では資料からポイントを引用し、要約してみました。 以下からの記事はあくまで独自に内容を要約したものです。正確な情報は原文をご覧ください。 今回発生した障害とは何だったのか？ 今回発生した障害を手短にまとめると、米国東 (US East) リージョンにおける一部のアベイラビリティゾーンにおいて、Amazon Elastic Block Store (EBS) で読み込み、書き込み操作が行えなくなる、という現象でした。 そして障害の影響は一部
さくらのVPSにVyattaを入れて、Amazon VPCにVPN接続 - kikumotoのメモ帳
第８回JAWS-UGに参加して、そこで富士ソフトの飯尾さんが話したVPCの話題、面白かったです。 ということで、年内にAWS東京リージョンに追加されるはずのVPCを試しおかなきゃ、、、、 といっても、ネットワーク装置なんて持ってないので、さくらのVPSにVyattaを入れて接続することを試みたのでそれをメモしておく。 さくらのVPSにVyattaをインストール これは、 さくらのVPSにVyattaをインストール – BLOG.KAWATASO.NET を参考にして実施。 Amazon VPCの構築 今回は、AWS Management Consoleを使ってVPCを構築する。 以下のような流れで画面を操作する。 VPC タブを選択 Region は "US East" を選択 "Get started creating a VPC" ボタンをクリック "VPC with a Privat
Amazon EC2上にCentOS4系のAMIを作成する手順 - サーバーワークスエンジニアブログ
こんにちは！サーバーワークスでインフラを担当しています、柳瀬です。 先日CentOS4系のインスタンスをAWS上で動かしたいとう依頼を受けてEC2のインスタンスを作成した事がありました。 基本的な手順はCentOS5系の場合と同じですが、今回のエントリではその作成手順を記載したいと思います。 AmazonEC2のシンガポールリージョンにEC2インスタンスを起動し、CentOS4系のAMIを作成しました。 CentOS4系のインスタンスには以下のソフトウェアをインストールしておいて下さい。 ec2-api-toolsec2-ami-toolsec2-metadata 大まかな作業手順は以下の通りです。 作業環境の準備、CentOS4イメージ作成EBSの準備、CentOS4イメージの流し込みSnapShotからAMIの作成インスタンスのテスト起動 作業環境での準備、CentOS4系イメージ作成
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: みんなのGo言語【現場で使える実践テクニック】: 松木雅幸 (著), mattn (著), 藤原俊一郎 (著), 中島大一 (著), 牧大輔 (著), 鈴木健太 (著), 稲葉貴洋 (イラスト): 本
http://agilecatcloud.com/2011/12/15/%E3%82%AF%E3%83%A9%E3%82%A6%E3%83%89%EF%BD%A5%E3%82%B9%E3%83%88%E3%83%AC%E3%83%BC%E3%82%B8-%E3%81%AE%E6%80%A7%E8%83%BD-%E3%83%81%E3%83%A3%E3%83%B3%E3%83%94%E3%82%AA%E3%83%B3%E3%81%AF-amazon-s3/