Best practices design patterns: optimizing Amazon S3 performance - Amazon Simple Storage Service
Best practices design patterns: optimizing Amazon S3 performance Your applications can easily achieve thousands of transactions per second in request performance when uploading and retrieving storage from Amazon S3. Amazon S3 automatically scales to high request rates. For example, your application can achieve at least 3,500 PUT/COPY/POST/DELETE or 5,500 GET/HEAD requests per second per partitione
Azure を触ったことのあるエンジニアが AWS で AlwaysOn 可用性グループを構築しようとした際のメモ at SE の雑記
Azure は多少触ったことがあったのですが、AWS はあまり触ったことがないので、AWS 上で AlwaysOn を組もうとした際にいろいろと調べたメモを。 調べながら、適宜追記していきたいと思います。 組んでみて思ったのが「マネージドなデータベースサービスを使うのがよい」ですのぅ。 基本的な情報 AWS 上で AlwaysOn を組むための情報は、以下を読むとよいかと。 Implementing Microsoft Windows Server Failover Clustering and SQL Server AlwaysOn Availability Groups in the AWS Cloud Microsoft WSFC and SQL Server AlwaysOn Quick Start Reference Deployment AWS Webcast – Implem
スポットインスタンスアドバイザー | AWS
スポットインスタンスアドバイザーは中断する可能性が最も少ないプールを判断して、オンデマンド料金を削減できます。スポットインスタンスを選択する前に、お客様はアプリケーションの中断をどの程度許容できるか、およびコスト削減の目標を比較検討する必要があります。中断の頻度が低いほど、スポットインスタンスを利用できる時間は長くなります。 ヒント: 多数のインスタンスタイプにアプリケーションをデプロイすることで、可用性がさらに向上します。複数のインスタンスタイプとアベイラビリティーゾーン全体における多様性を簡単に実現できる EC2 Autoscaling の使用を検討してください。 中断される頻度が低いインスタンスタイプから開始し、アプリケーションの柔軟性と耐障害性が向上するにつれてインスタンスタイプをさらに追加していくことをお勧めします。詳細なヒントやコツについては、ベストプラクティスのセクションをご
New – EC2 Spot Blocks for Defined-Duration Workloads | Amazon Web Services
AWS News Blog New – EC2 Spot Blocks for Defined-Duration Workloads Update July 2021 – Spot Instances with a defined duration (also known as Spot blocks) are no longer available to new customers as of July 1, 2021. For customers that have previously used the feature, we will continue to support Spot Instances with a defined duration until December 31, 2022. If your workload is interruption tolerant
共有 Linux AMI のガイドライン - Amazon Elastic Compute Cloud
セキュリティのガイドラインのリストは、いずれも完全ではありません。共有 AMI を注意深く作成し、機密データが漏洩される可能性について十分考慮してください。 AWS Marketplace の AMI を構築する場合は、AWS Marketplace 販売者ガイドの「AMI 構築のベストプラクティス」で、ガイドライン、ポリシー、ベストプラクティスをご参照ください。 AMI の安全な共有についての詳細は、次の記事を参照してください。 使用する前に AMI ツールを更新する Instance Store-Backed の AMI の場合、使用する前に、AMI で Amazon EC2 AMI 作成ツールをダウンロードして、アップグレードすることをお勧めします。これにより、共有 AMI に基づく新しい AMI に最新の AMI ツールが与えられます。 Amazon Linux 2 では、aws-
AWSアカウント作ったらこれだけはやっとけ！IAMユーザーとAuthyを使ったMFAで2段階認証 - Qiita
AWSアカウントを安全に運用したいなら最低限これだけはやっとけというTIPSです。 0.AWSのアカウントの種類 AWSアカウントを作ったときには、AWSのrootアカウントしか存在していません。 このままだと「メールアドレス」「パスワード」で「AWSリソースの操作が何でも」できてしまいます。 そこで管理コンソールへのログインはMFA(Multi-Factor Authentication)を利用したうえで、root以外にIAM Userというアカウントを作成し、限定した権限で利用することが強く推奨されています。 rootアカウント：AWSアカウント作成時に作成される何でもできるユーザー IAMユーザー：権限を限定して設定できるユーザー 1.Authyのセットアップ 2段階認証を導入するためにハードウェア型のMFAデバイスか、ソフトウェア型のVirtual MFAが使用可能です。今回はVi
re:InventでのLogglyの分散ストリーム処理環境に関するセッションが面白かったのでまとめておく - すずけんメモ
さきほど帰国。parse.comのメモに引き続き、re:InventでのLogglyのセッションについてもまとめておく。 【追記 2013/11/20 9:20】スライドがupされていたので貼っておきます。 要約すると、 お客さんから大量に送られてくるログをリアルタイムに捌くためのシステム 最初の設計ではSolrCloudを利用していた 第二世代ではElasticsearchを利用。システム全体としてElasticな環境に。 基本環境はKafka + Stormな構成 セッションの情報は以下のとおり。 ARC303 - Unmeltable Infrastructure at Scale: Using Apache Kafka, Twitter Storm, and Elastic Search on AWS This is a technical architect's case stu
ElastiCache Redis Engineのベンチマークともろもろ - まめ畑
Amazon Web Services Blog: Amazon ElastiCache - Now With a Dash of Redis で本日ElastiCacheでRedisが使えるようになりました。今まではmemcachedだけでした。 (同時にAmazon Web Services Blog: More Database Power - 20,000 IOPS for MySQL With the CR1 Instance も発表されています) 基本的なこと 機能 Replication GroupsによるRedisレプリケーションのサポート Replication Groupsは1ノード毎にSlaveとなる、Endpointは各ノード毎にアサインされる Masterへは統一のEndpoitが与えられ、Read replicaをmasterにpromoteしてもendpoin
Amazon EC2インスタンスに簡単にSSHできるようになるツールec2sshを公開しました - 昼メシ物語
みんなが大好きなクラウドホスティングサービスのAmazon EC2ですが、インスタンスをバンバン立てたり落としたりしていると、ホスト名の管理が面倒になってきますよね。たとえば「さっき立てたインスタンスにSSHしたい！」と思ったら、consoleをひらいて、「ec2-xxx-xxx-xxx-xxx.compute.us-west-1.compute.amazonaws.com」なPublicDNSをターミナルにコピペして…みたいな面倒な事をやってしまいがちです。 これを避けるためには、~/.ssh/configをマメに更新したりするといいのですが、これはなかなか面倒な作業です。インスタンスは一旦StopしてRunし直すと、IPが変わってしまいますからね。 そこでec2sshの登場です ec2sshは、インスタンスのNameタグからホスト名を生成して、~/.ssh/configに書きこむツール
開発メモ#2 : AWS でのホスト / クラウドネイティブなデプロイ - naoyaのはてなダイアリー
開発メモ#1 : Cinnamon によるデプロイ - naoyaのはてなダイアリー に引き続き、その2です。 最近は個人で作るような小規模なものでも AWS を利用してホストしています。たとえ個人で作ったものとはいえ、利用するユーザーがいる以上はおいそれと落とすこともできない。かといって運用にあまり手間をかけたくない。その辺り、AWS で解決できる点が多い。 AWS の良いところはインフラが動的なので「後からどうとでもなる」ところ。 インスタンスの性能が足りないのであればスケールアップするでもいいし、冗長性が欲しくなったらそのタイミングで ELB (ロードバランサ) を用意すれば良い。その時、仮想化されていないハードウェアを使っていると移行のためにサーバーを再セットアップしたりアプリケーションをデプロイし直したりと手間がかかるところ、AWS ではその辺りの手間がほとんどかからない･･･と
Amazon SESでメールクライアントからSMTP送信を行う | DevelopersIO
Amazon SES Amazon Simple Email Service(SES)は、その名の通りAPIを使って大規模なEメール配信を行うサービスです。最近、メールクライアントからSMTP送信に対応しましたので、APIを使わずとも簡単にメール配信を行えるようになりました。 Management Consoleの確認 Amazon SESは、Management Consoleから動作確認を行うことができます。スパム防止のため、事前に送信アドレスを登録する必要がありますが、今回は手順について説明は割愛します。 SMTPの設定について SMTP設定について説明があります。SMTPサーバー名、ポート番号、TLS使用の有無などです。ここで、SMTP送信をするユーザーの作成を行います。 IAMユーザーの作成 SMTP送信を行うために権限を付与したユーザーを作成します。このユーザーはIAM(Ide
サイトを Amazon S3 に移行しました - WebOS Goodies
WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 遅ればせながら、新年明けましておめでとうございます。今年もよろしくお願いいたします。 2008 年に移行してからずっと XREA で動いていたこのブログですが、さすがにこのご時世にレンタルサーバーはないだろということで、年末年始の休みを利用して Amazon S3 に移行してみました。 DNS は以前から Route 53 に移行済みなので、サイトのほぼ全体で 9
トップページ - 株式会社ハイファイネット
移転のお知らせ （株）ハイファイネットは2013年9月1日をもって下記の住所に移転いたしました。 「〒194-0004 東京都町田市鶴間2-2-1」 永らく御利用頂きました関内事務所は閉鎖いたしましたので、宜しくお願い致します。 最新情報 最新情報がありません。
続：Amazon Clusterインスタンスで計算: 週記
震災から2週間が過ぎました。 まず、今回の震災で被害に遭われた方々、またご家族が被害に遭われた方々にお見舞い申し上げます。 被災地域直接ではありませんが、震災の影響範囲に私なりに少しでも出来ることをと考え、この記事を書くことにしました。 ご存じの通り、現在の東日本では電力状況が切迫しており、輪番停電が実施されております。 これは、計算機クラスタを日常的に研究に使う者にとっては非常に厳しい状況です。 各研究室で所有しているクラスタも、節電と輪番停電のため動かせない状況が続いていると伺っています。 また、外部計算リソースについても、現在の日本の外部利用可能な計算機の状況を@plus7さんがブログで纏めて下さいました。これはほぼ壊滅的と言って良い状況です。 そこで、本記事ではAmazon Elastic Compute Cloud (EC2)を使って、即席計算リソースを作る手順を記述してみようと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - yoshiori/mock_aws_s3_on_memory: This is a simple gem for mocking out the AWS::S3 library.
https://www.usenix.org/system/files/conference/hotcloud12/hotcloud12-final40.pdf
script to sync folder to s3 using cron and s3cmd – PissedOffAdmins
GitHub - pearltrees/s3cmd-modification: Based on s3cmd (s3tools.org), forked as of revision 437. NEW: Parallel workers (get,put,sync,cp,mv). Add --directory filter option on ls. Support python 2.5.2.
My New Hugo Site
Free Tokyo PNG Images with Transparent Backgrounds - FastPNG.com