AWS、Amazon S3やEFSを爆速にする「Amazon File Cache」発表。複数のストレージを単一のビューでアクセス可能に
Amazon Web Services（AWS）は、8月10日に開催したオンラインイベント「AWS Storage Day 2022」で、新サービス「Amazon File Cache」を発表しました。 Amazon File Cacheはその名の通りAWSで利用できる高速なファイルベースのキャッシュです。特徴は2つあります。 1つ目は、ミリ秒以下のレイテンシと数百ギガバイト/秒のスループットという高い性能です。Amazon S3やNFSサーバといったストレージのキャッシュとして利用することで、これらのストレージに対するアクセスを高速化できます。 2つ目は複数のストレージに対する単一のファイルビューを提供できることです。AWSの説明によると、Amazon File CacheはAmazon S3やAmazon EFSなどAWS上のストレージだけでなく、AWSからオンプレミス上のファイルサー
TrivyでAWSアカウントのセキュリティスキャンができるようになりました | DevelopersIO
中山です trivyのv0.31.0でAWSアカウントのセキュリティスキャンができるようになりました。 feat: Add AWS Cloud scanning (#2493) Releases / v0.31.0 なお、v0.31.0でスキャンを実行するとクラッシュするバグがあり、すぐにv0.31.2がリリースされました。 Releases / v0.31.2 どんな感じか気になったので、軽く触っておこうと思います。 ドキュメントを確認 まずはドキュメントを確認します。 Amazon Web Services ポイントになると思った点をまとめます。 CIS AWS Foundations Benchmark standardに準拠したチェックが可能 認証方法はAWS CLIと同じ すべてのAWSリソースに対する参照権限が必要 (ReadOnlyAccess) サービス・リージョン・リソー
GitHub ActionsでDocker Buildするときのキャッシュテクニック - cockscomblog?
GitHub Actionsでdocker buildすることが多い。このときのキャッシュをどうするかという話題。 基本 GitHub Actionsでdocker buildしてAmazon ECRにdocker pushする、典型的な.github/workflow/docker-push-to-ecr.ymlはこういう感じ。 name: Push to Amazon ECR on: push: branches: [ 'main' ] jobs: docker: runs-on: ubuntu-latest steps: - uses: actions/checkout@v2 - uses: docker/setup-buildx-action@v1 - name: Configure AWS credentials uses: aws-actions/configure-aws-c
op(1password CLI tool)のトークンをキャッシュする | DevelopersIO
はじめに opは1PasswordのCLIツールで簡単なセットアップでCLIから1Passwordの機能を利用可能です。opで各種の操作を行うにはsignin コマンドで取得できるトークンが必要ですがこのトークン自体を管理する機能はopにはありません。そこで取得したトークンをキャッシュするラッパーツールを作成してみました。 opc 作成したツール(opc)のコードはGitHubで公開しています。 使い方は以下の通りです。ACCOUNT にはop signin listで表示されるアカウント名を指定します。 USAGE: opc [FLAGS] <ACCOUNT> FLAGS: -h, --help Prints help information --refresh force refresh token cache -V, --version Prints version informat
GitHub Actionsでデプロイを並列に実行させてCI/CDを高速化してみた | DevelopersIO
開発の規模が大きくなると、CI/CDに時間がかかるようになります。特にクラウド環境を用いた開発で、インフラ構成までコードで管理している場合、差分の確認やインフラサービスの更新で処理の待ち時間が発生します。 各機能やサービスに依存関係がないのであれば、処理を並列に実行することで、デプロイ等にかかる時間を短縮することが出来ます。デプロイ以外にもビルドやテストで時間がかかっているのであれば、機能単位などに分割して並列に実行させるのも良いと思います。 本記事ではAWS環境へのデプロイをGitHub Actionsで並列に実行させてみます。 ワークフローを実装 AWS環境にデプロイするワークフローを実装します。.github/workflowsにYAMLファイルを作成すると、プッシュ時にGitHub Actionsがワークフローを実行します。 以下のワークフローでは、指定したブランチにプッシュされた
AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO
ジョブ管理システムから抜け出したくないですか? こんにちは、のんピ です。 皆さんはジョブ管理システムから抜け出したいと思ったことはありますか? 私は常に思っています。 ジョブ管理システムとは、バッチ処理やOSの起動の一つ一つの処理をジョブとして、制御・運用をするシステムです。 ジョブ管理システムを使うことによって、定型業務を自動化するなどのメリットがあります。 しかし、私が思うに、ジョブ管理システムが便利だからこその辛みもあると思っています。 私が感じるジョブ管理システムの辛いところを以下にまとめます。 ジョブ管理システムで全てのシステムのジョブネットを管理しているがために、ジョブ管理システムのメンテナンスが大変 ジョブ管理システムが停止すると、全てのシステムに影響があるため、高い可用性が求められる ジョブ管理システムによっては、エージェント毎にライセンスの購入が必要になり、大量のクライ
AWS CloudFront Pricing and Cost Optimization Guide | CloudForecast
CloudFront is AWS own CDN (Content Delivery Network). CDNs are primarily used for caching, and many customers also use AWS CloudFront CDN as a security layer, or use it to handle network spikes. With AWS CloudFront CDN, when a user requests a webpage or an image, the request is routed to one of Amazon’s 225+ edge server locations. If the edge server already has the resource cached, it’s served to
S3は巨大なKVSなのでRailsのCache storeとしても使える | うなすけとあれこれ
S3 is a Key-Value store Amazon S3 は、一意のキー値を使用して、必要な数のオブジェクトを保存できるオブジェクトストアです。 Amazon S3 オブジェクトの概要 - Amazon Simple Storage Service Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。 Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO Amazon S3の実体はKey-Value storeという事実は、既にご存知の方々にとっては何を今更というようなことではありますが、それでも初めて聞くときには驚かされたものです。 さて、Key-Value storeと聞いて一般的に馴染みが深いのはRedisでしょう。そして、RailsにおけるRedisの役割としてCac
Lambda@Edge で CloudFront キャッシュヒット率を向上させるんや！ | DevelopersIO
CloudFront はクエリ文字列毎のキャッシュが可能ですが、パラメータの順序、大文字小文字の違いによって、別のキャッシュと判断されます。Lambda@Edge でクエリ文字列を標準化し、キャッシュヒット率を向上させる方法をご紹介します。 みなさん、Lambda@Edge 使ってますか！？「いまいち使い所がわからない・・・」という方も少なくないのではないでしょうか？今回はユースケースの一例として、クエリ文字列を標準化することでキャッシュヒット率を向上させる方法についてご紹介したいと思います。 クエリ文字列のキャッシュについて理解する CloudFront では Query String Forwarding and Caching の設定により、クエリ文字列パラメータに基づいて個別にキャッシュすることが可能ですが、ここで注意したいポイントは、パラメータの順番や、大文字小文字のレベルで別の
S3をGoでマウントする - Qiita
S3をファイルシステムとしてマウントするためのデーモンをつくっています。ホームディレクトリ全体を共有できてしまえば、dotfilesまわりのセットアップを頑張らなくてもよいのでは、というのが開発の動機です。 なので、既存のS3を便利に見れるものと言うよりも、セキュアかつパフォーマンスがなるべく(ファイルによらず)フラットで高速なファイルシステムを目指しています。 juntaki/bucketsync: S3 backed FUSE Filesystem written in Go with dedup and encryption. 使い方 まずは、設定ファイルを作成します。$HOME/.bucketsync/config.ymlにファイルができます。S3のクレデンシャルが平文で入ってしまうので取扱は注意です。出力されたファイルには暗号化や圧縮のオプションがありますが、記事公開の時点では実
【朗報】Amazon CloudFrontのキャッシュ削除(Invalidation)が速くなりました【5秒で90%】 | DevelopersIO
ども、大瀧です。 本日、AWSのCDNサービスCloudFrontのキャッシュ無効化(Invalidation)高速化のアナウンスがありました。 AWS Developer Forums: Announcing Fast Invalidations 試してみた様子をレポートします。 CloudFrontのキャッシュ削除にかかる時間 CloudFrontのキャッシュ削除は、コンテンツのパス単位(ワイルドカード指定も可)で従来10〜15分程度かかっていたものです。今回のアップデートで、CloudFrontエッジロケーション(キャッシュサーバー)の90%には5秒で、全体には1分で削除が行われるようになりました。同時リクエスト数や料金などのルールは従来通りです。 では、手元のCloudFront Distributionで試してみます。キャッシュ設定は以下の通り、60秒キャッシュする状態(Defa
とある CMS を使ったサイトに Varnish を導入した話
Shin x blog Advent Calendar 2013 の 6 日目です。 とあるサイトに、Varnish をリバースプロキシとして導入して、半年が経過しました。 導入した経緯やその効果など書いてみたいと思います。 Varnish とは Varnish は、HTTP アクセラレータです。Web サーバのリバースプロキシとして動作し、キャッシュを生かして高いパフォーマンスを発揮するのが特徴です。また、VCL という独自の設定言語を持ち、これにより状況に応じた設定を柔軟に行うことができます。 導入の経緯 このサイトでは LAMP 構成の CMS を利用しており、インフラには AWS を利用しています。基本、閲覧が中心なのですが、イベント時に多数のアクセスがあります。S3 や CloudFront も検討したのですが、コンテンツを数分おきに更新する必要があるので今回は採用しませんでした
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
