EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers
概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際のオペレーションミスが目立ったのが懸念点でした。 その為、まずはAWSマネージド化するための基盤を整備し、その後バッチアプリを載せ替えていくようにしました。 対応前の基盤構成 同じSREチームの安藤さんが CloudNative Days Tokyo 2023 で登壇されたときの資料をお借りします。 ご覧の通り、大体のサービスはマネージド化していましたがバッチ基盤だけは旧来のままEC2インスタンスを利用していました。 10年モノのサービスのインフラを漸進的
S3に静的ページを独自ドメインを利用してホスティングする - RAKUS Developers Blog | ラクス エンジニアブログ
始めに 弊社では、数行と画像１枚の静的ページを表示させるためだけ に、1台サーバーを構築し保守運用してました。 それだけのために、1台のサーバーを保守運用するの馬鹿らしくね？？？？？？ ＼＼＼うん！馬鹿らしい／／／ ということで、AWS上に移行すること となりました にしました。 今回は、S3とCloudFrontを利用して静的ページを表示させる設定をご紹介させていただきます。 初歩的な内容となりますので、これから静的ページを作りたいんだけど！といった方向けの内容となります。 始めに 要件 構成について AWSの利用サービス 構成図 実際の設定手順 S3設定 1. バケット作成 2. indexファイルのアップロード CloudFront設定 1. ディストリビューションを作成 2.ポリシー設定 3.接続確認 Route53 設定 1. カスタム SSL 証明書発行 2. CNAME登録
TerraformとCloudFormationで学ぶインフラ構築の自動化 - Qiita
この記事はNuco Advent Calendar 2022の11日目の記事です。 インフラに関わるエンジニアにとって必須の知識であるIaCについて書こうと思います。 IaCは、Infrastructure as Codeの略であり、「インフラのコード化」と言われたりします。 ここ最近はクラウドを使った開発では、IaCが当たり前になっていると感じています。 この記事で得られること IaCの基本知識（IaCとは？ なぜ使うのか？ どんなツールがあるか？） CloudForamtionの全体像・使い方・サンプルコード・実務での応用例 Terraformの全体像・使い方・サンプルコード・実務での応用例 IaC導入に関するtips 1. Infrastructure as Code (IaC)とは？ 1-1. 定義 WikipediaによるとIaCは下記のように定義されています。 Infrastr
Global AcceleratorとCloudFrontの違いが見えてきたら解るCloudFrontの活用方法 - NRIネットコムBlog
本記事は 初夏のAWSアワードエンジニア祭り 2日目の記事です。 🍦 1日目 ▶▶ 本記事 ▶▶ 3日目 💻 2019年より務めていたAWS Ambassadorsを、退任することになりました。Ambassadorであったお陰で、貴重な体験をさせて頂くとともに、沢山の人と交流できたことは本当に感謝しかないです。ありがとうございます。そして、組織内に後任が誕生し、引退できる状態になったのも喜ばしいかぎりです。ただ、Top Engineersとしては継続で選んでいただいているので、その名に恥じぬようにしっかりと実績を残していきたいです。ということで、NRIネットコムの初夏のAWSアワードエンジニア祭りの2日目です。 某書籍の執筆で、AWS Global Accelerator（Global Accelerator）について解説していました。紙面の都合上、1ページくらいにまとめる必要があった
AWS Fargate/Fargate Spotのハイブリッド利用をCDKで実装したら料金が半額になった話 - Uzabase for Engineers
こんにちは。NewsPicksのWeb Reader Experience Unitで学生インターンをしている西（@yukinissie）です。 昨年の 9 月までSREチームに所属しており、その頃にNewsPicksの全ての常駐バッチサーバーをAWS CDKを用いてAWS FargateとAWS Fragate Spotを併用するようにさせましましたのでコストの変化や工夫した点についてご紹介します。 AWS Fargate Spotとは？ 実際どれくらいのコストを削減できたか 0. ECSコンテナ化 1. 使用量はほぼ横ばい 2. Fargate Spotの適用 3. コストが約47％削減！！！ AWS CDKでAWS Fargate Spot機能を適用する際に工夫したこと 課題 解決策 FargateとFargate Spotの併用 キャパシティープロバイダー戦略を自動で決定するIaC
大規模なクラウド環境における脅威検知の取り組み | CyberAgent Developers Blog
こんにちは。システムセキュリティ推進グループの花塚です。本記事は、AWSにおける脅威検知のために取り組んだ内容について紹介します。 AWS上で脅威検知といえば、GuardDutyなどのサービスを使って実装するのが一般的だと思いますが、仕組みは構築できても以下のような悩みを持たれることはありませんでしょうか。 仕組みは完成したけど、結局アラートが対応されずに放置されている 限られた人的リソースの中で大量のアラートを捌ききれない 仕組みは構築できても、上記のような運用面に関する難しさを感じる事は少なくないと思います。そこで、この記事では、構築した仕組みとその仕組みを生かすまでの運用方法の変遷について詳しくご紹介します。 大規模なクラウド環境に対して、セキュリティをスケールさせたい方にとって少しでも参考になれば幸いです。 目次 背景 構築した仕組み 運用とその変遷 最後に 背景 話を進める前に、
Amazon Time Sync is now available over the internet as a public NTP service
The Amazon Time Sync Service is now available over the Internet. Built on Amazon's network infrastructure, the Amazon Time Sync Service utilizes a global fleet of redundant satellite-connected and atomic reference clocks in AWS regions to deliver current time readings of the Coordinated Universal Time (UTC) global standard. Previously, Amazon Time Sync was available through EC2 instances. Now, you
AWSが不正利用され300万円の請求が届いてから免除までの一部始終 - Qiita
前置き 情けないことだが、自身の過失により、GitHubで長年Privateリポジトリで運用していたリポジトリを、とある事情でpublicに変更したのだが、その中にAWSのS3のアクセスキーとシークレットキーがファイルに直接ハードコーディングされているのにすっかり気づかず、自身のAWSのアクセスキーとシークレットキーが流出してしまうという失態を起こしてしまった。 その不正利用により届いた請求金額は約300万円。請求を見た時は頭が真っ白になり冷や汗ものだったが、過去に同様のミスとその状況と対応をまとめてくださっていた方々のおかげで、なんとか深呼吸して対応することができたので、自分も少しでも今後起きうる同様の状況の方に対する助けになればと、一部始終を共有しておくことにしようと思う。 初心者がAWSでミスって不正利用されて$6,000請求、泣きそうになったお話。 AWS で不正アクセスされて凄い
Amazon EC2インスタンスにホストベースの侵入検知システムアラートの監視方法 | Amazon Web Services
Amazon Web Services ブログ Amazon EC2インスタンスにホストベースの侵入検知システムアラートの監視方法 AWSリソースを安全に保護するためのアプローチとして、予防のための仕組み、検知のため仕組みといったそれぞれのレイヤーでのアプローチを検討頂くことを推奨しています。たとえば、Amazon EC2インスタンスにホストベースのコントロールを組み込むことで、アクセスを制限し、システムの動作やアクセスパターンに伴う適切なレベルの可視性を準備できます。これらのコントロールには、ホスト上のネットワークトラフィック、ログファイル、およびファイルアクセスを監視・分析するホストベースの侵入検知システム（HIDS）を含むことが一般的です。 HIDSは、通常、警告、自動修復ソリューションと統合され、攻撃、許可されていない活動、疑わしい活動、環境内の一般的なエラーを検出し対処します。
AWSでDockerコンテナを立ち上げる・管理するやり方 - TECH PLAY Magazine
Dockerとはどのようなもので、なぜ開発の現場で利用されることが多いのかを簡単に解説し、AWS上でDockerを利用する4つの方法について説明します。 4つの方法とは、EC2上にDockerを展開、AWS CLIを使うやり方、AWS for Dockeを使ったクラスター作成方法、AWS Docker Registryによるコンテナ管理となります。 数年前から注目されている「Docker」ですが、ローカル環境だけではなくサーバーないしクラウド環境にて環境構築を行うときにもよく利用されています。Dockerは仮想環境を高速に構築できるからです。また、DockerはAWSでも利用することができます。 今回はAWS上にDockerをデプロイするときに利用できる、AWSが提供しているサービスの種類とそれぞれの利用方法を説明します。 AWSでDockerを利用する ここではまず、Dockerについて
楽になりたくてECS Fargate〜Cloud NativeとECS利用の現場〜
Cloud Native Lounge #1「サービスを支えるクラウドネイティブな基盤」 https://forkwell.connpass.com/event/215187/
Home - O3DE
Carbonated announces Madworld, a new mobile game built on O3DE | READ THE PR About MEET O3DE Engine Overview Get a high-level look of how O3DE works, end-to-end. Features Explore O3DE’s comprehensive suite of features and tools. Discovering Gems Add functionality to your project through modular Gems. Key Concepts Add functionality to your project through modular Gems. TECHNICAL REQUIREMENTS System
AWS、エッジにおけるJavaScript実行環境に本格参入。Cloudflare WorkersやDeno Deployなどと競合へ
AWS、エッジにおけるJavaScript実行環境に本格参入。Cloudflare WorkersやDeno Deployなどと競合へ Amazon Web Services（AWS）は、エッジ環境で軽量なJavaScriptによる処理を実行可能な新サービス「Amazon CloudFront Functions」を発表しました。 AWSではすでにエッジで処理を行う「Lambda@Edge」を提供しており、そこでNode.jsとPythonによるコードを実行可能です。 しかしLambda@Edgeは13カ所のリージョナルエッジキャッシュにおいて処理が行われるのに対し、CloudFront Functionsは218カ所以上のCloudFront Edge Locationsにおいて処理が行われるため、よりユーザーに近い広範囲なロケーションで実行されます。 また、実行時間もLambda@Ed
AWS Lambda@Edge で画像をリアルタイムにリサイズ＆WebP形式へ変換する - クックパッド開発者ブログ
技術部の久須 (@hkusu_) です。クックパッドではモバイル基盤グループにて Android 版クックパッドアプリの開発・メンテナンスに携わっています。 普段の業務とは少し異なるのですが、画像リクエストに応じリアルタイムに画像を変換してレスポンスするという仕組みを AWS の Lambda@Edge を用いて実現してみたので、構築した環境の内容やコードを紹介したいと思います。画像変換の内容はコードの実装次第で大概のことは実現できそうですが、今回のコードの内容はスマホ向け WEB サイトやモバイルアプリ向けの画像配信を想定し、通信容量の削減および表示速度の向上を目的とした画像のリサイズ（主に縮小）と WebP 形式への変換です。 注意：実運用している段階ではないので参考にされる場合はご注意ください。ちなみにクックパッドには本番環境とは切り離された調査・検証用の AWS 環境があり、今回の
Stepping up for a truly open source Elasticsearch | Amazon Web Services
AWS Open Source Blog Stepping up for a truly open source Elasticsearch Last week, Elastic announced they will change their software licensing strategy, and will not release new versions of Elasticsearch and Kibana under the Apache License, Version 2.0 (ALv2). Instead, new versions of the software will be offered under the Elastic License (which limits how it can be used) or the Server Side Public
AWS、Macインスタンスの仕組みを説明。市販のMac miniをそのままラックに組み込みThunderbolt経由でストレージやネットワークへ接続。AWS re:Invent 2020
AWS、Macインスタンスの仕組みを説明。市販のMac miniをそのままラックに組み込みThunderbolt経由でストレージやネットワークへ接続。AWS re:Invent 2020 Amazon Web Services（AWS）は、開催中のオンラインイベント「AWS re:Invent 2020」のインフラストラクチャーキーノートにおいて、12月1日に発表したばかりの「Macインスタンス」の仕組みについて説明しました。 参考：［速報］AWS、クラウド基盤にMac mini（Intel）を組み合わせた「Amazon EC2 Mac instances for macOS」発表 グローバルイングラストラクチャ＆カスタマサポート担当シニアバイスプレジデント Peter DeSantis氏。 DeSantis氏の後ろのスクリーンには、ラックのトレイ上に市販のインテル版Mac miniがその
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - awslabs/git-secrets: Prevents you from committing secrets and credentials into git repositories
Amazon RDS移行のための 性能検証でわかった2つのこと
Cloud Storage | Data Archiving | Hot Storage | Wasabi Technologies, Inc.
Perl meets AWS Lambda
