NATゲートウェイの通信内容を調査して対策し、コストを約60％削減した話 - ZOZO TECH BLOG
はじめに こんにちは。WEARバックエンド部SREブロックの春日です。普段はWEARというサービスのSREとして開発・運用に携わっています。本記事では、約60％のコスト削減に成功したNATゲートウェイの通信内容の調査方法と通信量の削減方法についてご紹介します。 目次 はじめに 目次 背景 コストの把握 NATゲートウェイの通信内容の把握 CloudWatchメトリクスでの確認 VPCフローログでの確認 リゾルバーでのクエリログでの確認 調査結果をもとにNATゲートウェイ経由での通信量を削減する AWSサービスとの通信 Datadogとの通信 WEARのAPIとの通信 ECRパブリックリポジトリとの通信 結果 まとめ 背景 ZOZOではより効果的な成長を目指してコストの最適化を進めています。コストの増大はサービスの拡大を鈍化させる原因となるため、常に最適な状態に保つことが必要です。WEARで
Oracle Cloud - クラウド戦国時代のゲームメーカー｜ミック
ばおーばおーばおーばおー（法螺貝の音）。 はい、というわけでお約束していたクラウド戦国時代の話だよ。合戦物はいくつになったって男の子は大好きなものさ！ ああ別に女の子も見ていっても大丈夫だよ。グロ画像とか出ないから。いやちょっと出るかな。 クラウドベンダーの市場シェアさて、それでは始めよう。まずはビッグピクチャーをつかむために基礎的な数値から押さえておきたいと思う。ここら辺ができるコンサルっぽいね。クラウドベンダの市場シェアを見てみよう。 2024年1Qのクラウドベンダーの市場シェアこのグラフを見て驚くのは、まずAzureの躍進である。もう来年にはAWSを抜くのではないかという勢いだ。Google Cloudも健闘している。実数ではまだまだだが、伸び率は非常に良い。しかし今日の主役はこの二社ではない（関係はするけど）。シェアで見ると――申し訳ない言い方だが「ゴミ」にしか見えない――Orac
サーバーレスベストプラクティスで初めて知ったこと - Qiita
はじめに サーバーレス大好きなエンジニアです！ AWS SUMMIT 2024に行ってきて、たくさんのことを学んできました！ 特に「サーバーレス開発のベストプラクティス」の内容が面白かったのでシェアしたいと思います。 サーバーレスとは サーバーやインフラの管理を気にすることなくアプリケーションを実行することができる最高の技術です。細かい設定を気にすることなく、すぐに価値を提供できることが魅力です。 Lambdaのベストプラクティス ここからAWS SUMMIT 2024の内容に触れていきます。 TransportではなくTransform まず、ハッとさせられたのは以下のことです。 Transport （転送）ではなくTransform（変換）に使⽤する。 今までLambdaをどれだけ転送機能として使ってきたかを考えさせられました。 何でもかんでもLambdaに任せるのではなく、特定の変換
東京大学のAWS入門資料がいい感じだったので最新のAWS環境でも実行できるようにしてみた - Qiita
きっかけ 東京大学のAWS講義「コードで学ぶAWS入門」、いわゆる東大AWSってやつがが良いらしいと聞いたのでやってみました。 確かにこれは良いです。クラウドをこれから学びたい方にぜひおすすめ。 集中講義的に休日に半日もあれば学べます。 かかるAWS費用もわずか。 ほとんどのチュートリアルがAWSの無料枠で実行できてしまいます。ディープラーニング用のGPUインスタンスをぶん回すところは有料です。それでも数百円で済みます。 これは一通りハンズオンをやってみたAWSの費用です。 もはや学ばない理由が見当たりませんね。 これを書いた理由 けっこう有名な講義資料なのでいまごろ紹介するまでもないネタかと思っていましたが、いざやってみたらハンズオンのコードが最近のAWS環境では動作しない箇所がいくつかあったので。 動作するように修正した手順をまとめておきました。 本記事がはてブを950件ももらってしま
「1億台の常時接続」を実現せよ！ Nintendo Switchのプッシュ通知システム全面刷新の裏側 (1/3)
アマゾン ウェブ サービス ジャパンは、2024年6月20日と21日、国内最大の年次イベントである「AWS Summit Japan」をハイブリッドで開催。150を超えるセッションが展開された。 本記事では、ニンテンドーシステムズによるセッション「Nintendo Switch向けプッシュ通知システムのリプレイス事例」をレポートする。登壇したのは、同社 システム開発部の林愛美氏と坂東聖博氏だ。 2017年のNintendo Switchの発売とあわせてリリースされた「プッシュ通知システム」。同社は、長期運用を見据えて、よりクラウドネイティブなシステムへのリプレイスを決定するが、大量のTCP接続を維持するための様々な課題が立ちふさがった。 本セッションでは、AWS FargateやNetwork Load Balancer（NLB）といったAWSのマネージドサービスを用いた、“最大1億台”級
Heroku PostgresがAmazon Auroraベースに移行。新プラン「Heroku Postgres Essential」正式リリース
アプリケーションプラットフォームサービスを提供するHerokuは、Amazon Auroraを採用したデータベースサービス「Heroku Postgres Essential」プランの正式リリースを発表しました。 Heroku Postgresは今後Amazon Auroraベースへ移行 Heroku Postgresは、マネージドなデータベースサービスがまだ一般的ではなかったクラウド初期の頃から提供されてきた、代表的なデータベースサービスの1つです。 そのHeroku Postgresを開発、運営してきたHerokuは昨年（2023年）、AWS主催のイベント「AWS re:Invent 2023」でAmazon Auroraチームとの協力を発表し、今後Heroku Postgres全体をAmazon Auroraベースへ移行することを明らかにしています。 「We are migratin
社内ネットワークに制限した静的サイトホスティング環境をAmazon S3で構築する
はじめに どうもこんにちは。SODAでWebフロントエンドエンジニアをしているaokikenと申します。 今回は、社内向けに静的サイトホスティング環境をAmazon S3で構築した話になります。 構築に至るまで Webフロントエンドの開発をしていて、実際の開発環境に実装する前に、検証として別環境にプロトタイプを作成することがあります。 そのときに作ったものを、スピーディーに社内共有して、フィードバックを得たい。 そういった背景から、社内ネットワークに制限した静的サイトホスティング環境の構築することを検討をし始めました。 要件を整理 Webフロントエンド視点でプロトタイプを作成するにあたり、ブラウザでの動作検証が主なので、基本的には静的データをホスティングできればよさそうです。 弊社では既にAWSを広く利用しているため、今回はAmazon S3を利用する前提で要件を整理していきます。 Ama
Docker、Linux、AWSひとつでも勉強しようと思ったら - itstaffing エンジニアスタイル
IT業界にいると「勉強したほうがいい」「エンジニアには必須だ」などと言われることも多い「Docker、Linux、AWS」などのサーバーに関するトピック。 これらは、一つ勉強しようとすると必ず他の技術もついてくる、互いに切っても切り離せない技術です。そのためか、学びはじめのハードルを高く感じてしまうことも。今回はサーバー関連の入門記事をまとめてご紹介します。易しい解説で「サーバーってこんな感じ」と掴むことからはじめてみてください。 こんな方におすすめ □ インフラ系に興味のある方 □ サーバー関連で何から始めていいかわからない方 □ Docker、Linux、AWSのどれかを始めたけれど、苦戦している方 Pickup 1：インフラ系きほんのき、「サーバー」をゆるく解説 この記事でわかること ・サーバーは何をするもの？ ・ウェブサーバー、メールサーバー、データベースサーバー違いは？ 2：サー
【OpsJAWS】踏み台サーバーって何がうれしいんだっけ？
2024/5/29 OpsJAWS Meetup #29 発表資料
AWS IAM PolicyのForAllValuesを勘違いしてた件 - LayerX エンジニアブログ
LayerX Fintech事業部（※）で、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 ※三井物産デジタル・アセットマネジメントに出向しています。 今回は、AWS IAMポリシーの条件における「ForAllValues」の仕様を誤って理解していたことから、安全でないアクセス制御を実装していたという内容です。もし同様の勘違いをされている方がいたら参考になれば幸いです。 ユースケース AWS IAMユーザーを、ロールの trust policy がユーザーのタグで制御するケースで考えます。 具体的には、「Group A あるいは Group B」に所属し、且つ「Admin」権限のあるユーザーのみが行使できる役割「AdminABRole」があるとしましょう。 この場合、Group と Admin のタグが存在し、下記のようなパターン（※）が考えられます。
IPAの登氏に聞く、「分散型クラウド基盤ソフトを作れるクラウド人材育成」
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「日本にもチャンスがある」。VPNソフトなどを開発してきた情報処理推進機構（IPA） 産業サイバーセキュリティセンター サイバー技術研究室 室長の登大遊氏は、分散型クラウドコンピューティング時代の到来を予測し、分散型クラウド基盤ソフトウェアを作れるクラウド人材の育成を説く。 日本が海外クラウド事業者に依存するようになったのは、人材育成の方法を間違ったことにある。政府や民間企業が、クラウドやAIの人材育成を推進する発想までは良かったが、単にクラウドやAIを活用する人材の育成に陥ってしまったということ。それがデジタル敗戦につながり、デジタルサービスの支出は赤字になっている。 --登氏は、「クラウド人材」とはクラウド技術やクラウドサービスを設
Cloudflareに移行したら99％コスト削減できた話
どういうこと？/TL;DR AWS → Cloudflareに移行したら費用が99%削減できました。 対象読者 今CloudFront + S3で構築しているけど転送量に困っている人 Cloudflare R2を検討している人 (CloudFrontとCloudflareをよく間違える人) はじめに 元々、動画CDNの構築はCloudFront + S3で構築していました。 この構成の場合、課金ポイントは主に三つあります。 CloudFrontのアクセス数に対する課金: そこそこ(多量ではない) S3の保管に対する課金: 200GB程度 CloudFrontの転送量(Egress)に対しての課金: 数TB そのため、毎回イベントごとにかなり費用がかかる状態でした。 動画の数もアクセス数もそこそこではあったのですが、動画特有の転送量が非常に多い… そういった状態でした。 導入前夜 この時はち
自社データ × ChatGPTで社内AIを構築するRAG ツール｜Doox β版をリリースしました - Qiita
TLDR 社内のデータを元に質問への回答を LLM が生成する仕組み（RAG）を構築するためのサービスを開発しました。 β 版として無料で公開しているので是非使ってみてください。 サーバーレスな構成で Next.js を動かしている。技術のキャッチアップは大変だ。 背景 仕事をしていると社内の規定 / 製品情報 / 過去の履歴 .. などに関する問い合わせは日常的に発生するものだし、その工数は結構ある。通常は Wiki を作ってナレッジを共有するが、結局「近い人や担当に聞く」という行為はなかなか減らない。 色々な企業が、社内のデータを元に質問への回答を LLM が生成する仕組み（RAG）を独自に開発しているようで、技術ブログとかに書いている方も多い。 社内向け RAG の構築を SaaS プロダクトで提供したら各社の社内の問い合わせ工数と独自に RAG を構築するコストを下げられて嬉しいん
ログ調査基盤を構築してみた
こんにちは。 株式会社ココナラのインフラ・SREチーム所属の かず です。 システム運用において、有事の際に迅速かつ適切なシステム稼働状況の確認は欠かせません。 その手段の1つとして、ログの調査や分析の効率化は切っても切れない関係です。 システムが成長するにあわせ、ログの種類や量が多くなり、結果としてログの調査や分析が難しくなるのはよくある話かと思います。 弊社でもサービスのグロースに伴って、ログの種類や量が多くなり、結果としてログの調査や分析で課題を抱えていました。具体的には以下の2点です。 ログから原因調査を行うには、複数ログを横断・突き合わせが必要 ログの追跡に必要な情報がログに出力されない場合がある そこで、課題への対応としてログ調査基盤の構築を行いました。 本記事では背景や苦労したこと、効果についてご紹介します。 複数ログの横断調査実現に向けて ログ調査基盤の構築 苦労したこと
Security Hubのアラートを Microsoft Teams に通知する仕組みをCloudFormationテンプレート化 | DevelopersIO
はじめに Security Hubのアラートを Microsoft Teams に通知する仕組みを CloudFormation テンプレートで作成しました。 以前、Security Hub で検知した内容を Amazon EventBridge 経由で Microsoft Teams に通知する仕組みの構築方法を執筆しました。 今回は、通知する仕組みをCloudFormationテンプレートで構築できるようにしましたので、紹介します。 通知される画面は、以下の通りです。 個人的にEventBridge API送信先やEventBridge 接続をテンプレートで作成することがなかったので、勉強になりました。 構成図 構成は以下の通りです。 作成されるリソース CloudFormationで作成するリソースは、以下の通りです。 EventBridge API送信先 接続 ルール IAMロール
Dockerで始めるAWS Lambda開発
PHPerKaigi 2024〜10年以上動いているレガシーなバッチシステムを Kubernetes（Amazon EKS） に移行する取り組み〜
Redis、クラウドベンダなどによる商用サービスを制限するライセンス変更を発表。今後はRedis社とのライセンス契約が必須に
インメモリデータストアRedisの開発元であるRedis社は、これまでオープンソースとして開発してきたRedis 7.4ソースコードのライセンスを、Redis Source Available License (RSALv2)とServer Side Public License (SSPLv1)のデュアルライセンスに変更すると発表しました。 このライセンス変更により、同社の許可なくRedisを用いたマネージドサービスなどを提供することができなくなります。 下記はライセンス変更を発表した同社ブログ「Redis Adopts Dual Source-Available Licensing」からの引用です。 Under the new license, cloud service providers hosting Redis offerings will no longer be permi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クラウドセキュリティ入門〜オフェンシブ視点でAWS環境に着目した際の脅威と対策〜
負荷テスト on AWS のすすめ (AWS Summit Japan 2024 - Ministage session)
AWS ECS Fargateは1分間にいくつまで数えられるか-Linux/ARM64とLinux/X86_64の性能比較
