大規模サービスのローンチに向け、パフォーマンスチューニングした話 #go #aws
背景 こんにちは！Hanoi Dev Centerでバックエンドエンジニアをしているminhquangです。この記事では、私がAI事業本部のある新規プロダクト開発に参画した際に経験したパフォーマンスチューニングについて話したいと思います。 皆さんはサービスのローンチ(サービスを世の中に初めて出すリリース)をやったことがありますか。サービスローンチするときに、リクエストのスパイクや、ユーザー数の増加によるサーバー負荷増加など、様々な未知な課題が存在します。 私のチームでは数百万人の利用が見込まれるサービスにおいて、18000RPSを実現するべく負荷試験とパフォーマンスチューニングを実施しました。 本記事では、上記のサービス要件を満たすために私たちが取り組んだ負荷試験やパフォーマンスチューニングについて説明しつつ、これらの経験から得られた学びを共有したいと思います。 前提 技術スタック サーバ
本当のAWS基礎 昭和～平成～令和の時代の変遷システムの変化と今昔物語 - Qiita
内容 社内でAWS知らない人でもこれだけは覚えていてほしいという動画を作成して欲しいとリクエストあり。その内容を資料化したものです。小学生の子供に説明してみましたがになんとなくAWSが分かったと言っていたので今回は結構分かりやすくまとめられたと思います。 システムを構築する時 システムを構築する際、サーバやネットワークなどのインフラが必要になります。昭和の時代は物理サーバを買ってきてラックマウントしてネットワークに接続してと物理的な作業が多く発生していました。 その後、物理サーバの上に仮想的なサーバを作成できる仮想化技術の発展により、仮想サーバが主流となりました。最初に物理サーバを用意して、仮想化基盤を構築する必要があります。仮想化基盤構築後は、新しいシステムを作りたい場合はすぐに仮想サーバの準備を行うことができ、物理環境の時と比較すると大きな進展がありました。 仮想化基盤を自社で構築する
AWS利用のためのBGPをざっくり理解する | DevelopersIO
こんにちは、NTT東日本の白鳥です。 AWSでネットワークを構築する際にBGPの設定が必要になるケースが出てくるかと思います。 なかにはハンズオンで出てきた設定をそのまま入れられる方もいらっしゃるかもしれません。 AWSを利用するためのBGPを少しでも理解が深まると幸いです。 ※本記事はBGPのすべてを理解することが目的ではなく、あくまでAWS利用時に必要となる部分に絞っています。 AWSのネットワーク設定においてBGPが出てくるシチュエーション AWSのネットワーク設定を行う中でもBGPの設定に出会うシチュエーションは大きく3つあります。 Direct Connect Transit Gateway Site-to-Site VPN たとえば、仮想プライベートゲートウェイを作成するときに、こんな設定項目を見たことがあるかと思います。 BGPとは？BGPが必要になる背景 BGPはBorde
AWSをイチから学ぶには？ AWSジャパンが最新勉強法を公開 学生や営業職にも
アマゾン ウェブ サービス ジャパンが、AWS初学者向けの勉強方法を公式ブログにて紹介している。4月8日に公開されたもので、AWSを勉強する理由から、AWSが公開している資料やハンズオン、最新情報のキャッチアップ方法など、6つのステップに分けて学習の進め方をまとめている。 同記事は2022年に書かれた記事を最新の情報にアップデートしたもので、技術職だけでなく営業担当者や学生にも最適という基礎的な内容から、中級レベルを目指す人向けの学習方法を解説している。 基礎編として、AWSの導入事例などを通して「なぜ自分はAWSを勉強するのか」「ビジネス上の課題をAWSでどのように解決していくのか」を理解するための学習からスタート。基礎レベルの無償のオンライン講座や、定期的に開催している学習イベントを紹介。 勉強した内容を実践して身につけるため、AWSをRPGゲーム感覚で無料で学べる「AWS Cloud
Cloudflareに移行したら99％コスト削減できた話
どういうこと？/TL;DR AWS → Cloudflareに移行したら費用が99%削減できました。 対象読者 今CloudFront + S3で構築しているけど転送量に困っている人 Cloudflare R2を検討している人 (CloudFrontとCloudflareをよく間違える人) はじめに 元々、動画CDNの構築はCloudFront + S3で構築していました。 この構成の場合、課金ポイントは主に三つあります。 CloudFrontのアクセス数に対する課金: そこそこ(多量ではない) S3の保管に対する課金: 200GB程度 CloudFrontの転送量(Egress)に対しての課金: 数TB そのため、毎回イベントごとにかなり費用がかかる状態でした。 動画の数もアクセス数もそこそこではあったのですが、動画特有の転送量が非常に多い… そういった状態でした。 導入前夜 この時はち
AWSのLambdaってなんやねん
みなさんはAWSのLambdaというサービスをご存じですか？ 恥ずかしながら、私は以前まで「Lambdaってバッチ処理するだけのサービスでしょ？」としか思っていませんでした。 あるとき何となくLambdaに関して調べていたところ、Lambdaをシステム開発で利用するうえで知っておくべき概念・知識・テクニックが想像以上に多いことに気づきました。 そのため、本書に私が得た知識・感じたこと・学んだことのすべてを詰め込みました。 中には「知らなかったら危なかったかも..」・「知らなかったらエラーを起こしていたかも..」というような部分も多くありました。 Lambdaに対する知識を表面的な理解にとどめず、その裏側にある技術・設計思想・利用方法を体系的に学びたい方のために、本書は無料で公開させていただきます。 努力されている方の一助になれば幸いです。
AWSをゲームで学べる「AWS Quest」、中級者向けコンテンツも日本語化
米Amazon Web Servicesが2022年にリリースした、遊びながらAWSについて学べるオンラインゲーム「AWS Cloud Quest」。同作の中級者向けコンテンツが日本語化した。 24年3月10日に中級者向けコンテンツの「AWS Cloud Quest: Solutions Architect」を日本語化。同コンテンツでは、ゲームを通して「AWS Lambda」「Amazon CloudFront」「Amazon S3」「Amazon CodeWhisperer」など、28サービスを活用したソリューション開発が体験できるという。 AWS Cloud Questは、架空の街に住むクラウドエンジニアとして、AWSを使ってさまざまなトラブルを解決していくロールプレイングゲーム。より少ないサービス数での開発を体験する入門編「AWS Cloud Quest: Cloud Practit
SESで30万通のテストメールを送信、発生したエラーや遅延を調査してみた | DevelopersIO
Amazon SESで 不特定多数の宛先にメールを送信する場合、十分なウォームアップと、配信制限(バウンス)に加え、予兆となる配信遅延についても、見逃さないようにしてご利用ください。 Amazon SES、 Gmail 宛に 1日 1万通規模のメール送信に利用できる事を確かめるため、 約1ヶ月かけて 30万通のテストメールの送信を実施。 その送信結果の確認を試みる機会がありましたので、紹介させて頂きます。 SESの設定 認証 Easy DKIM、カスタム MAIL FROM ドメインを設定しました。 DMARC関連設定も実施しました。 SESで送信したメールのDMARCレポートをCloudflare DMARC Management で確認してみた 設定セット IPプールはデフォルトとしました。 Virtual Deliverability Managerは有効化しました。 全てのログをF
業務でAWSを利用する時に知っておくべきポイント10選 - Qiita
2024年1月時点のAWSベストプラクティスに従って作成しました 好評でしたら続編も検討します 1. 環境ごとにアカウントを分離する 本番、検証、開発ごとにアカウントを分割しましょう ✕良くない例 ◎良い例 最初にアカウント分割しておかないと、後で分割するのはとても大変です アカウントを分割することで「検証と思って作業したら、実は本番だった」のような事故を減らすことができます コストがアカウント単位で集計されるため、環境ごとのコストを簡単に算出することができます AWS Organizationsを使用することで、各環境に応じた権限設定が簡単にでき、ガバナンスを強化することができます AWSアカウントはAWS Control TowerのAccount Factoryを使用することで、クレジットカード情報を都度入力することなく簡単にアカウントの払い出しが可能です また、AWS Contro
AWS、IPv4アドレスへの課金が今月からスタート。1カ月約500円
Amazon Web Services（AWS）は、サービスを外部に公開するためのパブリックなIPv4アドレスに対して、1個1時間あたり0.005ドルの課金を今月（2024年2月）からスタートしています。パブリックなIPv4アドレスへの課金は、Amazon EC2、Amazon RDSを含むAWSの全てのサービスが対象です。 1時間当たり0.005ドルは1日当たりに換算すると0.12ドル、1カ月を30日とすると1カ月当たり3.6ドル。1ドル140円換算で1カ月当たり504円です。 パブリックなIPv4アドレスへの課金は昨年（2023年）7月に発表されており、予定通りに実行されたことになります。 参考：AWS、IPv4アドレスの使用に課金、1時間当たり0.005ドル。2024年2月1日から 最大手のAWSがIPv4有料化に踏み切った意味 インターネットで広く使われているIPv4アドレスは、1
「AWS寡占」「運用コスト高」と問題山積、円滑なガバクラ移行へ迅速な情報公開を
「運用コストは増えるのか」「また方針が変わったのか」――。デジタル庁が整備するパブリッククラウドの利用環境「ガバメントクラウド」を巡り、不満や不信の声が強まっている。当初の見込みが二転三転するなど、次々と綻びが見えているのだ。 同庁はベンダーロックインの回避とマルチクラウドの推進を掲げるが、各府省庁や自治体利用は、足元で9割以上を「Amazon Web Services（AWS）」が占める。複数自治体利用による「割り勘効果」でコスト減をうたうが、むしろ従来よりも運用コストが増加するといった指摘も出ている。 度重なる計画変更に加えて、デジタル庁の意思決定プロセスや情報の不透明さも問題だ。ガバメントクラウドへの移行はスムーズに進むのか、決して楽観視できる状態ではない。 「ガバメントクラウドの利用料低廉化を図る取り組みを実施」とアピール 2023年秋、ガバメントクラウドへの移行を検討する各自治体
500万円のAWSサービスを申し込んでしまった話 - Qiita
はじめに 数年前に500万円のAWSサービスを申し込んでしまうという事件がありました。 以前にLTで発表したネタですが、今回記事にしました。 過去のセッション資料 背景：AWS教育環境 AWSの社内教育を目的として自由に利用できるAWSアカウントを用意 一部のメンバーに管理権限を付与 利用ルール IGWやNATなどの作成禁止（社内プロキシを経由させる） VPCピアリングの禁止 不要なリソースは削除、利用する期間のみ起動 事件発生 ある日突然、AWS教育環境で高額のAWS利用料金が発生 3000ドルのサブスクリプション！？ AWS Shieldってなに？ マネージド型のDDoS攻撃保護サービス WEBサービスへ大量リクエストしサーバーダウンさせるような攻撃に対する防御ができる Standard料金：無料 Advanced料金：1ヶ月3,000 USD、1年間のサブスクリプション契約 3,00
EC2が複数VPCにENIを足出しできるように！でもみんな戦々恐々としてるのはなぜ…？ - Qiita
AWSのVPCに大きなアップデートが！ 今週10/26、AWSにこんな機能アップデートが発表され大変話題になりました。 簡単に言うと 「EC2インスタンスから複数のVPCに対してENI（NIC）を足出しできるようになった」 という大きなアップデートでした。 みんな戦々恐々？ しかし、Twitterのオンプレミス経験者たちは口を揃えて懸念を漏らしています。 「これ、クラウド初心者がオンプレからの移行で "監視セグメントVPC" みたいなものを作ってしまうんじゃなかろうか…」 今回のアプデを見て「ウッ…😅」と感じた方も、改めて何が問題なの？と聞かれると意外としっかり言語化できないかも知れません。これを機にAWSの代表的なサービスであるマネージド論理ネットワーク「VPC」の基本をおさらいしてみましょう。 オンプレ時代の基本を振り返る パブリッククラウド普及前のオンプレミス時代では、企業のシステ
自動文字起こしサービスである、OpenAIの「Whisper API」とAWSの「Amazon Transcribe」の精度を比較してみた | DevelopersIO
自動文字起こしサービスである、OpenAIの「Whisper API」とAWSの「Amazon Transcribe」の精度を比較してみた はじめに 今回は、OpenAIのWhisper APIとAmazon Transcribeという2つの音声文字起こしサービスを試し、それぞれの精度を比較してみました。 Amazon Transcribeは、音声をテキストに変換する自動音声認識サービスです。 ストリーミングとバッチ処理のどちらでも文字起こしが可能です。 攻撃的な言葉を指定すると、Amazon Transcribeがそれらの言葉を文字起こしから自動的に削除する語彙フィルタリングなどの機能もあります。 Amazon Transcribeの詳細は、下記の記事をご参考ください。 OpenAIには音声をテキストに変換する「Whisper」という音声認識モデルがあり、WhisperをAPIの形で呼び
【永久保存版】0からAWSを勉強するならこのロードマップに従え！ - Qiita
はじめに こんにちは！！@Sicut_studyです！ 先日出しました記事が多くの方に見ていだきました！ 今回はAWSのロードマップの紹介です。 AWSを勉強しようとしている人からよく聞くのが AWS勉強したいけど何からしたらよいかわからないから資格の勉強しています 資格を勉強するのもいいですが最速でAWSを実践的に使えるということを目的にするなら、その方法は個人的には微妙かなと思います。 私もこのロードマップを行ったあとに試しに資格をとってみましたが、あまり実務に速攻的に役立つという感じではありませんでした (高度なものなら違うかもしれません) 私も2年前はAWSについてまったく知りませんでした しかし、とあるタイミングで 先輩がやっているようなAWSの環境を作って管理するのを私もできるようにならないと高みにいくことはできない このように思うようになり、ロードマップに沿ってに1から学習を
NTT退職エントリ 底辺子会社編
先日10年勤務したNTTを退職してフリーランスエンジニアになりました。 流行りの？NTT退職エントリーですが、よくあるのはNTT研究所とかの超エリートがGAFAMでデータサイエンティストになりましたみたいな話ですが、 私の場合はグループでも底辺の話で、NTT持株会社から見るとひ孫会社で保守を専門にする会社で更に中途採用です。 研究所なんてほんの上位の話なので、NTTの実態として大量の底辺保守人材を抱えているので、ある意味リアルな話になるかなと。 自己紹介 NWエンジニア歴9年、AWSエンジニア歴1年の37歳。 NWエンジニアと言いつつほぼ監視のみという弱々エンジニアでしたが、AWSエンジニアに転向して1年でフリーランスに挑むことにしました。 前歴 新卒時は氷河期末期。 新卒は金融営業だったが1年で嫌気差し退社 次も金融だったがパワハラにあい1年で退社 鬱になり就職活動する気も起きないが金も
「AWSの薄い本Ⅳ 昔話で振り返るAWSの歩み」を書きました - プログラマでありたい
今年はアウトプットするぞということで、２年ぶりに技術同人誌を書きました。2023年5月21日開催の技術書典14 オフラインで販売します。またBOOTHにも入庫中です。 booth.pm 内容 技術的な話ではなくて、AWSが出た当初はどんなだったのかという昔話です。日本に最初のAWSリージョンが開設されたのが、今から10年以上前の2011年です。そして、AWS自体は2000年代からありました。そうなるとエンジニアを始めた頃から、当たり前のようにクラウドがあったという人が多くなっています。昔からAWSを見てきた一人のユーザーとして、AWSの昔話を残しています。現在ではAWSには様々なサービスがありますが、例えばEBSのようにこれが無かった時代はどうやっていたのだろうと疑問に思うようなものもあります。無い時にどうやっていたのかの工夫と、不便がどんどん解消されていった時の空気感を伝えようとしていま
ABEMAの「サッカーW杯配信」が安定していた理由、CTOが明かすインフラの舞台裏
ABEMAの「サッカーW杯配信」が安定していた理由、CTOが明かすインフラの舞台裏：AWS Summit Tokyo 2022年、日本中を大きく沸かせたサッカー世界大会「FIFA ワールドカップ 2022」。全64試合を配信したABEMAを手掛けるAbemaTVによれば、期間中は1週間当たり最大で約3409万人のアクセスがあったという。しかし、ABEMAは大きな障害なく映像を配信し切り、SNSなどで注目を集めた。 大量のユーザーをさばききったシステムには、どんな工夫があったのか。AbemaTVの西尾亮太CTOが、4月20日から21日にかけて開催した、クラウドサービス「Amazon Web Services」に関する技術展示イベント「AWS Summit Tokyo」（幕張メッセ）で語った。 AWS活用の新システム活用 W杯配信の裏側 ABEMAがW杯の配信で使用したのは、AWSが提供するラ
AWSを使わないだけでサーバー代を500億円以上節約できた実例
Amazonが展開するクラウドコンピューティングサービス「Amazon Web Services(AWS)」は企業の規模に関係なく利用可能で、使い方によっては業務の効率化やコストの大幅削減が可能です。一方で、環境によってはAWSを使うとコストが増加してしまう場合もあります。アクセス解析システムを開発する「Ahrefs」は、AWSを使わないことで3年間で4億ドル(約527億円)以上の節約に成功しているとのことです。 How Ahrefs Saved US$400M in 3 Years by NOT Going to the Cloud | by Efim Mirochnik | Mar, 2023 | Ahrefs https://tech.ahrefs.com/how-ahrefs-saved-us-400m-in-3-years-by-not-going-to-the-cloud-89
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「退職した人から管理者アカウント引き継げなかった、どうしよう……」 AWS公式Q＆Aのよくある質問が地獄すぎる
