AWSコスト削減とリソース管理 | 外道父の匠
クラウド使いなエンジニアの皆様、猛暑と円安の中いかがお過ごしですか。上層部からインフラコスト削減を突きつけられてはおりませんでしょうか。 今回はおそらく初めてコスト削減についてAWSを軸に書いていきますが、考え方はどこの環境でも似たりよったりなので何かしらの足しになればと思う次第であります。 目次 長いです。ひきかえしたほうがいいぞ！ コミュニティに捧げます AWSの売上 コスト削減とは 三大使命 コスト状況整理 Load Balancer 参考リンク 統合による削減 EC2 Autoscaling 参考リンク 情報整理 古いインスタンスタイプの変更 スケジュールの調整 スポットインスタンスの適用 軽量インスタンスの統合・サーバーレス化 アプリケーション処理の軽減 EC2 EBS EBSは高い 不要EBSを削除・スナップショット化 ボリュームタイプの変更 EC2 AMI NAT Gatew
テストデータを貯めて感じたこと
https://toruby.connpass.com/event/286678/ の発表資料です。
【AWS】実務で必ず知っておきたいCloudWatch Metrics・Logsをハンズオンで学んでみよう - Qiita
本記事の目的 業務でAWSを触る方にとってCloudWatchに対してなんとなく苦手意識をもっている人は多いのではないでしょうか。特に私のようなDevOps/SRE領域を開発業務の片手間で担っている人たちにとって監視領域は後回しにしがちです。 今回の記事では、このCloudWatch、そして本サービスの軸となるCloudWatch Metrics,CloudWatch logsを自分自身の学習の備忘録がてらハンズオン形式で学べる記事を書いてみました。 対象となる読者は以下を想定します。 対象読者 AWSを業務で使い始めた＆使いたい人 DevOps/SRE担当でCloudWatchを使った監視業務を求められてしまった人 CloudWatch logs,CloudWatch Metricsを実際に手を動かして確認したい人 なお利用するサンプルAPIは全てGoで書かれていますが、コード箇所は読み
DBサーバでUPDATE/DELETEを打つ安心感を高める
近年はDBサーバで直接UPDATE/DELETE文を発行する場面はかつてより減ったように感じますが、引き出しとして持っていて損はないと思ったので私が普段やっている方法をメモしておきます。 プロトタイピングだったり、開発環境でも有効なので手癖にしておくのは有効だと考えます。 MySQLを例に書いていますが、対象のRDBMSは特に限定されません。 1. 対象のレコードを下見する まずはこれから更新する対象を見ておきましょう。 mysql> select * from books where id=1; +----+-----------+-----------------+-------+ | id | author_id | title | price | +----+-----------+-----------------+-------+ | 1 | 1 | Learning UPDA
私がやった Amazon S3 コストカット全ステップ | CyberAgent Developers Blog
本記事は CyberAgent Advent Calendar 2022 23日目の記事です。 「節約は固定費から。」 こんにちは、しゅん（@MxShun）です。 今年11月に中途入社、AI事業本部オペレーションテクノロジーに仲間入りしました。 今回は、年間にして 1,200 万円削減 した Amazon S3 のコストカット全ステップ を紹介します。 目次 オペレーションテクノロジー AWSコストの見直し S3コスト対象 S3コスト分析 1. ストレージ容量の削減 2. ストレージクラスの見直し まとめ オペレーションテクノロジー 私がジョインしたオペレーションテクノロジーは、 サイバーエージェント 連結売上高の53%（2022年通期決算時点）を占めるインターネット広告事業売上を最大化する システム開発 大規模インターネット広告運用を可能にする 社内システム開発 の役割を担っています。
従業員の3分の2がクビになってもTwitterのシステムが停止せず動き続けた理由を元Twitterエンジニアが語る
イーロン・マスク氏がTwitterを買収してわずか3週間で従業員が7500人から2700人にまで激減したと報じられています。通常、従業員の3分の2が辞めてしまうと会社の運用に支障をきたし、Twitterのシステム維持にも大きな影響を与えてしまいそうなものですが、Twitterは記事作成時点でも問題なく稼働を続けています。大規模な人員削減があってもTwitterというシステムが維持されていた仕組みについて、Twitterのサイト信頼性エンジニア(SRE)を5年間務めていたマシュー・テージョ氏が語っています。 Why Twitter Didn’t Go Down: From a Real Twitter SRE https://matthewtejo.substack.com/p/why-twitter-didnt-go-down-from-a テージョ氏は5年間にわたってTwitterのサイ
Twitter からデータをダウンロードしておきましょう - The Decisive Strike
実を言うとTwitterはもうだめです。突然こんなこと言ってごめんね。 でも本当です。近いうちにサーバーが不安定になり、あらゆる機能がバグりはじめます。 それが終わりの合図です。 実際どうなるかはわかりませんが、SREチームが大幅縮小され、解雇されずに残っていた、Trust & Safety チームの実質的トップ、 Yoel Roth が離職しました。他にも運用系のチームが解雇や離職によって縮小の一途を辿っているようです。 前のブログポストにも「エンジニアリング企業へ」と書きました。さらに言えば、Elonが目指しているのは迅速な「Dev」、つまり「機能の新規開発」であって、極端な「Ops」、運用の軽視があるようです。なので、「Elonが欲しいと思ったアイデアを迅速にリリースする」ことは引き続き行われますが、いわゆる「Reliability」目線での運用にはほぼコストが割かれないことが予測さ
[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO
さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました！ たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 おまけ：当イベントの応募者数 このイベントですが、なんと
![[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f9486832be1a42a11ac2d244e8c51de11a34ab7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F11%2F2022-11-08_19h35_04.jpg)
データ基盤をサーバーレスで構築したので概要を紹介 - Adwaysエンジニアブログ
あけましておめでとうございます。本年もよろしくお願いいたします。 久しぶりに登場しました菊池です。 僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば入社時はインフラ担当部署に配属だったのが、広告配信システムの開発をやったり、カジュアルゲーム作ったり。新規事業のスマホアプリを作りつつサーバーサイドの API を作って立ち上げたり、海外向けのサービスを作ったり。いつのまにかメディア運営に関わったりしてきましたが、最近はデータ基盤の開発もやってます。そんなキャリアを歩んできましたが、いつか森の中の開けた草原にあるネット環境の整ったポツンと一軒家で、庭にチャボを放飼にしつつ養蜂をやってみたいと思っています。 話は戻りますが、今回はこの稼働したてホカホカ状態のデータ基盤について概要を紹介したいと思います。よろ
10倍に膨れたAWS運用費をどう減らす？ ユーザー急増のnoteが挑む「コスト削減作戦」の裏側
10倍に膨れたAWS運用費をどう減らす？ ユーザー急増のnoteが挑む「コスト削減作戦」の裏側（1/2 ページ） 文章やイラストなどを投稿できるコンテンツ配信サービス「note」。コロナ禍以降は巣ごもり需要にも後押しされてユーザー数が急増しており、2020年には月間アクティブユーザー数が前年同期比で3倍以上に増えたという。しかし同時にトラフィック量も急増したため、運営元であるnote社のシステム部門ではその対応に追われた。特にクラウドサービスの利用コストの高騰は、大きな悩みの種だった。 noteのサービスを支えるシステムは、全てAWS（Amazon Web Services）のクラウドインフラ上で構築・運用しており、トラフィック急増でその利用コストは約10倍にまで膨れ上がった。 このままトラフィックがさらに増えれば、コストが利益を食いつぶすことにもなりかねない。そこでシステムの運用や品質管
「つみたてNISAは米国インデックスファンド放置で良い」は本当か？ - Qiita
こんにちは、最近になってつみたてNISAを始めた今年2年目の社会人です。つみたてNISAは運用益が非課税、半自動的に積立運用可能、途中で取り崩し可能と様々なメリットがあり、非常に有益な制度です。そんなつみたてNISAを活用する上でよく耳にするのは「信託報酬が安くてパフォーマンスの高い米国インデックスファンド一択！一時的に暴落しても戻るから気にするな！」という話です。確かに2000年のITバブル崩壊、2008年のリーマンショックという暴落を経験しながらも、S&P500といった代表的な米国インデックスの直近20年のパフォーマンスは素晴らしいです。 しかし、本当に米国インデックスファンドを積立・放置するだけでいいんでしょうか？頭を使わずに、というのは言い過ぎかもしれませんが放置しているだけで資産が殖えるなんて美味い話、不安を感じるのも確かです。そこで過去に米国インデックスファンドを積立・放置して
5000万件越えのRDS大量データをFirestoreに移行する勘所 - ANDPAD Tech Blog
はじめまして、開発部の@taikishiinoです。 2020年3月にアンドパッドにジョインし、約一年が経ちました。 現在、チャットサービスの開発・運用をするチームに所属しており、その中で最近、RDSからFirestoreへのデータ移行を行いました。 本記事では、その際の課題やそれに対して実際に行ったことなどを中心にご紹介していきます。 データ移行の背景 僕たちのチャットサービスを開発するチームでは、現在、プロダクトのデータベースをRDSとFirebase RealtimeDatabaseのミックスからFirestoreに移行する大規模プロジェクトが行われています。 旧環境「RDSとFirebase RealtimeDatabase」の課題として、 チャットのアクセスを処理しているAPIサーバーのバックグラウンド処理は複数プロダクト共通で利用しており、チャット起因で負荷が高まってしまうとい
え、HTTPSの転送なのにファイルも暗号化するんですか？？？
TL;DR 基本的には二重での暗号は不要 ただし、転送後も暗号化したまま使うなら、転送前から暗号化するのは良い ルールXを無邪気に追加して不整合のあるセキュリティルールを作ってはいけない はじめに 社内のセキュリティルールやスタンダードを決めるときに、HTTPSなのにVPN必須になってたりファイル暗号も必須になってたりするケースたまに見ます。今回は、それは実際に必要なことなのか？ セキュリティ的に有効なのか？ という点で考察をしていきたいと思います。 背景 二重三重に暗号化しても性能ペナルティが無いなら「なんとなく安全そうだから」でOKにしてしまいがちなのですが、これはよく考える必要があります。 というのも 「ルールXを追加することで既存のルールAと不整合が出る」 ってことは割とよくあるからです。具体的には「SCPのファイル転送は（SCPのセキュリティに不備があった時の）安全性のためにファ
公開鍵暗号関連のテキストの間違いの典型例 - Qiita
はじめに 背景 世間一般の公開鍵暗号関連の解説書・サイトは99%あてになりませんが、一例として、とある情処対策の解説動画の添削を行います。 ※twitterで問題点を説明する機会があったので、折角なら記事として共有できる形にしようという動機からです。 対象 対象の動画は https://www.youtube.com/watch?v=rgK4FGENzMo で、2021/3/1時点の内容を元にしています。 ※後日修正される可能性もあるため。 なお、先に断っておくと、この動画が特別酷いわけではなくて、大体どれもどんぐりの背比べです。如何にみんな真面目に情報を検証していないか、ということが実感できます。 動画のスライドの添削 スライド1: ディジタル署名(～0:48) 第1段落「公開鍵暗号方式を使って」 ディジタル署名とは、公開鍵暗号方式を使ってデジタル文書の正当性を保証する技術です この表現
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【データ復旧のプロに聞く ストレージ運用のコツ】 イマドキのHDDの復旧方法。制御と対話、そして復元率とは?