私がやった Amazon S3 コストカット全ステップ | CyberAgent Developers Blog
本記事は CyberAgent Advent Calendar 2022 23日目の記事です。 「節約は固定費から。」 こんにちは、しゅん（@MxShun）です。 今年11月に中途入社、AI事業本部オペレーションテクノロジーに仲間入りしました。 今回は、年間にして 1,200 万円削減 した Amazon S3 のコストカット全ステップ を紹介します。 目次 オペレーションテクノロジー AWSコストの見直し S3コスト対象 S3コスト分析 1. ストレージ容量の削減 2. ストレージクラスの見直し まとめ オペレーションテクノロジー 私がジョインしたオペレーションテクノロジーは、 サイバーエージェント 連結売上高の53%（2022年通期決算時点）を占めるインターネット広告事業売上を最大化する システム開発 大規模インターネット広告運用を可能にする 社内システム開発 の役割を担っています。
S3のコストを大幅に削減した話 - Gunosy Tech Blog
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
ゼロから始めるLINEBot(AWS×node.js) ③投稿された画像をS3に保存 - Qiita
前回の記事の続きです。 ゼロから始めるLINEBot(AWS×node.js)②オウム返しする https://qiita.com/tenn25/items/498f768a58ba6a6de156 この記事で分かること LINEに投稿された画像をS３に保存する この記事の対象者 いろいろと初心者(自分がそうなので) MessagingAPIのような外部APIを使ったことがない AWSもあんま詳しくない(アカウントは持ってるくらい) 流れ 第1回 とりあえず動かす 1.LINE Developersの登録/設定 2.実装(Lambda/node.js) 3.定期実行の設定(CloudWatch) 第2回 オウム返しの実装 4.ドメイン取得,DNS設定,SSL証明書の設定(Route53/ACM/SNS/S3) 5.イベントの受け取り(APIGateWay) 6.ユーザへの返信(Lambda
PHPアプリでファイルをクライアントからAWS S3に直接JavaScriptで送付する方法 - Qiita
こんにちはみなさん サーバサイドの実装やっていると、クライアントには一見すると容易いのに、サーバ側では困難な状況が発生している、ということがあります。 ファイルアップロードなんてまさにそれで、PHPだとアップロードしたファイルの分だけメモリを確保しよるので、下手に動画ファイルなんてあげられると、送信途中でメモリを使い尽くしてリクエストが落ちるなんて事態になります。 HD画質の長時間動画なんて送信された日には、数GBのメモリを使うので、使用するインスタンスのサイズもそれ相応に大きくしなければならなかったりして、費用効率もあまり良くないように思います。 というわけで、やり方を幾つか探ったところ、JavaScriptを使ってクライアントから直にS3へアップロードする技があったので、そいつを実現してみましょう。ミニマム実装なので、ダサい感じですが、例示するものとしては問題ないでしょう。 TL;DR
Kinesis Firehose & s3 & Athenaでビッグデータ処理！ - Qiita
背景 ユーザーから送られてきた大量の位置情報ログをpostgresqlに保存するのがつらくなってきたのでs3に投げて処分するようにしたい。 けれどもfluentdを入れたaws-ec2をログアグリゲータにしてスケールさせるのは面倒。 けれども、実証実験や営業資料の作成のニーズが多いためs3に投げたログは引き続きRDBMSのような何かで気軽に検索＆集計できるようにしたい。 構成 以下のように、サービスから投げたログをKinesisFirehoseが受け取ってs3に保存し、Athenaで検索するようにしました。 実装とハマりどころ KinesisFirehose ログ処理に特化したサービスで、流し込んだデータを塊にし圧縮してredshift、s3、elastic searchのいずれかに投げることができる。特徴は負荷に応じた同時実行数やインスタンス数の上限等を調整する必要がなく、使用者がスケー
サーバーレスシングルページアプリケーション
Webアプリケーションにまつわる様々なリスクとコストを取り除くサーバーレスアーキテクチャをとり入れれば、強力なWebアプリケーションを素早く構築することができます。本書は、実際に動くアプリケーションを作りながら、サーバーレスアーキテクチャの特徴について学びます。 S3でアプリケーションをすばやくデプロイする方法、CognitoでGoogleやFacebookなどのIDプロバイダと接続しユーザーIDを管理する方法、DynamoDBでブラウザから直接ユーザーデータを読み書きし、API GatewayとAWS Lambdaでカスタマイズしたマイクロサービスを構築する方法などについて豊富なサンプルコードを使って解説します。サーバーレスアプローチのシングルページアプリケーションを設計、コーディング、テストして、再び設計にフィードバックする一連の流れを実践的に学べる本書はエンジニア必携の一冊です。 正
社WebをAWS s3 + cloudfrontなサーバーレス環境に移行した話 - Qiita
背景 社Webを今まではレンタルサーバでHostしていたのですが、フォーム以外は極めてStaticな内容なので今流行りのサーバーレスな環境に移行してナレッジを貯め込みながらもコスト削減したいというところです。なお、すでに過去の偉人たちが残してくださっているドキュメントが多数ございますので、本記事では具体的にハマりそうなポイントを中心に書いていきたいと思います。 Before 自分が契約しているさくらインターネットさんに置いていました。フォーム部はphpで社内のSlackに飛ばすというものになっておりました。 After 大枠で下記な感じで対応しました。1 Hostはs3 SSL証明書はAmazon Certificate Manager && cloudfront フォームはStacktodoで相変わらずSlackに飛ばす Route53からCNAMEをcloudfrontに向ける s3で
ssig33.com - Amazon API Gateway と S3 で動的なサイトを作る。
Amazon API Gateway と S3 においた静的なファイルだけで、動的なサイトを作ることができそうなのでやってみました。 http://ssig33-keijiban.s3-website-ap-northeast-1.amazonaws.com/ わりと楽に作れます。めんどうなのは CORS 対応だけです。うまくまとまったドキュメントがあるので参考にしましょう。 認証とかが必要な場合は、 Cognito が使えると思います。 データストアに Dynamo DB などを使えば本当に何も考えずに自動的にスケールしていくサイトを作ることが出来るのではないかと思います。 現状やってみて分かった課題は以下のとおりです AWS Lambda Function のデプロイと管理がやりづらい Amazon API Gateway の設定をコードで管理できないと絶対に破滅する どうやら API
1GB/1円のAmazon Glacierを個人でも活用する方法 - ku-sukeのブログ
先日1GB/1円 衝撃のAmazon Glacierを早速使ってみた - ku-sukeのはてなダイアリーという記事を書きました。ブコメとかで結構気軽には使えないよね―という意見があったのですが、先日S3経由での利用オプションができたので、割りと個人でも簡単に使えるようになったということでそのやり方を紹介してみようと思います。 S3経由でGlacierを使う新機能とは？ 普通の速度で使える方のクラウドストレージであるAmazon S3にファイルを保存すると、勝手にGlacierにファイルを送ってS3上にはショートカットのようなものだけを置く感じにしてくれるサービスです！ 一度S3に保管しますが、S3の利用料はほとんどかからず激安価格でGlacierに保管することができます。もちろん取り出しには数時間かかるという点は変わらないのですが、S3上でファイルの一覧が管理されているので、安心して利用
Wordpress + Heroku + PostgreSQL + Amazon S3 = ¥0 / 無料でサイト運営
WordpressをHerokuで運営すると何かと楽だなぁと思ってやってみた。タダだし。 でも実際はけっこうハマったりもした。書いておかないと確実に忘れる。 2015/06/01 Herokuの新プラン発表で18時間だけ無料になってしまいました。 Herokuが無料でなくなる日 | Workabroad.jp 24時間稼働は$7かかります。 2015/02/20追記 パーマリンクを変更しても、しばらくするとまた元に戻るという現象が起こりました。 mod rewriteの設定をすれば直るようです。 http://blog.mah-lab.com/2013/05/01/wordpress-on-heroku/ 2015/02/02追記 wp-configの設定が足りなかったので修正 最初は自力でやろうかなと思ったけど、途中でハマりだしたので他の人の力を借りようということに。 2015年1月現在
Vagrant + WordPress + Amazon S3でブログをセキュア＆快適に運用する方法 – littlebird
WordPressは手軽にWebサイトが構築できるパワフルなツールですが、昨今その脆弱性を狙った攻撃が多様化しており、保守に関わるコストも増大しています。 そこで本サイトでは、ローカルの仮想環境に構築したWordPressからHTMLファイルを生成し、完全な静的サイトとして安全に公開・運用するフローを導入しました。 仮想環境や、WordPressの静的化というと難しく聞こえるかもしれませんが、便利なツールやプラグインを使えば、比較的簡単に実現することができるので、今回はその方法を紹介します。 注意：このページの解説はMac OS X 10.9.5環境での作業を前提に動作の検証を行っています。 WordPressのセキュリティ対策について 近年、WordPressに対するアタックが増加しており、度々ニュースにもなっていますが、皆さんWordPressのセキュリティ対策はどうされていますか？例
料理動画を支える技術 - クックパッド開発者ブログ
インフラストラクチャー部 星野(@con_mame)です。 少し前から、一部レシピページに料理動画を掲載していました。当初はYoutubeを使用していましたが、本日から自社配信に切り替わりました。現在はまだ掲載数は少ないですが、今後掲載数を増やしていきたいと考えております。 そこで、今回は、動画配信プラットフォームの裏側がどうなっているかという点を簡単にですがご紹介したいと思います。 構成図 構成図を見ていただくのが一番わかり易いと思うので、最初に掲載します。 見て分かる通り、今回は全てAWSのサービスを使用して構築しています。 今回使用したサービスは エンコード: Elastic Transcoder データストア: DynamoDB + DynamicDynamoDB ストレージ・配信: S3 + CloudFront エンコード通知など: SNS 今回、構築までの期間とエンコードや動
【FuelPHP】FuelPHPからAWS S3へ画像アップロードを試してみる。 | DevelopersIO
前回はFuelPHPでs3のバケット情報を取得してみたので、今回はs3へファイルをアップロードを試してみようと思います。 アジェンダ 実行環境 S3のパッケージをインストール ファイル準備 動作確認 実行環境 Win 7 PHP 5.3.3+ FuelPHP 1.6 S3に画像アップロード用のバケットを作成しておいてください。今回は[hogeバケット]内に[imgフォルダ]を作成し、[imgフォルダ]内に画像を格納します。 S3のパッケージのインストール 以下からパッケージをダウンロードします。 danharper/fuel-s3 ファイルの設置場所は[/fuel/packages/s3/]に設置します。 パッケージの設定ファイルにAWS情報を記述 ダウンロードしたパッケージの[/fuel/packages/s3/config/s3.php]をコピーして、 [/fuel/app/confi
WordPressをStaticPress+Amazon S3+Vagrantでセキュリティ万全にする方法 [前編] - @masuidrive blog
最近、大規模なWordPressのサイトの乗っ取りが発生しました。今回の原因はWordPressではなくサーバの設定に問題があったようですが、LAMPサーバの設定を正しく行うのは難しいですし、ApacheやPHP、WordPressのバージョンアップをきちんと行っていくのは、結構大変です。 自分でサーバを運用していて、セキュリティ対策をきちんとしていると言える人は、実はあまり多くないのでは無いでしょうか？プラグインなどを複数導入している場合には、それらのプラグインのセキュリティ対策を行うのはかなり難しいといえます。 そんな中、高セキュリティ環境でWordPressを運用する方法はないのか考えてみました。それにはサーバ上でアプリを動かさないのが一番では無いでしょうか？ 私のブログであれば、Voteなど動的な機能は使っていないので、WordPressのデータから静的なHTMLを生成して、Ama
![WordPressをStaticPress+Amazon S3+Vagrantでセキュリティ万全にする方法 [前編] - @masuidrive blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/5c5c3e4330805bfc33fc80aa0e5843be18a0177d/height=288;version=1;width=512/http%3A%2F%2Ffarm1.staticflickr.com%2F6%2F5961468_60d27d4dde_m.jpg)
社内Gyazoの画像をAmazon S3に逃がしてスケーラブルに運用する - 酒日記 はてな支店
Gyazo、便利ですよね。大変便利なので、社内でプライベートなGyazoサーバを用意して使っている会社も多いと思います。 うちでもサーバのパフォーマンスは特に必要ないので社内に適当なVMを立てて運用していたのですが、数年単位で運用していると画像ファイルが増えていくためdiskをなんとかする必要に迫られました。 ここでどんどん増えるファイルはAmazon S3に逃がそう、という自然な発想に至るわけですが、Gyazoサーバアプリが投稿を受けたときにS3にアップロードするような改修をするのは年末の忙しい時期に面倒。楽したい。 ということで S3 と nginx を組み合わせていいかんじに運用できるようにしてみました。 Gyazoに限らず、 ローカルに書き込んだファイルをhttpで閲覧する 一度書き込まれたファイルには変更がない ファイルは消えないでどんどん増える ようなものには応用できると思いま
S3とFluentdを用いた効率的なログ管理 | SmartNews開発者ブログ
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
S3 の画像をリアルタイムにリサイズするServer書いた - Tomohisa Oda
S3に配置した画像をURLから指定したサイズにリサイズできるリアルタイムリサイズサーバをnodeで書いた。 Featuresスケーラブルでハイパフォーマンス。導入はとっても簡単。複数のバケットが使える。賢いキャッシュ。（ファイルサイズと更新日から304を返す）Architecture1台構成 +---------+ +------------+ +------------+ +----+ | Browser | <--> | CloudFront | <--> | EC2 (hose) | <--> | S3 | +---------+ +------------+ +------------+ +----+スケールアウト +------------+ | EC2 (hose) | +---------+ +------------+ +-----+ +------------+ +---
FUSEインストールからs3fsを使うまで（前編）
Amazon S3をファイルシステムとしてマウントできるという、s3fsを使ってみたくなったので挑戦。 http://code.google.com/p/s3fs/ 対象のOSは # cat /etc/redhat-release Red Hat Enterprise Linux Server release 5.3 (Tikanga) しかも2.6.18-92.1.13.el5（2009年6月12日現在で最新は2.6.18-128.1.10.el5）でx86_64。 この記事誰得…debianとかCentOSの人や、カーネルを最新にできる環境の人は多分さくっとaptだのyumだのすればいいかと。 いきなり本番サーバをいじるのは怖いので、同じ環境を構築しようとしたのですが、RHEL5とか手に入れようにも… というわけで、テストはCentOS 5で。ちなみに、CentOSにはFUSEのyum
s3fsを使ってAmazon S3に簡単にデータをバックアップする « 株式会社Dream Bridge
こんにちは、へっぽこプログラマーのYanchiです。 最近、AmazonのEC2を利用しているのですが、EC2はインスタンスを停止してしまうと、全てのデータが消滅してしまいます。 そのため、必要なデータをAmazon S3などの、バックアップストレージに保存する必要があります。 S3へのデータの転送方法はいろいろありますが、一番お手軽な（たぶん）s3fsを利用する方法を紹介します。 s3fsというのは、Amazon S3のバケットをマウントしてファイルシステムとして扱うことができるようにするツールです。 つまり、s3fsでマウントしたサーバー上のディレクトリに、保存しておきたいデータを移動したりコピーするだけでS3にバックアップできるのです。 まずはs3fsをインストールしましょう。 作業はEC2の仮想サーバーで行います。 まずはソースをゲットして解凍します。 [shell] $ wget
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
KOK体育官方网站在线(中国)科技有限公司