AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3
AWSのセキュリティガードレールをGCPに導入するために模索してみた - Adwaysエンジニアブログ
こんにちは。かわばたです。最近は居酒屋で飲食したあとに個人情報を紛失するニュースをよく聞くようになりました。私自身は会社の個人情報を持つことはないですが、会社で支給されているPCを持っている時は、運転と同じで「飲んだら持つな、持つなら飲むな」を心がけてます。「飲んだら持つな」と言われても居酒屋に置いていくわけには行かないので、基本的に飲まないのですが。。。閑話休題。 私が所属しているチームでは、AWSでのセキュリティガードレールの実装と運用を担当しています。 弊社ではデータ活用などが増えGCPを選択しているプロジェクトも多く存在しており、GCP に対するセキュリティやガードレール敷設も必要になってきます。 今回の記事はその仕組みをGCPに導入するために模索したときの内容となります。 AWSのセキュリティガードレールの運用 手動修復 自動修復 通知の仕組みの調査 AWSの通知の仕組み AWS
データ基盤をサーバーレスで構築したので概要を紹介 - Adwaysエンジニアブログ
あけましておめでとうございます。本年もよろしくお願いいたします。 久しぶりに登場しました菊池です。 僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば入社時はインフラ担当部署に配属だったのが、広告配信システムの開発をやったり、カジュアルゲーム作ったり。新規事業のスマホアプリを作りつつサーバーサイドの API を作って立ち上げたり、海外向けのサービスを作ったり。いつのまにかメディア運営に関わったりしてきましたが、最近はデータ基盤の開発もやってます。そんなキャリアを歩んできましたが、いつか森の中の開けた草原にあるネット環境の整ったポツンと一軒家で、庭にチャボを放飼にしつつ養蜂をやってみたいと思っています。 話は戻りますが、今回はこの稼働したてホカホカ状態のデータ基盤について概要を紹介したいと思います。よろ
AWS Glueで経験したことのまとめ - Adwaysエンジニアブログ
こんにちは、足立です。僕のチームは、広告データをGlueで整形・計算したりしてます。 以前に記事を書いてからもう少しで1年経ちそうなので、 そろそろGlueを触って得た知識と経験を書いておこうかなと思います。 その前に以前書いた記事が、ちょっと酷い終わり方だったので追記しました。 blog.engineer.adways.net 本記事の内容 AWS Glueの料金計算方法 Glue Jobの設計失敗で料金が跳ね上がったお話 Glue Job料金が跳ね上がった解決策 AWS Glueの料金で気をつけること 元ファイルのサイズによってエラーなるお話 大きいファイル使用時にでるエラーについて 小さいファイル使用時にでるエラーについて AWS Glueの料金計算方法 1DPUの1時間あたり$0.44 Glue Jobが2DPUからしか動かせないので実質2DPU = $0.88(1時間) 10分で
20,000 req/sでも耐えられるサーバサイトの作り方:ADWAYS ENGINEERS BLOG
2013年08月02日 20,000 req/sでも耐えられるサーバサイトの作り方 お久しぶりです。AdwaysのチーフSE 孟です。 今日の記事ではサーバサイドの話を書きたいと思います。 皆さんが、普段使ってるミドルウェアは、大体こんな感じですよね？ Nginx, MySQL 弊社Adwaysなら Perl, Ruby そして、 Nginx + リバースプロキシ + 複数WEBサーバ この構成は、ほぼWEB業界の定番になってます。 まぁ確かにNginxは早いのですが、動的配信ではどうしてもDB側がボトルネックになってしまい、rpsがなかなか上がりません。サービスの運用が続くとデータ量も増え、さらに悪化してしまいます。 そこでのよくある対処方法は、Slave DBを増やしたり、WEBサーバを増やしたり、FusionIOを買ったり、などなど... お金かかる方法ばっかりですよね 。 実はアプ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
