【インフラエンジニアに】S3 に置いてるログ、圧縮してますか？【聞いてみよう】 - AppBrew Tech Blog
AppBrew で LIPS のリードエンジニアをやってる Pin (@spinute)と申します。 半年ほど前に AppBrew でアルバイトをしながら転職活動をしていましたが、いい感じだったのでそのまましれっと AppBrew に入社しました。 tech.appbrew.io 今日の記事では、圧縮し忘れていたログを圧縮し、35万円/月の費用を削減した話を紹介します。 確認するだけなら一瞬なので、AWS を使ってる会社の方は、担当の方にこの記事を共有してみると思わぬ費用削減に繋がるかもしれません...！ LIPS のインフラ構成 問題発見の経緯 対応 Firehose のログ圧縮設定を有効にする 既存のログを圧縮する s3-dist-cp ログを削除する まとめ LIPS のインフラ構成 弊社のデータ処理基盤は開発初期に深澤が入れてくれたもので、大まかな構成は今もそのままです。 LIPS
Lambdaを使ってS3にアップロードされたファイルを自動的にEC2(Windows)内にダウンロード(同期)してみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 S3にアップロードされたファイルをEC2内に自動的にダウンロードしたいと思うことはよくあると思います。 自動化する方法はいろいろあると思いますが、 今回はLambdaとSSM、AWS CLIを使って自動化してみたいと思います。 さっそくやってみましょう。 構成図 今回、想定する構成が下記の図になります。 S3にファイルがアップロードされたら、LambdaからSSMを実行し、 EC2(Windows)にてAWSCLIのS3 Syncコマンドを実行します。 この構成の利点 私が思うこの構成の利点としては、 ・EC2側はAWS CLI設定とSSM Agentのインストールだけで済み、今後の運用不可が軽減されそう ・Lambdaの実装がSSMを実行する部分のみになる はじめはEC2にFTPサーバをたてて、LambdaでS3からファイルを取得し、EC2にコピーし
Amazon S3 静的ウェブホスティングの継続的デリバリ | DevelopersIO
こんにちは、藤本です。 先日、Amazon S3 の静的 Webホスティングにコンテンツをデプロイする方法が気になったので考えてみました。ちなみに静的ウェブホスティングだけじゃなく、S3 バケットと Git リポジトリの連携全般に利用できます。 概要 AWS 上で Webシステムを構成する際に、CloudFront のパスルーティングで、静的コンテンツは S3、動的コンテンツは EC2（前段に ELB）にアクセスすることで、低コスト、高可用性な構成を組むことができます。（静的コンテンツのみであればEC2レス） デプロイツールが発展してきて、CIツール、CIサービスを利用することでデプロイの自動化を簡単に実装することができるようになりました。AWS でも CodeDeploy を利用することで、EC2 へのデプロイが自動化できます。最近では Blue/Green デプロイ機能が追加され、既存
一休.com における改善事例のご紹介 /ikyu-storage-improvement
一休 ✕ bitFlyer コラボイベントでのLT資料です
awscliで s3のファイルをまとめて削除
s3のファイルがたくさんあって消したくなることあるじゃないですか。 UNIXと同じように rm /var/log/httpd/201608* とかまとめて消したいんです。 ファイルをlsして1つ1つ確認して消したくない。 aws s3 rm s3://fuga/hoge/201608* こんな気持ち。 で上記コマンドを実行すると $ aws s3 rm s3://fuga/hoge/201608* zsh: no matches found: s3://fuga/hoge/201608* やっぱりエラーでますよねー。ということで調べてみた。 awscli s3 rmでワイルドカードを使うなんてビンゴなページを発見。 早速テストをしてみる。 $ aws s3 rm s3://fuga/hoge –exclude ‘*’ –include ‘201608*’ –recursive –dryru
現代ITインフラの王道をゆくLinuxパッケージ管理の基本構成 | 外道父の匠
RedHat系におけるRPMパッケージを扱うYUM、Debian系におけるDEBパッケージを扱うAPT、これらはサーバー管理において重要なわけですが、絶妙な度合いで、おざなりに扱ってもわりとなんとか運用出来てしまう感があります。そのため今一度、こんな感じが今風のスタンダードじゃないっすかね（ｷﾘｯ という構成を説明してみます。 ぶっちゃけ、たいしたことないネタの集合体なので、タイトルに下駄を履かせました。 そもそもパッケージは必要なのか 言うまでもなく必須です。理由は、インストール物のファイル管理が容易になるのと、インストール時間を短縮できるからです。既存のパッケージでconfigureオプションが物足りない時や、RPMパッケージが存在しない場合は作成することになります。 最近はプロビジョニング・ツールによって全て自動化できるので、超簡素なコンパイルのものはレシピに落とし込んで終わりにした
s3fsよりも高速に使えるgoofysを試してみた | DevelopersIO
西澤です。S3バケットを直接マウントしてファイルシステムのように使いたいケースがありますが、s3fsはややパフォーマンスに難があります。Goで書かれていてs3fsよりも高速に動作することを売りにした"goofys"というツールを見つけたので、早速試してみることにしました。 s3fs-fuse/s3fs-fuse · GitHub GitHub - kahing/goofys: a Filey System for Amazon S3 written in Go 前提パッケージのインストール 今回はAmazon Linux(Amazon Linux AMI 2015.09.1 (HVM), SSD Volume Type)環境で検証を行いました。golangとfuseパッケージが前提として必要となりますので、下記のようにインストールします。 $ sudo yum install golang
Boto3でS3のpre-signed URLを生成する | DevelopersIO
実際に実行すると以下のような URL が生成されます。 https://YOUR_BUCKET.s3.amazonaws.com/YOUR_KEY では、この URL を使って S3 にオブジェクトを登録してみましょう。 $ export URL=https://YOUR_BUCKET.s3.amazonaws.com/YOUR_KEY # generated pre-signed URL $ echo abcde > test.txt $ curl -D - -X PUT --upload-file test.txt $URL HTTP/1.1 100 Continue HTTP/1.1 200 OK x-amz-id-2: 9J3B1F6kcpjEszB8w0RJCyOlJPdjWyNDHxRhiQ0bl9NmZGD64iysF/e9Wr9vDWxj4MN1KyOoIlo= x-amz
IAMポリシーを利用して、Amazon S3にIPアドレス制限
Amazon S3の特定のバケツに、IAMポリシーを利用して、IPアドレス制限を掛ける方法です。 特定のユーザにAccess Key IDを発行して、S3の操作を制限させることができます。 たとえば、社外のユーザにS3にファイルをアップロードしてもらったりするようなシチュエーションがあったときなどに、使える方法だと思います。 以下、設定方法です。 IAMサービスを選択してポリシーを作っていきます。 Services -> IAM -> Policies -> Create Policy -> Create Your Own Policy ポリシーの内容は、以下のようにします。 Policy Name: 好きな名前を入力します。 この例では、S3-IP-Restrictions とします。 Policy Document: Statementを3つ書きます。 上から2つは、AWS CLIで操
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
S3の現在の総保存量を計算するスクリプトを書いた | DevelopersIO
こんにちは。望月です。 S3は非常に安いストレージとはいえ、保存する量が数百GB〜TBになると、課金額もそれなりに多くなっていきます。 ですが、Management Consoleからは、S3全体でどれだけの容量を使っているのかを確認することは出来ません。 *1 なので、現在の保存容量を確認するためのスクリプトを書いてみました。今は全バケットの合計を表示するだけしかできませんが、近いうちにバケットごとや特定のprefix以下の容量なども取得できるように対応したいと思います。 5/1追記 : バケット毎のサイズ出力をするようにしました。 5/16追記 : 処理を高速化しました #!/usr/bin/env ruby require 'aws-sdk' require 'optparse' begin require 'aws/profile_parser' rescue LoadError;
AutoScalingやインスタンス障害に強い 〜Stateless Serverパターン〜 - プログラマでありたい
CDP Advent Calendar 2013 の14日目です。主に動的なWeb/アプリケーションサーバの話ですが、AutoScaling時や障害発生時に影響なく処理を継続するにはセッションの保持方法に一工夫必要です。またログなどもローカルに保存すると後々面倒くさいです。その辺りを解決するには、サーバの状態（セッション・ログ・etc）を外出しするのが一番です。名前を付けるとしたら、「Stateless Serverパターン」です。昨今のImmutable Infrastructureの概念にも影響を受けています。 1 解決したい課題 AutoScalingを利用すると、負荷の増減に応じてサーバの増減が出来る。しかし、動的サーバの場合はセッションサーバを個々のサーバに保持していると、サーバが増減して別のサーバに振り分けられた場合セッション維持が出来ずに問題が生じる。また負荷が下がってサーバ
【AWS】Amazon S3をFTP/SFTPサーバーのように使ってみた | DevelopersIO
今回の課題 こんにちは植木和樹です。本日のお題は「現在運用しているFTP/SFTPサーバーをAmazon S3でリプレースしたい」です。 外部関係業者とのファイルのやりとりにFTP/SFTPサーバーを使っているケースは数多くあると思います。社内にあまったパソコンにLinuxをインストールしてFTPサーバーを自前で運用していることもあるかもしれません。しかしデータのバックアップやハードウェアの故障などで手を取られている担当者の方がいらっしゃるのではないでしょうか。 そんな時はAmazon S3。99.999999999% の堅牢性と、99.99% の可用性を提供するストレージサービスです。 しかしFTPは長い運用実績の歴史があるサービスです。FTPで求められる様々な運用ニーズにS3はどこまで応えられるでしょうか？今回はその点を検証してみました。 FTPに求められる要望 以下にいくつかの代表的
AWS Cloud Storage Day 取材レポート(3).[基調講演] テレビ朝日がAWS上で作るセカンドスクリーンサービス ～構築から運用、今後の戦略まで～ | DevelopersIO
AWS Cloud Storage Day ～ストレージの『今』へご招待～ | 2013年9月13日（金）アマゾン ウェブ サービスの無料ストレージカンファレンスを開催！ セッション・講師紹介 [K-03]基調講演： テレビ朝日がAWS上で作るセカンドスクリーンサービス ～構築から運用、今後の戦略まで～ 基調講演3本目は国内事例。テレビ朝日で展開された『セカンドスクリーン』サービスとAWSの関連性、AWS利用背景を、実際に行われたキャンペーン等を通じて紹介する内容となりました。 当イベントのその他のセッションレポートはこちら： AWS Cloud Storage Dayに参加してきた(当日分全取材レポート目次付まとめ) ｜ Developers.IO 講師・概要紹介 講師 松下 剛氏 (株式会社テレビ朝日 コンテンツビジネス局 コンテンツビジネスセンター 通信技術班チーフ) 概要 「サッカ
![AWS Cloud Storage Day 取材レポート(3).[基調講演] テレビ朝日がAWS上で作るセカンドスクリーンサービス ～構築から運用、今後の戦略まで～ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8900c59358dcc7927c55ffee1d265fb10505a47b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F09%2Fk03_logo.png){kind=logo}
AWS Cloud Storage Day 取材レポート(4).[A-01] 各種サービスで活用できるAWSクラウドストレージサービスの選定指針 | DevelopersIO
AWS Cloud Storage Day ～ストレージの『今』へご招待～ | 2013年9月13日（金）アマゾン ウェブ サービスの無料ストレージカンファレンスを開催！ セッション・講師紹介 [A-01]： 各種サービスで活用できるAWSクラウドストレージサービスの選定指針 講師・概要紹介 講師 北迫 清訓(アマゾン データ サービス ジャパン株式会社 ソリューションアーキテクト) 概要 AWSではS3、Glacier、Storage Gateway、EBSなど様々なストレージサービスを提供しています。バックアップ、ファイルサーバ、ファイル共有、ファイル配信等サードパーティ製品と組み合わせ、適材適所にAWSストレージサービスを活用いただける選定指針についてご紹介いたします。 セッション内容レポート 1.AWSストレージサービスのコンセプト ストレージサービスのコンセプトとしては、大きく5
![AWS Cloud Storage Day 取材レポート(4).[A-01] 各種サービスで活用できるAWSクラウドストレージサービスの選定指針 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/20701b316a91b45bb05ab87f1c44d8b074d737fe/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F09%2Fcsd-a01.png)
AWS Cloud Storage Day 取材レポート(5).[A-02] 東急ハンズが実践するファイルサーバのクラウド化。企画、実現方法から、実際の性能まで。 | DevelopersIO
AWS Cloud Storage Day ～ストレージの『今』へご招待～ | 2013年9月13日（金）アマゾン ウェブ サービスの無料ストレージカンファレンスを開催！ セッション・講師紹介 [A-02]： 東急ハンズが実践するファイルサーバのクラウド化。企画、実現方法から、実際の性能まで。 AWS Cloud Storage Dayに参加してきた(当日分全取材レポート目次付まとめ) ｜ Developers.IO 講師・概要紹介 講師 松尾 康博氏 (アマゾン データ サービス ジャパン株式会社 ソリューションアーキテクト) 今井 智明氏 (ハンズラボ株式会社 ITエンジニア) 概要 東急ハンズ様は、2012年10月に全てのサーバーをAWSへという決断をして以来、サーバーの新規購入を凍結しAWSへの移行を進めています。ファイルサーバーも2013年3月にAWSへ移行し、運用を開始しました
![AWS Cloud Storage Day 取材レポート(5).[A-02] 東急ハンズが実践するファイルサーバのクラウド化。企画、実現方法から、実際の性能まで。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5300451ed87be1cc6d8ccbd221b69f818199856a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F09%2Fa02.png)
Amazon S3のStatic Web Hostingにアクセス制限をかけて使ってみる
残暑が長引いていますが、朝晩だいぶ涼しくなってきましたね。秋になり、6月から育ててきたヒマワリが枯れました。水をやらなかったからですが。 S3を利用したWebホスティング ということでAmazon S3のStatic Web Hostingです。Webサーバ不要で静的サイトを設置できます。便利です。ベースがS3であるが故、安価、安定、そしてどんなにアクセストラフィックが増えても重くなりにくい（従量課金ですが、Webサーバでスケールアウトするより遙かに低コストです）、などの特長を持ちます。連携できるCMSも増えてきました。 ここでは簡単に初回設定、並びにstaging環境などで必要となる、アクセス制限の方法について書いてみたいと思います。 利用開始までの手順 登場から日が経っていることもありご存じの方も多いと思いますが、Static Web Hostingを使うまでの流れをおさらいしておきま
S3とFluentdを用いた効率的なログ管理 | SmartNews開発者ブログ
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
CloudFront+nginx+S3で動的にgzip圧縮したデータを転送する - おぎろぐはてブロ
前回の記事でCloudFront + S3でgzipで圧縮する方法について書きました。 CloudFrontでgzip圧縮したデータを転送する - おぎろぐはてブロ オリジンがS3の場合、CloudFrontで動的にgzipしたりgzip版を応答してくれたりはせず、ノーマルとgzip版両方をS3にアップして、リンクを張る側で、クライアントのヘッダみて、URLを切り替えろということで、微妙です。 たとえば、ユーザがデータをアップロードするような場合、両方をアップロードしてもらうわけにもいかないので、アップロードしたあとに、S3にgzip圧縮したデータを別途アップしないといけません。 ということで、その解決案として、CloudFrontとS3の間にgzip圧縮するサーバをはさむのを試してみました。 まずレスポンスの確認 S3においたファイルと、それをオリジンにしたCloudFrontディストリ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - kahing/goofys: a high-performance, POSIX-ish Amazon S3 file system written in Go