thor-aws というGemを作った | iret.media
こんにちは、cloudpack の 山口 です。 Thorを使ってRubyで俺俺CLIツールを作ることが多いのですが、毎度毎度似たような処理（credentialsを受け取るオプション、それを使って各サービスのクライアントインスタンスを作ったりetc.）を書いていて不毛だなーと思ったのでGemにしました。 thor-aws | RubyGems.org | your community gem host y13i/thor-aws 使い方は非常に簡単で、普通にThorを継承したクラスを作って include Thor::Aws するだけです。 これだけで、そのCLIに --access-key-id 、 --secret-access-key 、 --region 、 --profile オプションが追加されます。これらはオプションを受け取った時だけ機能するので、指定しない場合は環境変数や
S3で他人のディレクトリの中身が一切見れない、IAMの作り方 | iret.media
こんにちは、cloudpack の 今岡 です。 Amazon S3はIAMと組み合わせることにより、ファイルサーバ(Windowsの共有的な)のような構成を組むことも可能です。先にいうと、バケット単位での設定は結構簡単ですが、バケットは同じ、ディレクトリで分離という方法をなんとかします。 やりたいこと 目指すはコモンセンス(と私が思う)Windowsの共有です。 バケットは1つ、その中にディレクトリが2つあり、片方にはアクセスできるが、片方にはファイルの読み書きは無論、ディレクトリ内のファイル一覧も見れないように設定したい。 知っておいたほうがいいこと S3に実はディレクトリはない KVSと言って良いです。各オブジェクト(Value)に、ファイルパス(Key)が付いていると理解します。後々この概念が無いと理解出来ません。 ListAllMyBucketはほぼ必須 この権限は、自分(AWS
S3 Policy Generatorがどっかに行った？ | iret.media
こんにちは、cloudpack の 今岡 です。 小ネタです。 マネジメントコンソールの表示変更は日常茶飯事ですが、今日Policy Generatorを使おうとしたらいつもの場所に無い！何処へいった？ ここにあった！ 下記のIAM左メニューの Policiesから Policy Generator を Select あとはいつもの見慣れた画面です。 なんか色々変わってるっぽいから後で調べよう。 元記事はこちらです。 「S3 Policy Generatorがどっかに行った？」
Amazon S3にてBasic認証をかける | iret.media
cloudpack の 廣山です。 Amazon S3 で静的サイトをホスティングする、Static Website Hosting。 便利で高性能だが、Basic認証がかからない。 リバースプロキシを介することで対応してみる。 リバースプロキシサーバがボトルネックとなり、せっかくのStatic Website Hostingの性能も生かせないが、とりあえずやってみる。 描くまでもないが、構成はこんな感じ。 以下、手順。 ① webサーバでリバースプロキシの設定を行う。 ProxyPass /hoge http://xxx.s3-website-ap-northeast-1.amazonaws.com/app ProxyPassReverse /hoge http://xxx.s3-website-ap-northeast-1.amazonaws.com/app ② webサーバでリバース
Amazon S3+CloudFrontで期限付きURL | iret.media
今回の要件としては、URLを時限式でexpireさせる事で、URLを叩けばいくらでもアクセス出来るのを防ぐ事を目的としています。 AWS構成 Amazon EC2 Amazon S3 Amazon CloudFront 事前準備 CloudFrontのOriginをS3に向けてあり、S3とCloudFrontのURLどちらを叩いても同じ内容が表示されている状態にしてあります。 テスト用に、Windows 7に標準で入ってる画像をアップロードしてあるので、アクセスしてみましょう。 どちらも同じ内容が表示されます。 実装 構想 期限付きのURLをEC2から発行し、CloudFrontを経由してS3からコンテンツを取得し配信する。CDP:Private Cache Distributionパターンというやつらしいです。 CloudFront、S3の設定変更 今はただアクセスするだけで表示されてし
fluentd-ui を改めて使ってみる
ども、Fluentd Advent Calendar 2014 21 日目担当、初心者枠の cloudpack の かっぱ (@inokara) です。 はじめに Fluentd をブラウザで操作出来る fluentd-ui を以前に少しだけ触ったことがありましたが、しばらく間を開けている間にバージョンアップが行われているようですので、以前に書いた記事を見ながら改めて触ってみたいと思います。私自身、それほど Fluentd や td-agent をそれほど使い込んでいるわけではありませんので、そのレベルのユーザーが触ってみたレベルの内容になってしまっていることをお詫び申し上げます。 fluentd-ui とは（参考） GitHub にて公開されております。 fluent/fluentd-ui ざっくり、以下のような機能を提供しています。 fluentd / td-agent の導入 Web
Amazon S3のウェブサイトホスティングでリダイレクト設定を行う | iret.media
はじめに こんにちは。cloudpack のインフラエンジニアレベル１の @f_prg (古渡晋也) です。 昨年、JAWSのアドベントカレンダーに記事を投稿させていただきました。 ブログをWordPressからHexoで生成した静的サイトに移行しました為に記事のURLが変更になってしまいました。 そこで、Amazon S3のウェブサイトホスティングの設定してリダイレクト制御をしたいと思います。 S3のウェブサイトホスティングの設定をする まず、元のURLはこちらです。 「JAWS-UGに関わってからの今まで、そしてこれから」 http://blog.star-flare.com/posts/2013-12-16/1366/ こちらの記事を下のURLに移行させます。 http://blog.star-flare.com/2013/12/16/jawsug-advent-calender/
[CentOS]logrotateでapacheログを一週間周期でローテーションする | iret.media
こんにちは、cloudpack の 三浦剛慈 です。 はじめに CentOS6でApacheログをlogrotateに一週間周期でローテーションするように追加設定した時の手順を記載します。 ※CentOSではlogrotateは標準インストールされていて、デフォルトではsyslog等が１日周期でローテーションされています。 実装方法 ■anacloneの無効化 実行される時間がランダムになると、Amazon S3バックアップをローテーション時に削除されるものをAmazon S3にアップロード等の処理と併用する際等に、何かと不便なのでanacronをまず無効化する。 yum install cronie-noanacron yum remove cronie-anacron ■logrotateコンフィグファイル ◇/etc/logrotate.d/hatted apacheをインストールす
AWSで地域制限を利用した際のSorryページパターン | iret.media
Amazon Route53 にてGeoDNSを使用した際、 他国からのアクセスはDNS名前解決ができないため、クライアントは名前解決のエラーとなってしまいます。 そのため、DefaultLocationを設定し Amazon S3 への転送を行う構成を組んでみた。 構成図 例： www.test.com へ日本からアクセスした際は、日本用に登録されているDNSレコード情報を返しインスタンスへアクセスできる。 www.test.com へその他の国からアクセスした際は、S3(WebHosting設定)のSorryページが表示される。 etc Route53,GeoDNSを利用すれば、綺麗にインターネットを辞めることができる。 注意としては、名前解決に制限をかけるためHosts等を設定した場合は回避することができる。 元記事はこちらです。 「AWSで地域制限を利用した際のSorryページパタ
mod_mruby と mruby-aws-s3 を使って S3 上の HTML をコンテンツを表示させてみよう | iret.media
すいません、Lambda ではありません。 ども、mod_mruby ngx_mruby Advent Calendar 2014 5 日目、初心者枠の cloudpack の かっぱ (@inokara) です。 はじめ 前回の「ラズパイで mruby から Amazon S3 に mruby-aws-s3 使ってデータをアップしたりしてみる」では mruby-aws-s3 という mrbgems を触ってみた話を書きましたが、今回は mruby-aws-s3 と mod_mruby で Amazon S3 上の HTML ファイルを表示させて遊んでみたいと思います。 遊んでみるとは言え、何かメリットが無いか考えてみましたが、ラズパイのような容量が小さい端末でコンテンツをローカルに保存することなく効率よく表示させたい場合にちょっと使えるかもしれないなあって思ってまいます…。（強引ですが）
S3のバケットポリシーを更新するスクリプト | iret.media
cloudpack の 佐藤 です。 Amazon S3のポリシー変更スクリプト Amazon EC2 のインスタンスの増減に合わせてバケットポリシーの変更するのが面倒なので自動化！ supported by sebastian 利用例 インスタンスに付与されているタグを見てIPを取得する対象を判断します。 対象のPublicIPを取得して、Amazon S3のバケットポリシーを適用します。 ポリシーはスクリプト内にベタ書きしてます。 bash s3_bucket_policy.sh -t tagkey -r rolename -b bucket #!/bin/sh # ----------------------------------------------------------------------------- # AWS CLIの確認 # # retval 0 OK # re
s3fsとautofsの連携 | iret.media
こんにちは、cloudpack の 三浦です。 s3fsでS3バケットをマウントし、規定期間内にアクセスが無い場合にautofsでアンマウントし、アクセスが有った場合にマウントする設定方法について記載します。 目的 s3fsを利用してS3バケットをキャッシュを使用してマウントして、規定期間内のアクセスが無い場合はキャッシュをクリアしたい。 s3fsのキャッシュ開放はアンマウントしなければいけないのでautofsで規定期間内にアクセスが無い場合に自動的にアンマウントさせたい。 使用OS(AMI) CentOS 6.5 ※以下のAMIを使用 s3fsのインストール・設定方法 s3fsをソースコンパイルする際に必要になるモジュールをダウンロード・インストールする # wget ftp://ftp.pbone.net/mirror/archive.fedoraproject.org/fedora/
ラズパイで mruby から Amazon S3 に mruby-aws-s3 使ってデータをアップしたりしてみる | iret.media
ども、mruby 教信者の cloudpack の かっぱ (@inokara) です。 はじめに 世間ではアブラカタブラ、ラムダカタブラと AWS Lambda がホットになってきており、既に Preview の権利を得た方々が楽しそうに Lambda（ランバダ※違います）している姿を指を加えて見ている状況です…。（←申し込んだけどまだ来ない）そういう状況で mruby-aws-s3 という mrbgems を見つけたので試してみました。軽量な mruby を使って Amazon S3 にファイルアップが出来るというのはちょっと嬉しいかもしれませんし、直接 S3 にアクセスすることでデータ（ログ収集）がラズパイ等のデバイスで手軽に行えるのは用途が広がりそうです。 ビルド 関連パッケージ 今回もラズパイで動かしますが、まずはビルドを行うにあたって以下のパッケージを入れておきましょう。 su
AWS Key Management Service(KMS)を用いたS3サーバーサイド暗号化(SSE-KMS) | iret.media
cloudpackエバンジェリストの 吉田真吾 (@yoshidashingo) です。 AWS Key Management Service (KMS) とはなにか？ 今までAmazon S3やAmazon RDSに提供されていたサーバーサイド暗号化は、ユーザーから鍵の管理ができないものでした。KMSを使えば、あらかじめ特定のユーザーやRoleに限定した暗号鍵を作成し、このS3のオブジェクトにはこの鍵を、このEBSディスクにはこの鍵を、と指定することができ、たとえば当該鍵が不要になった場合は明確に鍵の削除ができるなどのコントロールができるメリットがあります。 Amazon Web Services ブログ: 【AWS発表】 AWS Key Management Service (KMS) KMS鍵を作成する 1. IAM Management Consoleにアクセスし、左ペインからKM
Check! AWS Lambda を理解しよう(2) ～ Lambdaファンクションとコンソール | iret.media
こんばんは、cloudpack の @dz_ こと大平かづみです。 Prologue – はじめに AWS Lambda の話をしていたら、プログラマの大先輩が「半年前に欲しかったわ～」と感想をこぼすほど、AWS Lambda はコード書く人はかなり興味のあるサービスなんです。 さぁ、前回「Check! AWS Lambda を理解しよう ～ ２つの動作モデル (pushモデル/pullモデル)」に引き続き、AWS Lambda ディベロッパーガイドの「Component: Lambda Function」を読み進めます。 Lambdaファンクション とは？ AWS Lambda にアップロードしたコード群 = Lambdaファンクション コード群は、.zipファイルにまとめます(依存するライブラリも含む) Lambdaサービスにプリインストールされているのは、AWS SDK for No
Check! AWS Lambda を理解しよう ～ ２つの動作モデル (pushモデル/pullモデル) | iret.media
AWSサービスや独自アプリケーションから、AWS Lambda へイベント通知して、コードを実行する コード実行の順序は保証されない 大事そうな部分をクイック和訳: pushモデル In both these cases, you must grant Amazon S3 or the custom application permission to invoke a function on your behalf. You do this by creating an invocation role, discussed in the following section. (2つのユースケース図のについて)これらのケースでは、あなたは Amazon S3、またはカスタムアプリケーションに、ファンクションを実行するパーミッションを与える必要があります。これは、invocation role
AWS 白帯シリーズ（22）祝：新機能！Amazon S3 Event Notifications 機能を SNS/SQS とラズパイで 256 倍楽しく使う | iret.media
AWS 白帯シリーズ（22）祝：新機能！Amazon S3 Event Notifications 機能を SNS/SQS とラズパイで 256 倍楽しく使う どうも、cloudpack の 自称 Amazon 芸人に弟子入りしたい かっぱ (@inokara) です。好きなサービスは SQS です。 はじめに AWS ファン涎垂のイヴェント re:Invent では今年も様々な新しいサービスが公開されましたね。Code 三兄弟やコンテナサービス、Lambda 等…イノベーションスゴイなあと眠い目をこすりながらキーノートを見て（英語は判らないけどね…）いました。そんな新しいサービス発表の影に隠れて…はいないですが Amazon S3 に新しい機能が追加されました。 【AWS発表】S3の新しいイベント通知機能 詳しい内容は上記のブログをご一読頂ければと思いますが、ザックリ言うと S3 にファ
Check! AWS Lambda ～ Previewの利用開始、まずは情報収集 | iret.media
こんばんわ！ cloudpack の @dz_ こと大平かづみです。 Prologue – はじめに 昨日、勢い余って申し込んだ AWS Lambda Preview が、なんとその日中に申請が通りました！ さらにラッキーなことに、今日は週末！さっそく試してみます♪ 参考: Check! AWS Lambda – Run Code in the Cloud 〜 Preview に申し込もう！ Preview申請が通った後の画面 このページの内容をよく確認してみます。 新しい情報にすぐに応答する Respond quickly to new information AWS Lambda runs your code in response to events such as image uploads, in-app activity, website clicks, or outputs
Check! AWS Lambda – Run Code in the Cloud 〜 Preview に申し込もう！ | iret.media
こんばんは！cloudpack の @dz_こと大平かづみです。 Prologue – はじめに コンソールをみたら、増えていました！ AWS Lambda ! プログラミング x クラウド 「AWS Lambda – Run Code in the Cloud」 『クラウドでコードを！』 プログラマでもある私は、AWSブログ記事(英語)のこの熱いメッセージに惹かれ、記事に目を走らせます。 AWS Lambda – Run Code in the Cloud: クイック和訳(一部) 私たちは、クラウドで、アプリケーションを実行するだけでなく、ビルドのときでも容易に利用できるようにしたいと思っています。 私たちは、あなたにはソースコードに集中してもらい、スケーラビリティ、信頼性があり、効率的なランタイムがすべて、十分に簡略されたクラウドを中心とした環境で作業してもらいたいと思っています。 今
全MySQLダンプ作成か〜ら〜の、S3アップロードをスクリプトで簡単にする | iret.media
日々勉強の、cloudpack の araiです。 Linux上で、全Mysqlダンプを作成し、S3へアップロードを簡単に行えるスクリプトを作成してみました。 全MySQLダンプ作成スクリプト まず、全MySQLダンプを作成するスクリプトが以下です。 ユーザー、パスワード、ホストを設定して、実行するだけで、簡単にダンプ作成ができます！ スクリプトの概要は、こんな感じです。 １時間毎にダンプ作成を想定、24世代保持するローテート /DUMP_BACKUPSディレクトリの中にダンプ格納用各DB名ディレクトリを作成 全DBのダンプファイルを作成 (mysql、information_schema、performance_schemaを除外) アーカイブ create_all_dump.shを/root/直下に格納します。 #!/bin/bash USERNAME=root ←ユーザーを設定設定(
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
