よく訓練されたアップル信者、都元です。話題は攫えないと分かりつつも、また小ネタいきます。 数ヶ月前のネタですが、Amazon S3において「自動的にGlacierにアーカイブする」という機能がリリースとなりました。Glacier単体では正直利用しづらかったものが、S3を介してGlacierを使えるようになったことで非常に使いやすいものになりました。とは言え、実際にこの機能を使った事がないと、使いどころのイメージも付けづらいと思います。 S3とGlacierのデータ保存コスト 実は、筆者は個人的に、このS3とGlacierの連携機能を利用しています。自宅で利用しているNAS QNAP TS-219P II には、ファイルを1日1回自動的にS3にアップロードしてバックアップを取る機能があります。この機能を利用して、家族の写真等、消えたら精神的打撃が大きなデータを 99.999999999%（イ

nginxは1.3.13からWebSocketのプロキシに対応したようです。 このフィーチャーを取り込んだ安定版1.4.0をAmazon Linuxにインストールしてみました。 まずはyumで古いバージョンをインストール $ sudo yum install nginx Loaded plugins: priorities, security, update-motd, upgrade-helper Setting up Install Process Resolving Dependencies --> Running transaction check ---> Package nginx.x86_64 1:1.2.7-2.8.amzn1 will be installed --> Finished Dependency Resolution Dependencies Resolved

渡辺です。 開発者の間ではgithub式Markdownでドキュメントを書くのが主流となっている昨今ですが、エンドユーザ向けのドキュメントとなると出力フォーマット・版管理・クロスリファレンスなど、機能的にもう少し欲しいところです。しかし、Wordといった専用の文書作成ソフトを使うほどでもないし、表計算ソフトを使うのは論外だと思われます。 そんな要求を満たすツールはSphinxです。今回は、Sphinxを利用してドキュメントを生成し、Jenkinsによる自動ビルドでHTML形式のファイルを作成し、S3へのリリースする手順を解説してみます。Sphinxは静的ファイルを生成するため、S3やCloudFrontと相性良く利用できるソリューションです。 Sphinxとは？ Sphinxは、ドキュメント生成ツールです。SphinxではPythonで採用されているreStructuredText(reS

ども、大瀧です。みなさん、EC2をバリバリ使ってますか?使いたいときにすぐ使える仮想マシンとして、開発・検証から本番まで幅広く活用されていると思います。 日頃EC2を業務で運用する中で、EC2インスタンスをコピーすると意図しない環境設定に変わってしまうというトラブルが度々あり、cloud-initというツールに拠ることがわかってきました。 「EC2インスタンスのコピーなんて、一旦インスタンスを作成したあとはあまりやらないのでは?」と思われがちですが、EC2独特の制限などもあり、実際の運用では思ったよりも頻繁にインスタンスのコピーが必要になります。インスタンスのバックアップ&リストアなどはイメージしやすいと思いますが、それ以外にも意外なケースとして以下があります *1。インスタンスのコピーは、AMI(Amazon Machine Image:インスタンスのバックアップ)を取得し、新規インスタ

はじめに システムを管理し健全性を維持するためには、機器やサービスなどの稼働状況を確認する死活監視と共に、CPUやメモリ、ディスクなどの各リソースの使用状況をモニタリングして負荷を把握したり適切な増強を行う、リソース監視が欠かせません。 高機能な監視ソフトウェアでは死活監視や性能監視などと共にリソース監視の機能を有していますが、簡易なものであればAWSのサービスであるCloudWatchを使って代用することが出来ます。 そこで、AWSの代表的なサービスであるEC2・ELB・RDSについて、CloudWatchでどのようなリソースをグラフとして確認出来るのか、まとめてみました。 なお、AWSにおいてリソースとはEC2やELB、RDSなどのAWSクラウドリソースを指し、CPUやメモリなどに関する各種データを「時間単位でのデータ集合」に加工したものをメトリクスと言います。なのでAWS用語で言うと

はじめに 以前「[CloudWatch]グラフの確認方法と確認できるグラフ一覧(EC2/ELB/RDS)」という記事で、CloudWatchをリソース監視の観点で考えたとき、 CloudWatchの統計は2週間しか記録されません。このため長期的なリソース分析には向きません。月スパン、年スパンでリソース分析を行う場合は、Zabbixなどの高機能な監視ソフトウェアをオススメします。 と書きました。瞬間的なサービスであれば必要無いでしょうが、長期的にサービスを提供し続けるシステムについてリソース状態の確認やシステムの利用頻度を分析するには、日別・曜日別・時間帯別などの詳細な負荷推移の分析が欠かせません。それにはやはり2週間は短すぎます。 そこで、CloudWatchのデータをロングスパンなグラフに変換する手段として、GrowthForecastというツールを使ってみました。 GrowthFore

AWS Cloud Plugin for ElasticSearchを使う – AWSで始めるElasticSearch(3) はじめに @smokeymonkeyです。 前回(Cluster機能を使う – AWSで始めるElasticSearch(2))、以下のように書きました。 Discoveryはデフォルトではマルチキャストを使ってmaster nodeを検索しに行くようです。 しかしAmazon Virtual Private Cloud FAQに Q: Amazon VPC は、マルチキャストまたはブロードキャストをサポートしますか? いいえ。 と記載されています...Amazon VPCではmulticast discoveryは使えません。 この記事について、以下のコメントを頂きました(Jun Ohtaniさん、ありがとうございます！) そこで今回は、AWS Cloud Pl

はじめに 出張ブロガーの@smokeymonkeyです。今回はElasticSearchのCluster機能を使ってみました。 Cluster設定 ElasticSearchの設定は/etc/elasticsearch/elasticsearch.ymlで行いますが、このファイルの冒頭には以下のように記載されています。 Most of the time, these defaults are just fine for running a production cluster. ということで細かい設定せずにこのままいっちゃいます。 まず、ElasticSearchをセットアップした2台のEC2を用意し、セキュリティグループで9200/tcp、9300/tcpのInboundをオープンします。 ElasticSearchはAPI over HTTPで9200-9300/tcpを、クラスタ間の

jq Manual jqで簡単JSON加工 ｜ Developers.IO jqコマンドが実は高性能すぎてビビッた話 - beatsync.net JSONを超絶に読みやすくする jq コマンド - WebAPIバリバリ使うor開発する人必須 CLIでJSONの整形をする - ( ꒪⌓꒪) ゆるよろ日記 JSON形式の情報を様々な条件や書式として成形、フィルタリングツール『jq』。上記関連エントリで私もこのツールの存在を知る事になったのですが、ツールの簡易さ・便利さに感動しながら私もちょくちょく利用させてもらっています。 そこでこのエントリでは、jq公式ページに展開されている利用ガイド・リファレンス的な位置付けの『jq Manual』を写経がてらざっくり日本語訳してみました。ざっくり訳なのでこの部分の訳おかしい・間違ってる等ありましたら御指摘頂けると幸いです。例示されているサンプルコードも

ども、大瀧です。 年明け一発目のAWSアップデートとして、Auto Scalingの新機能がリリースされました。ちょっと分かりにくい機能なのですが、上手く使えば今までのAuto Scalingの弱点を補うポテンシャルを持つ機能だったので、ご紹介したいと思います。 Release: Auto Scaling on 2014-01-02 : Release Notes : Amazon Web Services 2013/01/09 Python版AWS CLIが本アップデートに対応したので、コマンドの実行例を追加しました。 Auto Scalingの既存EC2インスタンスの活用とは AWS Auto Scalingは、EC2インスタンスの作成、破棄を自動で行うクラウドならではの管理機能です。ただ、従来のAuto Scalingでは以下の制限があり、初めて使う方にとっては敷居の高い印象がありま

ども、大瀧です。前回に続き、Apache httpd(以下Apache)によるバーチャルホストの構築例として、mod_mruby編をお送りします。 Apacheの再起動が不要なバーチャルホストの構築方法として、前回はmod_vhost_aliasモジュールの活用とmod_luaモジュールでLuaスクリプトによるApacheの動作のカスタマイズをご紹介しました。今回は、mod_luaモジュールと同様のアプローチで軽量版Ruby実装のmrubyを実行する、mod_mrubyモジュールでApacheの動作をカスタマイズ、バーチャルホスト構成として動かしてみようと思います。 [2014/03/04更新] 本ブログで執筆当時未実装と記した機能は実装済みと、作者のMATSUMOTO Ryosukeさんのツイートでありました。以下の説明はちょっと情報が古いことをご承知置きください。 ひとまずここで言及さ

ども、大瀧です。 小規模なWebサイトの運用は、「お金はかけられないけど、ハードウェア障害などでサイトが落ちると困る」というように、運用コストが問題になりやすいITシステムではないでしょうか。そんなシステムへのソリューションとして、運用コストを削減できるクラウドの利用とWebサーバー集約は案件として最近よく耳にします。 AWSでのWebサイト集約はAmazon S3のStatic Website Hostingが挙げられますが、BASIC認証に対応しておらず企業や会員向けサイトなどでは要件が満たせないことがあります。そこで今回は、EC2でApache httpd(以下Apache)を実行し、Webサーバーの集約としてバーチャルホストを構築するレシピをご紹介します。 Apacheのバーチャルホストのキホンと限界 Apacheのネームベースのバーチャルホストは、NameVirtualHostデ

Advent Calendar 2013：AWS CloudFormation Big Bang Template Summary

Amazon Web Services ブログ: 【AWS発表】 AWS CloudTrail - AWS APIコールの記録を保存 What is AWS CloudTrail - AWS CloudTrail 『re:Invent 2013』で発表された新サービス『AWS CloudTrail』。東京リージョンでの利用可能はもう少し先の話になりそうですが、先行して一部リージョンでは既に利用可能となっています。Amazon Web Servicesブログで発表されたエントリ内容と併せてドキュメントを読み解く事で、どのような事が行えるのかをこのエントリで把握して行きたいと思います。 目次 AWS CloudTrailとは何か AWS CloudTrailのしくみ CloudTrailワークフロー 地域間グローバルサービス CloudTrailサポート対象サービス・対応リージョン AWS C

コンプライアンスとガバナンスのためのログ保存 AWS CloudTrailは、コンプライアンスとガバナンスのためのロギングサービスです。AWSの利用に関してAWS管理コンソールやAPIからアクセスログを取得することができます。これはエンタープライズ向けに非常に重要なサービスで、アクセスログをエビデンスとしてS3やGlacierに保存することができます。 サインアップ 現在、北米など一部の地域のみの提供ですが、そう遠くない未来に東京リージョンにも登場するでしょう。以下のURLからサービス開始をします。 AWS CloudTrailのワークフロー ここでは、CloudTrailのワークフローについてご紹介します。 AWS管理コンソール、AWS CLI、APIなどを使ってアクセスします。ユーザー操作ログが指定されたS3バケットに保存されます。 オプションとして、Amazon SNSによる通知を行

CloudWatchの値をZabbix側でも見られるようにしたので、その手順を共有します。 CloudWatchの値をZabbixで取りたい理由 Zabbixでは最初から非常に多くの項目を監視できるのですが、AWS等のクラウドを利用していると、必要だけど監視できない項目が出てきます。RDSやELB等のフルマネッジドサービスのリソース状況はもちろんのこと、EC2のCPU使用率といった一見Zabbixで監視できそうなリソースも、実は正確な値は取れていません。 一方、CloudWatchはEC2内部の情報、例えばロードアベレージやプロセスの監視はできません。また、データの保持期間が14日間なので古い情報は見られません。 そこで、CloudWatchの情報をZabbixに貯めるようにすれば、、両方を一元的に管理できるし、情報の保持期間も好きなように設定できるようになります。 Zabbixの外部チェ

Amazon が所有する AWS Systems Manager ドキュメントの一覧を AWS CLI で取得して眺めてみた

ども、大瀧です。久々の投稿になってしまいました。反省。 本日、VYATTA USERS MEETING Autumn 2013に参加してきました。業務都合で前半パートしか聞けなかったんですが、とても勉強になったので、ログとしてレポートを書き残しておきます。 告知ページ(ATND) Twitterハッシュタグ : #jvum2013a Togetter : vyattaユーザ会2013秋 - Togetter と、その前に。Vyattaとは? アプリエンジニアの方にはVyattaというプロダクトを知らない方が多いと思いますので、レポートの前に簡単にご紹介しておきます。(Vyattaをご存知の方は飛ばして、次の「雑感」へどうぞ。) Vyattaは、NAT/ファイヤーウォール/VPNなどネットワーク機器で言うルーター相当の機能を、x86のマシンで実行するソフトウェアです。x86サーバーやPCにそ

今回の課題 こんにちは植木和樹です。7月にserverspecを使ったChefの自動テストのエントリを書きました。 【AWS】JenkinsとserverspecでChefのテストを自動化する このエントリは初めてJenkinsを触った時に書いたので、いろいろと流儀がわかっていませんでした。その後弊社にJenkinsマイスターの渡辺修司さんが入社したということで、Jenkinsの設定について見てもらいました。その時に次の6点を見直すよう指摘がありました。 ジョブは意味ある単位で1つにまとめるべし ジョブで実行するシェルスクリプトもgitから取得すべし EC2の起動に失敗したら後続処理を停止させるべし serverspecの実行結果はJUnit（XML）形式で出力すべし 実行結果のXMLをJenkinsで読み込んで統計グラフを出力すべし 定時実行でなくgit push hookを入れるべし