Lambda PythonでAWS CLIコマンドを実行する方法 - プログラマでありたい
スケジュール機能の登場や最大稼働可能時間の延長で、バッチ的なタスクでLambdaを使いたいという要望が増えてきています。このバッチを新規で作る場合は良いのですが、既にAWS CLIで作りこんでいるという場合も多いでしょう。そうなるとPythonやNode.jsに移植するより、そのまま使いたいはずです。しかし、2015年10月現在ではLambdaではAWS CLIはサポートされていません。 しかし、非公式ですがAWS CLIについても使おうと思えば使えます。チラッと手順を紹介するので、興味がある人は自己責任で試してください。 AWSの設定 AWS絡みでは、下記の設定が必要です。特にCLI特有という訳ではないので、サラッと紹介だけしておきます。 Lambdaプロジェクトの作成 IAM Roleの作成 SNS関係の設定 Lambdaのエンジンは、Pythonを選択します。理由としては、AWS C
『Amazon Web Services パターン別構築・運用ガイド』を書きました - プログラマでありたい
たまに呟いていましたが、AWSを題材に『Amazon Web Services パターン別構築・運用ガイド』という本を書きました。今回は、所属している会社であるNRIネットコム株式会社の同僚たちと書いています。 Amazon Web Services パターン別構築・運用ガイド 作者: NRIネットコム株式会社,佐々木拓郎,林晋一郎,小西秀和,佐藤瞬出版社/メーカー: SBクリエイティブ発売日: 2015/03/25メディア: 大型本この商品を含むブログ (1件) を見る 本を書いた理由 前回執筆した『Rubyによるクローラー開発技法』が好評だったこともあり、SBクリエイティブさんからAWS本を出さないかという打診を受けました。AWSは長年親しんできたこともあり、また仕事でもAWSに関する事業を進めている関係で、願ったり叶ったりでした。 一方で、やはり本を出すというのは大変です。私個人の問
Lambdaで作るクローラー／スクレイピング - プログラマでありたい
話題のAWS Lambda Advent Calendar 2014の14日目です。クロスポストで、クローラー／スクレイピング Advent Calendar 2014の14日目でもあります。 re:Inventで発表されて以来、注目のLambdaです。サーバを用意しなくても、バッチを直接実行できるとあって、ユースケースを考えるだけで夢が広がります。今年はクローラー本を出したこともあって、Lambdaで作るクローラー／スクレイピングをテーマにします。 クローラー／スクレイピングとは？ Webクローラーは、Webサイトを巡回してデータを取得するプログラムです。スクレイピングは、取得したデータから目的の情報を抜き出すことを指します。一般的には、クローラーの中に、スクレイピングの機能を包含していることが多いです。また、特定のページだけ取得してデータを抜き出すことを、スクレイピングと呼ぶことが多い
Amazon Elastic Load Balancing (ELB)の内部構造および拡張・障害時の動き - プログラマでありたい
諸般の理由により、AWSの各サービスの挙動を改めて復習中です。まずは、Amazon Elastic Load Balancing 、通称ELBについてです。ELBの内部の動作については、公開されている公式ドキュメントが割とあります。是非一度しっかりと目を通しておくとよいですよ。少なくともAWSマイスターシリーズのELBについては、読んでおくべきです。簡潔にかつ詳しく説明されているので、理解が格段に進むでしょう。というところで、現段階で私が理解しているELBのアーキテクチャをまとめてみました。 ELBの内部構造 ELBは、ELBエンドポイントとELBインスタンス（仮称）によって構成されます。ELBインスタンス（仮称）の正式名称は知らないので、その名前で呼ぶことにします。ELBインスタンスには、グローバルIPが付与されます。ELBエンドポイントは、myLB-xxx.elb.amazonaws.
Markdown記法+Git+md2review+ReVIEWで原稿・ドキュメント管理 - プログラマでありたい
来年は、インプットあたりのアウトプットの増加を目指しています。具体的なアウトプットとしては、ブログを書くこともその1つですし、公開・非公開を問わずに効率的にドキュメントを書いていくこともあります。その中で効率的にドキュメントを書くには、バージョン管理を含めドキュメントを管理する仕組みが必須だと思います。以前、原稿を書いていた時は、Git+MS Wordで書いていました。版管理出来るという点では良いのですが、Wordということで執筆出来る端末も限定され、またフォーマット変更もしづらいので改善を考えていました。 そんな中で、IT系の物書きの人たちの間でReVIEW良いよという話を何度も聞いたので試してみようと思いました。一方で、記述のデファクトは今後はMarkDown基本になると思うのでそちらもマスターしたいと考えています。Twitterで何気なく呟いたら、@masawadaさんにmd2rev
結構知らないAmazon EBSの細かい話。主にEBSのネットワークの構造について - プログラマでありたい
先日、EBS（Elastic Block Store）のとある状況下での挙動について正確なところが知りたくて、改めて調べていました。その中で、AWSマイスターシリーズ ReloadedのEBS版を見つけたのですが、これが良い資料でした。今までEBSのネットワーク部分についてどういう構造になっているのか、正確に把握しませんでした。資料を読むことにより構造が解り、ボトルネックが発生した時にどう対処すればよいのか、より掴みやすくなりました。簡単にまとめてみたいと思います。 EBSの全体像 まずはEBSの基本構造です。当たり前といえば当たり前ですが、EBSはEC2ではなくその下のレイヤーのハイパーバイザにアタッチされます。アタッチ後にOSから認識させるという形になります。また接続の方式としてはネットワーク型ですが、利用者はネットワークを全く意識せずとも使えるようになっています。（SecurityG
知っているようで知らない、リザーブドインスタンスの話 - プログラマでありたい
ちょっとリザーブドインスタンスの仕様の確認をしていたので、ついでにまとめてみました。AWSを使ったことがある人であれば、高確率で聞いたことがあると思います。でも、実際に使ったことがある人は、結構少ないのではないでしょうか？。一度使ってみれば、特に難しくもなく簡単ということが解りますので、一読して試していただければと思います。 リザーブドインスタンスのモデル そもそもリザーブドインスタンスとは、どういうものなのでしょうか？簡単に言うと、予約金を最初に払うと期間内の時間あたりの料金が安くなるというモデルです。オンデマンドインスタンスに比べ、ある一定以上使うと積算料金が安くなるというのがリザーブドインスタンスです。 リザーブドインスタンスは、使用率により３つのタイプの買い方があります。期間中にどれくらいの割合で立ちあげておくかで、タイプを考える必要があります。 年間100%利用した場合 何%利用
春のJAWS-UG 三都物語の発表資料 開発環境としてのAWSを真面目に考える - プログラマでありたい
3/9に行われたJAWS-UG 三都物語の発表資料の公開です。 開発環境としてのAwsを真面目に考える jawsug2013三都物語公開用 from Takuro Sasaki 大きく二部構成となっていまして、前半は企業でAWSを使う上でのポイントを、後半はDevOpsと絡めてAWSの利点を挙げています。 AWSの使い方は、公式情報を始め様々な方がブログ等で公開されています。その為、機能面での使い方については困ることは少ないと思います。一方で、AWS自体を安全に運用する為の情報は、まだまだ少ないのではないかと思います。そこで人間を中心にアカウント運用や一括決済、ネットワークの考え方・運用の仕方について話してみました。（改めて資料を見ると、その部分の言及は少なかったですねｗ） 後半は半ば趣味の話ですが、DevOpsに絡めて話しています。AWSという強力なインフラが出てきたものの、それを単なる
Jenkinsでビルド・パイプラインを構築する - プログラマでありたい
前回、Jenkinsのインストールについて書きました。今回は、Jenkinsでビルド・パイプラインを構築する話です。 ビルド・パイプラインとは？ ビルド・パイプラインとは、ビルドのプロセスを分割して順番に実行していくことです。例えばビルドの流れとして、コミット→静的解析→コンパイル→ロジック層のユニットテスト→UI層のユニットテスト等があったとします。これを1つのジョブとして登録するのではなく、1つ1つのジョブとして実行し、成功した場合のみ次のステップに進めるようにします。これがビルドパイプラインです。 メリットとしては、どの工程で失敗しているのか解りやすいことが第一にあります。またJenkinsの特性を活かして、特定のジョブを並列で動かしたり出来るので効率化も出来ます。また、更に検証済みマージなど、高度な活用にもつながります。 Jenkinsでビルド・パイプラインの構築 元々Jenkin
Amazon Linux AMIにGit + Gitolite + Gitlabをインストールして、プライベートGitHubを構築する - プログラマでありたい
半年くらい下書きフォルダーにあったGitLabのインストール記事をサルベージしました。今回は、Amazon Linux AMIと最新のGitLab 4.1系でインストールしています。が、あまりに長く面倒くさいので、三行でまとめてみました。 GitLabはGitHubのクローンで、セキュリティー・ポリシー的にGitHubがNGな会社に最適 GitLabの中身は、Git + GitoliteをラッパーしたWebインターフェース インストールが死ぬほど面倒くさいので、後でAWSのPublic AMIとして公開するよしたよ →GitLabのPublic AMIを公開しました。 以下、手順です。気が長い人は読んでください。 ライブラリのインストール 素のAmazon Linux AMIを立ち上げたら、まずライブラリをインストールしましょう。一部sudoでやっていくと詰まるところがあったので、素直にr
クラウド破産を防ぐ為のAWS Billing Alert - プログラマでありたい
先日、Amazon S3を使ったWebホスティングのコスト検証を行いました。従量課金制を心配している人が多いので、私としては心配ないですよとメッセージを送ったつもりだったのですが、やはり上限がないことに不安を覚える人が多いようです。 消費行動としてはなかなか興味深かったので、従量課金制と定額制については改めて調べて見ようと思います。一方でAWSを利用する上での不安を解消する方法は無い訳ではないので簡単に紹介しておこうと思います。 AWS Billing Alertsを使った請求金額通知 Amazonには、AWS Billing Alertsという請求額を通知してくれるサービスがあります。コンソール画面から設定を行い、任意のサービスもしくはサービス全体で一定額を超えたらメールで通知するというサービスです。測定出来るメトリクスとしては、EC2,S3,Route53,SNS,データ転送量とありま
本当に月額10円でレンタルサーバを始められるのか？ S3で静的サイト構築を検証 - プログラマでありたい
先日、Amazonのs3の宣伝サイトが、月額10円で始められるレンタルサーバというセンセーショナルなキャッチコピーと共に作られていました。 月額10円〜でレンタルサーバーをはじめる方法 | アマゾン ウェブ サービス（AWS） AWSのサービス群の中で、真に驚異的なものはS3だと確信している私にとっては、これを機会に是非S3の素晴らしさが広がって欲しいなぁと思っています。 Twitterやはてブの反応を見ていると、かなりの反響が出ているのでPR施策としては成功だったのではないでしょうか？一方で、はてブのコメントを見ていると、従量課金制怖いとか、クラウド破産とかの話が出てきています。はっきり言って心配無用なのですが、ちょっと整理してみました。 2012/08/15追記：クラウド破産が心配の方が、やっぱり多いようなので防ぐ方法を書きました。 クラウド破産を防ぐ為のAWS Billing A
週末プログラマにお薦め！！Subversion+DropBoxで似非分散型バージョン管理 - プログラマでありたい
※Git版も書いています。 Git+DropBoxで、プライベートリポジトリ作成。或いはGitをAmazon S3でバックアップ 週末プログラマの悩みに、バージョン管理のリポジトリをどこに置くかというのがあります。理想を言えばどこかのサーバーにおいて、HTTP経由でどこからでもアクセス出来るのが一番良いです。でもそうすると、レンタルサーバーのコストが掛かります。またGitHub等もありますが、基本的にソースをオープンにすることが前提ですので、個人ユースで使いにくい部分もあります。で、勢い自分のローカルにしかソースがないという状況があります。 私は以下３つの問題を改善したいなぁと思っていました。 １．ソースのバックアップをどこか違うところに持ちたい ２．ネットワークでオフラインの時でも、コミット出来るようにしたい ３．違う環境から作業しても、最新のソースを取れるようにしたい そこで、gitで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
