Fluentd&Kinesis&Lambdaによる柔軟で高可用性なログ収集基盤の構築 - Qiita
概要 Fluentdによるログ収集基盤を、Lambda&Kinesisを利用した形で構成を変更したので、その時のメモ。 先に一言で感想を述べるのであれば、巷の噂通り、Kinesis&Lambdaは素敵でした。 Fluentd Aggregatorが抱える問題点 ログデータをFluentdのForwarder & Aggregatorを経由し、S3とRedshiftに保存するような構成でしたが、Aggregatorは冗長化しづらくボトルネックとなっていました。 ログ収集に求める要件 ログ収集の構成を改善するにあたり、先に挙げた目の前の問題点を解決するのは勿論ですが、他にも様々な要件があり、大別すると以下4つ。 信頼性: データをロスなく収集することができる。 安定性: ログ量に関係なく安定的なパフォーマンスを維持できる。 冗長性: 安全かつ簡単にスケーリングが可能 汎用性: 複数ログを複数サ
AWS上にサーバレスな汎用クローラを展開するぞ。 - 超平面あのにのに
サーバレスな汎用スクレイパーを作った。 - あのにのに 前回はAPIGatewayとLambdaで、指定したURLの指定した位置にあるデータを抜き出すAPIを作った。 今回はサイト内探索をするようなシステムをAWS上に構築しようと思う 注意:クローラは用法用量を守って、相手方のサイトに迷惑がかからないように十分な配慮を徹底しましょう。 今回作るもの こんな感じの構成をイメージしてる。 DynamoDBの１レコードがサイトへの１リクエストに常に対応するものとし、内部リンクのURLを新たにDynamoDBのテーブルに追加していく。 得られたデータは対応レコードに格納される。 URLがテーブルに追加されると、DynamoDB Streamsに流され、Lambdaで実行される。 というような繰り返し。 DynamoDBのデータスキーム 1.Request先URL :target_url 例) ht
AWS Lambda で C# を使って SendGrid の Event Webhook を受信する処理を書いた - しばやん雑記
AWS Lambda が C# に対応したと聞いたので、Visual Studio を使って試してみることにします。 そして今日は SendGrid Advent Calendar の担当日でもあるので、ありがちですが Event Webhook を受け取る処理を書いてみます。まずは Lambda の C# 対応については公式ブログを。 Announcing C# Support for AWS Lambda | AWS Compute Blog AWS Toolkit for Visual Studio がアップデートされたらしいので、Lambda Function は Visual Studio を使って作成していくことにします。 インストールするとプロジェクトテンプレートが追加されるのでわかりやすいですね。 Serverless Application も気になりますが、とりあえず
伊藤直也氏が語る、サーバーレスアーキテクチャの性質を解剖する（前編）。QCon Tokyo 2016
クラウド上でアプリケーションを構築する新しい手法として「サーバーレスアーキテクチャ」が急速に注目を集めています。しかし一方で、サーバーレスアーキテクチャを採用することで得られる本質的なメリットはなにか、そもそもサーバーレスアーキテクチャとはなにを指すのか、などについてはまだ識者の間でも議論されていることです。 10月24日に都内で開催されたイベント「QCon Tokyo 2016」の伊藤直也氏のセッション「Serverless Architecture」は、こうしたサーバーレスアーキテクチャの本質について大きな示唆をもたらす内容でした。この記事では、その内容をダイジェストで紹介します。 （本記事は前編、中編、後編に分かれています。いまお読みの記事は前編です。） Serverless Architecture 一休 CTO 伊藤直也氏。 先に結論を言ってしまうと、サーバーレスアーキテクチャと
serverless + webpack + babel で AWS Lambda をナウく書く - scramble cadenza
イントロ 最近 AWS Lamdba を仕事で触っています。 serverless やら Apex なり色々あるわけですが、沢山ありすぎてよくわかりません。 今までは Apex の手軽さに甘えていましたが、そろそろ serverless が本気を出してきたという噂を聞き、serverless を使い始めています。 どうせ serverless を使うなら、もう全部使い倒してやろうということで、babel も意識高く使っていきたいわけです。 この記事では serverless + babel を使うところまでをまとめました。 環境 serverless@1.1.0 serverless-webpack@1.0.0-rc.2 webpack@1.13.3 serverless まずは雛形作成 # template 指定は必須 # `sls` は `serverless` コマンドの alias
運用的関心事を実験的にAWS Lambda on VPCにお任せしてみたので所感 - tehepero note(・ω<)
2016 - 02 - 25 運用的関心事を実験的にAWS Lambda on VPCにお任せしてみたので所感 AWS Lambda Slack リリースした時はきれいだったコードも、運用に曝されることで汚くなっていったりしますよね。 ChatOpsな今のプロジェクトでは、「 とあるイベントが発生した際に、運用担当者が迅速に反応できるようSlackに通知してほしい 」という要望が出てきたりしています。以前であれば、メール通知してたところでしょうかね。 運用的関心事は移ろいやすい かつて Java で AOP が流行りだした頃に、ロギングだったり権限チェックだったりの処理を メソッド にweavingしたInterceptorに追いやるという、所謂「横断的関心事」を ビジネスロジック の本質から除外するという手法がありましたね。 自分が運用的関心事と言っているのは何のことかというと、 アプリ
AWS LambdaでサーバレスなSlackボットをつくったよー(Scheduled Event対応・npmモジュールあり) - Qiita
TL;DR; AWS LambdaとScheduled Eventを利用した、サーバレスのSlackボットをつくることができるnpmモジュールと、 それを使ったボットの作り方を紹介します。 hubotの代替を意図しています。できるだけサーバ保守などの手間をかけず、安価にSlackボットを運用したい方におすすめです。 本質はLambdaにデプロイされる単一のNode.jsアプリなので、多くの人がhubotでやってることはだいたいできると思います。 GitHub https://github.com/mumoshu/lambda_bot npm https://www.npmjs.com/package/lambda_bot 背景 社内向けのSlackボットをいくつか運用しています。 現状のボットはhubotベースで、hubotの実行環境の整備や保守はEC2インスタンス上の温かみのある手作業で
Lambda にクラウドの夢を見る | DevelopersIO
"AWS Lambda (Preview)" AWSさんのblogは、こちら。 Lambdaは何に似ているか？ これは、まだPreview版だが、未来を感じさせるプロジェクトである。 最初、「これ面白いですよ」と言われた時、Amazonが関数型の言語でも出したのかなと思ったのだが、そうではなかった。でも、別の意味で、確かに面白い。 細かな説明では、このプロジェクトが何をしようとしているか理解するの、かえって難しいかも。直感的に、一番近いもので説明すると、データベースのTriggerのようなもの。Triggerが、データベースの枠を超えて、クラウド全体に広がったようなもの ..... と書いてみたが、Trigger使ったことない人、沢山いそうなことに気づく。 何故、Trigger使う人が、相対的に減ったかを考えると、この技術がデータベースの「中」の技術であるのが理由だと思う。（今でもデータ
Auto Scalingによる自動復旧（AWS Lambda+SNS編） - @ijin
先週のAWS Summit San Fransiscoにて、ついにLambdaがSNSに対応しました。 様々なサービスが発表された中、個人的にはこれが一番のヒットです！というのも、この機能によってAWS間のサービスがより連携しやすくなり、新しいリアクティブなアーキテクチャをどんどん実現できそうだからです。 というわけで、少し試してみました。 お題は去年12月に試したAutoScaling + Lambda。（当時はLambdaはまだこの機能がなかったのでSNS→SQSにてイベントをプロセスする仕組みを作りました。） SNS連携によって前回のこれが こうなります。（Lambdaのアイコンが出たので差し替えてます） うーん、シンプル！ 設定 前回とほぼ同様。 SNS作成
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
