JAWS-UG アーキテクチャ支部でクローラー／Webスクレイピングの紹介をした - プログラマでありたい
先日のJAWS-UG アーキテクチャ支部 クラウドネイティブ分科会 CDP議論会 #7で、Lambdaを利用したクローラー／Webスクレイピングについての発表をしてきました。 発表の経緯 そもそも何故アーキテクチャ支部でクローラー／Webスクレイピングの話をしたのかです。クラウドネイティブ分科会では、ここ数回Lambdaの実践的な活用について議論しています。利用パターンとしては、システムの中核となる部分とそれ以外の部分があるよねという前提がでてきました。そして、それ以外の周辺分野から利用していくほうが実践導入は早そうなので、そこで使えるパターンを議論してきました。その中で、出てきたのが下記の5パターンです。 ・監視 ・通知 ・フィルター ・コンテンツ確認（Validation） ・チャットOps ※この辺りについてはアーキテクチャ支部のGitHubのIssueに記載されているので、興味ある
AWS-CloudDesignPattern CDP2.0候補
AWSクラウドデザインパターンとは？ AWSクラウドデザインパターン (AWS Cloud Design Pattern, 略してCDPと呼ぶ)とは、AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したものである。 これまで多くのクラウドアーキテクト達が発見してきた、もしくは編み出しきた設計・運用のノウハウのうち、クラウド上で利用が可能なものをクラウドデザインのパターンという形式で一覧化し、暗黙知から形式知に変換したものであるといえる。 パターンの中には、クラウドでなくても実現できるもの、今まででも実現されていたものも含まれているが、クラウド上でも今まで通りのアーキテクチャが実現でき、かつクラウドを利用する事で、より安価にそしてより容易に実現できるものは、CDPとして収
AWS Cloud Design Pattern for Enterprise
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019) Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者： 関山 宜孝 （Amazon Web Services Japan） 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりど
SerfでCDP実装 ~ HA-NAT編｜アドカレ2013 : CFn #11 | DevelopersIO
HA NATのデモを起動 実装 Serfの設定ファイルは/etc/serf.confとしました。わずか5行です！(jsonなので１行でもかけますw) { "role" : "nat-i-6de81d6a", "event_handlers" : [ "member-failed,member-leave=/opt/serf/ha-nat.sh >> /var/log/serf-event.log 2>&1" ] } member-failed, member-leaveが発生した際に、Route Tableを書き換えるシェルスクリプト/opt/serf/ha-nat.shが実行されるという仕組みです。member-failedが発生した時には、そのインスタンスのロールが標準入力から渡ってくるので、それを利用してスクリプトを実行します。 シェルスクリプトの内容は以下の通りです。冒頭のインスタ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
デザインパターンから見た AWS と Azure
http://www.zusaar.com/event/1120006
