ぼくポケ公式サイトをAWS Lambda@Edgeを使って移行してみました - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2017の1日目の記事です。 昨日に引き続きハイサイ〜！ ソーシャルゲーム事業部 で ぼくらの甲子園！ポケット のサーバサイドの担当をしております 谷脇 です。インターネットではマコピーだとか、 mackee だとか @mackee_w だとかで呼ばれています。会社もインターネットなので同様です。 去年のAdvent Calendarでは以下のような記事を書いております。 techblog.kayac.com というわけで、 ぼくらの甲子園！ポケットの公式サイト を AWS Lambda@Edge を使って移行した話をします。 TL;DR ほぼ静的なコンテンツをホスティングするのにEC2を使うのは管理コストが高くなる 過去には動的な機能があったが、機能を削るにつれて見合わなくなり管理コストが高くなっていった 動的サイト時代の名
Perl で書くクローラのテスト - Qiita
2017 年の Perl Advent Calendar 1 日目を担当する @codehex です。 とあるカテゴリのサービスを巡回するクローラを書く機会がありました。今回はそのテスト手法について僕が考えたことを書こうと思います。 文章でいっぱいの記事になりそうです... 考えたこと このクローラは巡回するサービス数が少ないことを前提としています。 クローラを開発するにあたって考えることが沢山ありましたが、その中でも特に次のことについて考えなければいけませんでした。 サービス毎で分かれるスクレイピング処理や DB への投入の処理を考慮して、どう処理を分岐させれば各々のデータを集めることが可能か 対応サービスを追加したい場合、難しいことを考えずに追加できるようにするにはどうすれば良いか 結果として、それぞれのサービス毎のパッケージを用意し、それらをプラグインとして扱う形式を取りました。実現
Rin - Redshift data Importer by SQS messaging - のご紹介 - Qiita
この記事はOSS紹介 Advent Calendar 2017 の 1日目の記事です。 Rinとは fujiwara/Rin Rinは、簡単に言えばS3にアップロードしたログをRedshiftに自動で取り込むためのミドルウェアです。私は会社でfluentdと組み合わせて以下の構成図のような形で利用しています。 Rinが行っているのは実線で示している部分です。 log aggregatorと呼ばれるfluentdが起動しているインスタンスからfluent-plugin-s3でS3にアップロードします アップロードをトリガーにSQSにキューが入ります。それをlog aggregatorで起動しているRinが受信します RinはRedshiftでCOPYクエリを発行します COPYクエリを発行されたRedshiftはS3にアップロードされたログを取り込みます 解決される問題 S3にアップロードさ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
