docker基盤としてECSを採用しました② - インティメート・マージャー エンジニアブログ
こんにちはmatsです。 今回はdocker環境への全面移行について、運用環境や全体構成について書こうかと思います。 全体構成 デプロイフロー GitHubとCircleCIの連動を軸に自動化しています。流れ的には [GitHub] PRをmasterブランチにマージ [CircleCI] 自動テスト [CircleCI] docker build でイメージ作成 [CircleCI] ECRに対してdocker push [CircleCI] API経由でECS Task Definitionを更新 [CircleCI] API経由でECS Serviceを更新 [ECS] Sevice設定を元にコンテナが展開される masterブランチが勝手にデプロイされるので、デプロイという作業は行っていないような感じです。 また、ECSのコンテナの入れ替えはELBのヘルスチェックが通るまで古いコン
AWS Lambdaを使ってmackerelにEC2のSpotPriceを投げ込む - インティメート・マージャー エンジニアブログ
こんにちは。g0eです。 昨日、弊社のコーポレートサイトをリニューアルしました。 なかなかかっこよく仕上がったんじゃないかと満足している一方で、随分と更新をサボっていたこのブログにも、きちんとしたリンクが貼られてしまったので、とりあえず何か書いておこうと思います。 参考までにコーポレートサイト corp.intimatemerger.com 背景 弊社ではAWS上にスポットインスタンスをうまく活用して、elasticsearchのクラスタを構築しています。スポットインスタンスは価格をかなり抑えられる一方で、時々価格が高騰してインスタンスが強制ターミネートされてちょっとドキドキします。（昨年の11月下旬〜12月上旬は特に頻度が高かったような） 冗長化して片方のAZが全滅してもデータ欠損は発生しない構成にしたり、スポットインスタンスで十分な数が確保できない場合は、オンデマンドインスタンスが自動
Airbnbの「Airflow」を試す
こんにちは。最近pythonと戯れているmatsです。 6月の頭にこんなリリースがありました。 今回はこの「Airflow」を試してみようかと思います。 Airflowとは 「Airflow」はAirbnbがオープンソースとして公開したワークフロー管理プラットフォームです。 データパイプラインを規模に応じてタイムリーにオーサリング、スケジューリング、モニタリングすることができ、過去数年間で爆発的に成長したAirbnbにとっては不可欠な存在とのこと。 ソースコード： https://github.com/airbnb/airflow/ ドキュメント： http://pythonhosted.org/airflow/ Airflowのインストール Airflowはpython製で2.7系のみの対応です。今回はAmazon Linuxにインストールを行いました。 準備 コンパイルに必要なパッケー
Aerospikeの勉強会に登壇してきました
こにちは、matsです。 昨日、行われていた「Aerospike Deep Dive」に登壇してきました。 Deepと付いているのですが、どちらかと言うと採用事例やTips的なものがメインだったので全くDeepではありませんでした。。 内容的には IMでの使われ方（導入事例） ← メイン 導入時に検討した他のKVS 導入して気づいたこと こんな感じで、後半２つは参考程度のお話になります。 海外で大規模に運用しているところでは、BlueKaiやAppNexusなどのDMPで弊社と同様の使い方をしているようなので、Aerospikeの用途的には比較的王道をいっているのかと思います。なので、事例としては結構いいんじゃないかなと思い、お話させて頂いた感じです。 最後に質問で、SSD領域を使ってやっている属性データの加工の際のレスポンスについて聞かれましたが、Aerospike的にはほぼ全て1ms以
elasticsearch勉強会に登壇してきました
こんにちは、matsです。 昨日、行われていた第10回Elasticsearch勉強会に登壇してきました。 内容としては、AWS上にAutoScallingを利用して大規模なクラスターを組んでますよという事例紹介がメインになります。 1.5ヶ月でリリースまで持っていったこともあり、パフォーマンス（構成）の考察などはサービス提供上問題ないレベルであればOKを出していたので、正確性に欠けているな・・というのをまとめながら考えていました。 半分くらいは当たり前の内容を書いているつもりでしたが、意外に反響が大きかったのを見ると他社の事例というのは需要が大きいのかなぁといったところです。 また、他のESユーザの方のお話を伺うと、QPSやレイテンシなどを気にしている方が多いのが印象的でした。 IMの場合は、4億弱のdocumentに対して激しい集計をかけるような重いクエリが多く、どうしても数秒はかかっ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
