2017 - 06 - 22 AWS Elasticsearch ServiceがElasticsearch 5.3に対応したのでCuratorをLambdaから使ってみる BLOG Tweet Share on Tumblr こんにちは、プラットフォーム開発部のmafuyukです。 普段はDMMで保持している会員情報やビッグデータなどから、ユーザーに対して効果的な訴求を行えるプッシュ通知基盤の開発をしています。 プッシュ通知の一部基盤ではAWSを利用しているのですがその中でログ収集、可視化のためにAmazon Elasticsearch Service(以後 ES)を利用しています。 今回はESが2017/06/01にElasticsearch version 5.3 対応したことによって便利な機能が使えるようになったので、その中からCuratorを利用したインデックスのローテートをLa
はじめに 個人アカウントは基本的に無料枠で運用しているので、少しでも請求がある場合はいち早く気づきたいです。 先日、とあるハンズオンイベントで使ったリソースを消し忘れて、最終的に$30ぐらい請求が来てしまいました。。。 CloudWatchで請求アラートは設定していますが、閾値超えが想定の場合、当然見逃すことになり、最終的な請求額に驚くハメになります。 これを防ぐためにLambdaで毎日SlackにAWS料金を通知することにします。 先日LambdaがPython3に対応したので、せっかくだし勉強がてらPython3で実装したい。 ネット上にはNode.jsでの実装例が多いようで、今回はこちらを参考にPython3で実装してみます。 必要なもの Slack incoming-webhooks URL 取得についてはこちらを参考に 適当なchannel lambda-uploader req
私たちが Stackdriver Debugger にスナップショット機能を追加したのは 2014 年のことでした。これを使えば、ユーザーに影響を及ぼすことなく、本番環境のアプリケーションのコール スタックと変数を検証できます。この 1 年間で、Google App Engine やさまざまなところにホスティングされた VM、コンテナで実行されているサービス全体で 30 万以上の本番スナップショットが作成されました。 この投稿では、本番環境で実行中のアプリケーションにすばやくログ文を追加できる Stackdriver Debugger のログポイントを紹介します。 根本的な原因がわからない本番でのイシューを診断するときなどは、スナップショットと並んでこの機能がとても役に立ちます。アプリケーションのビルドやデプロイを再度行う必要はありません。しかも、ログポイントは既存のログ ベースのワークフ
例えば ドキュメントを見る ということで 参考 例えば Elasticsearch の Index Mapping を確認したい場合。 curl -s localhost:9200/debug-2017.06.23/_mapping 以下のようなレスポンスが返ってくる。 { "debug-2017.06.23": { "mappings": { "debug-apilog": { "properties": { "@timestamp": { "type": "date" ... 冒頭のキー debug-2017.06.23 は要らないので、以下のように jq でパースしようとすると… $ curl -s localhost:9200/debug-2017.06.23/_mapping | jq '.debug-2017.06.23' jq: error: Invalid numeric
つい先日、あるwebマーケティング会社の方々から、 「社外の専門家を雇ったのだけど、本当にうんざりした」 という話を聴いた。 「なぜ?」とお聞きすると、 「とにかく仕事ができないので、チームの雰囲気を悪くする。」 という。 しかし、当然ながら 「仕事ができない専門家をなぜ雇ったのか?」 というギモンが浮かぶだろう。 私はそれを聞いた。すると彼らは、 「いや、知識だけはすっごいあるんですよね。分析ツールとか、統計とか。異常なほど詳しい。本も出したりしている。」 「なるほど。ではなぜ「仕事ができない」と感じたのですか?」 「その人さ、問題を指摘するだけで、全然改善案を出せない専門家なんですよ。」 「そういうことですか。」 「例えば、webサイトを見て、あそこが悪い、ここもダメ、っていう指摘はめちゃめちゃうるさいんですよ。でも、「じゃあどうすれば改善しますか?」と聞くと、何も出てこない。」 「な
1時間で作れる!かんたん自宅Serverless環境! ~はじめてのServerless Application入門~Golambdaserverlessironfunctionsfaas Serverless環境って? 追記: 以下の記事で紹介したサーバーレス環境で,サムネイルサーバーを作ってみました!! サーバーレスの入門に!自宅サーバーレス+自宅S3環境で作るサーバーレス・サムネイルサーバー! 現在,Amazon Lambda等に代表されるようなServerlessというアーキテクチャに注目が集まっています.このServerlessという概念は実はまだ確固たる定義が無いようなので,ある程度Serverlessとして言われている性質について3つ挙げたいと思います. 「リクエスト毎にシステムの再起動を行う」 今までのサーバーのアーキテクチャはデーモンと呼ばれるプロセスが常に立っており,そ
AWS CodeDeploy を使ってデプロイを自動化したときの資料です。 Before EC2 + UserData AMIから新しいインスタンスを作成 UserDataでGithubからコードをpull Capistranoで自分自身にアプリをデプロイ ELBに新しいインスタンスを追加 ELBから古いインスタンスを退役 古いインスタンスを削除 ここが問題 インスタンスの作成〜削除が手作業 膨大な手順書 作業ミス スクリプトの終了がログ以外から確認できない サーバに入ってcloud-init-output.logを監視 After EC2インスタンスへのファイル配置とスクリプト実行の自動化・管理ツール CodeDeployの利用方法 事前準備 アプリケーションを作成 デプロイグループを作成 デプロイ対象 (EC2のタグ名 / AutoScalingGroup) デプロイ方法 (1台ずつ
「とある診断員の備忘録」というタイトルのわりに、ブログを始めてから今まで脆弱性診断に関することを一切書いていなかったことに気づいたので、そろそろ脆弱性診断ネタを書こうかと思います。 今回はクラウドプラットフォームに対する脆弱性診断の小ネタです。 クラウドサービスを診断する時のお作法って? 私が脆弱性診断をやり始めた駆け出しの頃では、オンプレ環境の診断対象が多かったのですが、最近ではクラウドプラットフォームなどの利用が当たり前となったため、クラウド環境の診断対象と沢山エンカウントします。 クラウド環境に対して脆弱性診断を実施する場合には、実はいくつか抑えておくべきお作法があります。 1. クラウド事業者側に診断事前に申請が必要な場合がある 脆弱性診断の種類にもよりますが、ブラックボックステストでは疑似的な攻撃を実施して脆弱性の有無を判定するため、不正アクセスとして検知される可能性もあります。
AWS Machine Learning Blog Build a Real-time Object Classification System with Apache MXNet on Raspberry Pi In the past five years, deep neural networks have solved many computationally difficult problems, particularly in the field of computer vision. Because deep networks require a lot of computational power to train, often using tens of GPUs, many people assume that you can run them only on power
This Quick Start automatically deploys a modern enterprise data warehouse (EDW) environment based on Amazon Redshift, with the analytics and data visualization capabilities of Tableau Server, on the Amazon Web Services (AWS) Cloud. The Quick Start builds an AWS-validated architecture that includes: • An Amazon Redshift data warehouse, which is an enterprise-class relational database query and mana
AWS Machine Learning Blog “Greetings, visitor!” — Engage Your Web Users with Amazon Lex All was well with the world last night. You went to bed thinking about convincing your manager to add some time in the next sprint for much-needed improvements to the recommendation engine for shoppers on your website. The machine learning models are out of date and people are complaining, but no one is looking
Why should your app get SRE support?—CRE life lessons Editor’s note: When you start to run many applications or services in your company, then you'll start to bump up against the limit of what your primary SRE (or Ops) team can support. In this installment of CRE Life Lessons we're going to look at how you can make good, principled and defensible decisions about which of your company’s application
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く