はてなブックマーク

re:Invent 2019のKeynoteにて、続々新しいサービスが発表されていますが、自動コードレビュー／アプリケーション動作モニタリングのサービスが紹介されました。 大きく2つのサービスがあるようですが、現状はJavaアプリにのみ対応しているようです。 CodeGuru Reviewer 今までのAWSのベストプラクティスや知見をもとに、GitHubやCodeCommitに登録されているアプリケーションのソースコードをレビューし、結果をPullRequestとして通知してくれるようです。 CodeGuru Profiler Agentを仕込んでアプリケーションを動作させることで、CPU使用率や遅延などいくつかの項目から分析／可視化してくれ、さらにパフォーマンス問題がある場合には自動的にそれを識別し、修正方法を提案してくれるサービスのようです。 料金はそれなり、ご利用は計画的に 料金は

AWSから割とすごい機能が発表されました。 Introducing AWS Lambda Destinations https://aws.amazon.com/jp/blogs/compute/introducing-aws-lambda-destinations/ Lambdaの実行結果に従って次のアクション（AWSサービス）を指定できる、というものです。 成功／失敗の条件で流れを制御したい場合には、Step Functionsを使う必要もなく、Lambdaだけで完結することができるようになりました。 早速試してみます。 呼び出し元のLambdaを適当に定義 こんな感じのPythonを書きます。（Python 3.7を利用） import json import logging logger = logging.getLogger() logger.setLevel(logging.I

この投稿は、AWS Lambda Advent Calendar 2017の初日の投稿になります。 初日なので簡単なのをば！ Elasticsearchは今までローカルやプライベートネットワーク上にインストールして使うことが多く、マネージドサービスを使ったことがなかったので、今回Amazon Elsaticsearch Serviceを使ってみました。 で、色々なサイトを参考させてもらい、設定〜インデックス作成まで実施したので、その備忘録を載せます。 準備 準備ですが、クラスタを作成するだけです。当然t2.smallで作成。Elasticsearchのバージョンは5.5を選択しました。他はデフォルトの設定です。 Lambdaからアクセスしてインデックスを作成してみる AWS Lambdaに適当な関数を作成して、とりあえずアクセスしてみます。こちらを参考にさせてもらいました。 Lambda

DynamoDBのCapacityUnitsの実際の使用量を割合で出力する この記事を書くために調べている間に、まったく同じ機能としてAWSから「CloudWatch Metric Math」なるものが発表されて（しかも知らないで勉強会で発表してフィードバックをもらう、という）軽くショックを受けたので、早速Lambdaから呼んでみた備忘録。 使い方 公式ページに詳しく書かれているので、こちらを見るのが良いかと。 やりたいこと CloudWatch Metricの画面に設定できる、e1, e2部分の計算結果をLambdaから取得できるようにします。 Lambdaから呼んでみる 公式ページにもある通り、現在はget_metric_dataから取得ができるようです。こんな感じでサンプルページを参考にすれば取得できました。 response = client.get_metric_data( Me

かっこいい画面が作りたかったので、やってみた備忘録。 やりたいこと Three.jsがとてもかっこいいんですが、値の設定が静的なので、何とか動的に値を変えつつ画面に反映できないかな、、、と。このサンプルを使ってみます。 イメージとしては、この画像で異常が検出されたところを赤くアラート表示したりできないかな、と。 実際の流れの整理 Githubからサンプルを持って来て、必要なものだけ抜き出します。 異常があったら表示する、という感じにしたいので、以前投稿したロジックを使います。 AWS LambdaでDynamoDBから取得した値に任意の集計をかける（グルーピング処理追加） 最新値を取得する中で、異常があったら対象の項目に変化をつけたいと思います。 とりあえずサンプルをAWS上で動かす AWS上で動作させたいので、とりあえずこのサンプルをAWS上に乗せる必要があります。 必要なファイルの抽出

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Atlassianが「LocalStack」なんてとても便利そうなものを出していたけど、なかなか使い方を解説しているページが見つからなかったので、とりあえず使いながらなんとなく中身を理解するまでのお話。 ※2017/08/12 リポジトリが変更になった、と情報をいただきましたので更新します。おそらくdockerコマンドで使っているリポジトリの書き方とかも変わっていると思います。最新情報は新しいリポジトリから確認をお願いします。 https://github.com/localstack/localstack 起動 いくつかGithubで利用方法が紹介されていますが、今回はdockerでの利用をしてみます。 $ docker run -it -p 4567-4578:4567-4578 -p 8080:8080 atlassianlabs/localstack 2017-04-23 08:5

Elasticsearch色々試そうと思っていたところ、自分もツイートしていたJAWS DAYS 2017のツイートログを使ってみよう、と手を動かした記録。 前提 Pythonは2.7系を利用 ELKは5.2.2を利用 Twitterからのログ検索 こちらに作成したソースコードをのせました。アクセスキーを入力することで利用可能です。 （事前準備としてTwitter APIへの登録などは済ませる必要があります。） ソースコード自体はとても単純です。 3000件という数字は適当に決めたものです。（それくらいのツイート数だろうと思って適当に指定した値） ちなみにTwitter APIを利用する際には利用回数に制限があるので（リセットされる）注意が必要です。 import twitter from twitter import Api import sys import os import tim

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

VPC内にLambdaを配置すると、VPC内のサービスへの接続はとても簡単だけど、インターネットに疎通させようとした時に一手間必要だったので、そのメモ。 手順 以下の手順を踏むことになります。 Lambdaに「AWSLambdaVPCAccessExecutionRole」の権限をアタッチしたIAMロールを割り当てる プライベートサブネットとパブリックサブネットを作成する パブリックサブネット内でNATゲートウェイを作成する NAT／インターネットゲートウェイを各サブネットのルートテーブルで割り当てる Lambdaをプライベートサブネットに配置する 出来上がる構成はこんな感じになります。（あんまり自信ないけどこうなるはず） インターネットアクセスの先として、DynamoDBをとりあえず考えた場合の構成になってます。 一つずつ内容を残しておきます。 Lambdaに「AWSLambdaVPCA

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Amazon Athenaがリリースされてから、できるだろう、というイメージがあったのでやってみました。現在jdbc接続しかできなさそうなので、Lambdaは必然的にJavaで記述することになります。 結果 結果だけ見たい人はこちらをどうぞ。ただ、「とりあえず動く」コードになっています。 制限事項 取得している値は全て文字列として扱っています。他の型で受け取りたい場合はソースを修正する必要があります。 見ればわかりますが、適切な例外の処理などはほとんどないです（これが「とりあえず動くコード」の原因）。きちんと使いたい場合はご自身で足りない分を実装してください。 やりたいこと Amazon AthenaにLambdaからアクセスできるプログラムの作成 できるだけ柔軟に欲しい情報を取れるようにしたい 結果として、入力用JSONに期待するカラムも記述するようにしました。 準備 Credentia

この記事はKubernetes Advent Calendar 2016の19日目の記事です。前日はhiyoshiさんの「kubernetesがサポートする認証方法の全パターンを動かす」でした。 数ヶ月前からKubernetesの環境を触り始めた自分としては、あっという間に1.5がリリースされているKubernetesにただただ驚くばかりです。 そんな1.2時代の知識・経験しかないエンジニアが1.5を触った所感を書きたいと思います。ちなみに1.2を利用していた頃のメモはこちらに載せています。 ＃今回本当に初見で1.5を触っていますので、間違っている箇所などありましたら訂正コメント頂けるとありがたいです。 前提 kubeadm 1.6系を利用します。Kubernetesは1.5系になります。 Master1台、Node1台の構成で一旦動かします。 サーバにはAWSのEC2インスタンス（Cen

AWS re:Invent 2016のキーノートにてAmazon Athenaが公開されたので、使ってみました。 Amazon Athenaとは 公式ページに詳しく載っていますが、簡単に言うとS3を標準SQLでクエリ可能にしたサービスです。 早速使ってみる AWSコンソールログイン後のサービス一覧にはまだ追加されていませんでしたが、公式ページから使ってみます。 検索する サービスに入るとsampledbがすでにセットされているので、まずは検索をかけてみます。 ログイン後の画面は完全にSQL管理画面ですね。 すでにsampledbの中にelb_logsというテーブルがあるので、検索をかけてみます。

背景 現在時刻を使った処理のJUnitテストを書きたい ファイルに時刻が埋まっているなど、チェックしたい時刻の変更が面倒 現在時刻から1分以内の処理時間かどうかを判定したい 判定対象となる時刻はファイルに記載されている この状態では、テストケースでファイルを用意してもその瞬間しか使えない。またファイル自体は自動生成するのはコストが高すぎる。 例えば、、、以下はStorm UI REST APIでアクセスできる情報。このcomponentErrors内にあるtimeを現在時刻と比較するようなJUnitの場合、色々と面倒。 { "executors": 1, "componentErrors": [ { "time": 1458203307000, "errorHost": "hostname", "errorPort": 6701, "errorWorkerLogLink": "http:\