しんご @yoshidashingo いよいよ今週金曜／Serverless Meetup Osaka #2 - Can you hear me? serverless.connpass.com/event/43746/ #serverlessosaka pic.twitter.com/RXDjKf3qY1 2017-01-22 11:50:14

Startup Infrastructure~Innovation Meetup~ 2017/01/26

The document provides information about an AWS webinar on AWS Systems Manager presented by Solutions Architect Kayoko Ishibashi. It includes an agenda for the webinar covering an overview of AWS Systems Manager, demonstrations of key features like resource groups, inventory, automation, and security best practices. The webinar aims to help participants understand the overall capabilities of AWS Sy

BigQuery破産ならぬAthena破産 クエリでスキャンした容量毎に課金されるAthena。同じ課金方式（値段も一緒）のBigQueryでクエリの投げ方間違えて１００万円溶かしたなどの話は有名ですよね。 Athenaでも同じことが起こりうる、というのでとても怖いです。 ちょっとしたミスがとんでもないことになる。 そこまでビビらなくてもいいですが、 とはいえ、怖いのは怖いものです。 とはいえ、使わないというのもどうかと思います。 ので、BigQueryと同じく、パーティションを作ってちゃんとスキャンされる範囲を制限してクエリを実行すれば それなりに安全ということで、本家からも推奨されてます。 Athenaのパーティション EMRなどでHiveを使ってS3にごにょごにょしてたのであれば、すでにHiveフォーマットでパーティショニングできてることもあります。 が、 我々がよくAthenaで見

今日は CloudWatch の話を書こうと思う．既に活用してる人も多いと思うけど，2016年11月の新機能リリースで各種メトリクスの「パーセンタイル統計」を可視化できるようになった． 「パーセンタイル統計」は凄く重要で，平均値だけをモニタリングしていると気付きにくい異常値に気付くことができる．例えば，ELB の Latency をモニタリングしている場合に，リクエストの 1% が非常にパフォーマンスが悪いとしても，平均値で見ると値が丸まってしまって，通常より少し遅い程度にしか見えないという場合がある．そんなときに「パーセンタイル統計」を活用できる． まだ全ての ELB に反映されていない 以下の記事を読むと，newly created ELB and ALB と書かれていて，新機能リリース以降に作成した ELB と ALB にしか対応していないように読み取れた． Amazon Cloud

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

はじめに 前回は、Sparkで処理を実行したときのボトルネック箇所と、その対策について解説しました。今回は、「本検証のシナリオではどのようなクラスタ構成が良いか」検証した結果を解説します。 Spark2.0のパラメータチューニング 最適なクラスタ構成を検討するにあたり、今回はSparkの（設定ファイルspark-defaults.confに記述できる）パラメータのうちいくつかをチューニングします。条件は次の通りです。 Sparkのバージョンは2.0 処理対象のデータは365日分の消費電力量データ Sparkのシャッフルファイル出力先ディスクはHDFSと共用（前回解説したもの） パーティション数のチューニング Sparkはデータを「パーティション」という単位で並列処理します。処理の流れは以下の通りです（図1）。今回はシャッフル処理後の適切なパーティション数を検証します。 (1)データソースか

こんにちは。セールスエンジニアの id:Soudai です。 今月から Mackerel チームにジョインしましたがついに皆様にアップデートをお伝えさせていただきます。 先週まではチームメイトの id:a-know が主に皆様にお届けしてきましたが今週からは私も頑張って行きます！ また先日は Mackerel Meetup #9 Tokyo を開催しました。 こちらの開催内容については別途皆様にご報告したいと思いますのでお楽しみに。 それでは、今週のアップデート情報をお伝えします。 グラフアノテーションをリリースしました！！ ご要望が多かったグラフアノテーションをリリースしました。 この機能により、サービスやロールに関係する様々な事象をグラフにアノテーション（注釈）として残すことができます。 アプリケーションのデプロイやバッチ処理実行、テレビCMなどのビジネスキャンペーンとの相関を考慮しな

まだgzipで消耗し（略） 2016年、人類が待ち望んでいた、gzipを圧倒するOSS圧縮ツールzstd(Zstandard)がリリースされたにも関わらず、なんかあんまり話題になっていなくて寂しいので、ちょろいかんじの賑やかし比較記事を書きました。圧縮ツールのカタログ的に眺めていただけるかと思います。 はじめに （この記事で言う）圧縮ツールとは何か 圧縮ツールという呼び名は正確ではない（はず）です。平たく言えば、gzipやbzip2、xz、lz4などですが、人によっては、tarの裏側としてしか使ってなくて、聞いたこともないかもしれませんね。そういうときはまずgzipのmanpageとか読んでください。 しかし、そういうツールを何と呼べばいいのかわからないので、ここでは圧縮ツールと呼んでいます。 ややこしいですが、アーカイバではありません。アーカイブとは実態が一つのファイルになっているフォル

The document provides information about an AWS webinar on AWS Systems Manager presented by Solutions Architect Kayoko Ishibashi. It includes an agenda for the webinar covering an overview of AWS Systems Manager, demonstrations of key features like resource groups, inventory, automation, and security best practices. The webinar aims to help participants understand the overall capabilities of AWS Sy