背景 Excelにコピペするのは嫌でござる！LambdaもTerraformも書きとうない！Datadogならポチポチだけでできるはずだ！ https://qiita.com/search?q=aws+billing 準備が5つ必要です ポチポチだけでイケた。AWSとDatadogすごい。神。 準備1: AWSでBudgetを作成する AWS請求ダッシュボードにある「Budget」で、雑でも何でもいいので、「予算を作成」してください。もうあるなら、この準備は飛ばして大丈夫です。 作成が必要な理由は、Datadogは、Budget経由でBillingのデータを吸い出しているため、Budgetがとにかく存在してないと始まらないのです。 ちなみに予算を作ったところで、予算を超えると何も動かなくなるとか、予算の金額を毎月必ず請求されるとか、そんなことは一切ないです。AWSからの請求に対して、予算と

こんにちは。ニュースパスのサーバーサイドエンジニアをしているmanoです。 昨年末から、ニュースパスで記事にコメントができるようになりました。 そのコメントデータを、AWS Neptuneを使ってグラフ構造で保持しています。 今回は、その実装・運用について書きたいと思います。 AWS Neptuneって？ AWS Neptuneは、GraphDBが扱えるAWSのフルマネージドサービスです(詳しくはこちら)。 マスター・レプリカ構成のクラスターを作ることができ、レプリカは最大で15まで並べることができます。 GraphDBとのやりとりについて、Neptuneは「グラフトラバーサル言語」であるGremlinとSPARQLをサポートしているので、このいずれかで実装することになります。私はどちらも「なんじゃそりゃ」というところからのスタートだったので、直感的に書き方がしっくりきたGremlinを使

2019/04/25に開催された『データ分析基盤Developers Night〜3社3様分析基盤の変遷〜』の講演資料です。

やりたいこと（ユースケース）から利用パターンへ到達できるように、ユースケース主導で紹介。利用するサービスのすべての機能をを覚えなくてもやりたいこと/部分からスタートできます。実際、類似するアーキテクチャの実例が多くあることがわかります。 パターン別のテンプレートから始めてみよう!  チュートリアルで体感しよう! - いくつかのパターンはテンプレート/雛形から始めることができます。それぞれのパターンの「Template」「Sample」「Solution」のリンク先を参照ください。 - 実際に作って動かせるチュートリアルに「Tutorial」「Workshop」リンクからアクセスできます。ちょっとしたトライに費用が気にならないのもサーバーレスの良いところ。 - 各パターンの特性に合わせたエラーハンドリングの記事を拡充中。それぞれのパターンの「エラーハンドリング」リンクからご確認ください。 -

こんにちは。メディアプロダクト開発部の我妻謙樹（id:kenju）です。 サーバーサイドエンジニアとして、広告配信システムの開発・運用を担当しています。 今回は、cookpad storeTV （以下略：storeTV ）の広告商品における、リアルタイムログ集計基盤の紹介をします。 storeTV における広告開発 storeTV とは？ storeTV は、スーパーで料理動画を流すサービスで、店頭に独自の Android 端末を設置し、その売り場に適したレシピ動画を再生するサービスです。 より詳しいサービス概要にについては、弊社メンバーの Cookpad TechConf 2018 における以下の発表スライドを御覧ください。 storeTV における広告商品の概要 storeTV では、imp 保証型の広告商品を提供予定です。imp 保証型の広告商品とは、例えば「週に N 回広告を表示す

BigData-JAWS 勉強会#13 https://jawsug-bigdata.connpass.com/event/90601/ 発表資料

Amazon Web Services ブログ [AWS Black Belt Online Seminar] Amazon Neptune 資料及び QA 公開 先日 (2018/7/3) 開催しました AWS Black Belt Online Seminar 「Amazon Neptune」 の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20180703 AWS Black Belt Online Seminar Amazon Neptune PDF Q. DynamoDBを利用するのはLambdaなどのMicroserviceとの親和性が高いためです。ネプチューンとLambdaの関係はどうですか ? A. HTTP RESTが使えるのでRDBMSのDB接続と比較して親和性は高いです。 Q. 暗号化を有効にした際は、性能が落ちるのでしょ

Amazon Web Services ブログ 【開催報告】Amazon Redshift 事例祭り(DWHマイグレーション) 先日(5月10日)、「Amazon Analytics (Redshift) 事例祭り」というイベントが開催されました。オンプレミスDWHを利用していた、もしくは現在使用しているお客様がDWHをAWSクラウド上のAmazon Redshiftに移行した経験談を共有していただくという内容のセミナーで、定員の120名を越えるお申込をいただき、会場が満室になる熱気の中で実践的な情報が共有されました。 この記事ではそのイベントの内容をご紹介します。また、各社発表資料へのリンクも掲載しています。 AWS session – データウェアハウスのAmazon Redshiftへの移行ガイド アマゾンウェブサービスジャパン株式会社 ソリューションアーキテクト 下佐粉 昭から、デ

インフラストラクチャー部セキュリティグループの水谷(@m_mizutani)です。 クックパッドでは現在セキュリティ監視の高度化に取り組んでおり、その一環としてセキュリティ関連のログ収集およびその分析に力を入れています。ログ収集の部分では可用性などの観点からAWSのオブジェクトストレージサービスであるS3に一部のサービスやサーバのログをまず保存し、後から保存されたファイルを読み込んで分析などに利用しています。分析のためにS3に保存したファイルを前処理する方法としてAWS Glueなどを用いたバッチ処理がありますが、到着したログをなるべくストリームデータのように扱いたい場合もあります。特にセキュリティ関連のログでは以下のようなユースケースで利用しています。 アラートの検出: ログを検査してその中から危険度の高いと考えられるログを探し出し、アラートとして発報します。アラートの具体的な例としては

TL;DR AWS CodeBuildとJenkinsを連携させると、これまでJenkins Agentで実行していたビルド処理をAWS CodeBuildに置き換えることができます。以下のメリットがあります。 AWS CodeBuildは無限に*1スケールするので、ビルドキューの待ち行列がなくなる ビルド単位で課金されるので、Jenkins AgentのEC2インスタンスを待機させておくコストが不要になる コンテナでビルド処理が実行されるので、ビルドに必要なOSやミドルウェアを管理する手間がなくなる JenkinsのUIやユーザ管理をそのまま使い続けられるので導入しやすい AWS CodeBuildとJenkinsを連携させるには公式の AWS CodeBuild Plugin を利用します。 AWS CodeBuildとJenkinsの連携はGitHubだけでなくGitBucketやG

2018-04-06 BigData-JAWS勉強会 #12

データプラットフォームチームのよしたけです。 さて先日のBigData-JAWS 勉強会 #12にて、「リブセンスのデータ分析基盤を支えるRedshiftとAirflow」というタイトルで発表させていただきました。 Airflowについては、このブログでも Airflow を用いたデータフロー分散処理 でご紹介させていただきましたが、今回、弊社での活用事例を交えてお話させていただきました。 発表後のQAや懇親会で、Airflowの導入を検討しているが実際どういうところが大変なのか? とか運用上のつらみ、とかそういうところを気にされている方が多かった印象でした。 AirflowはPythonでデータフローを記述するため、柔軟に何でもできるという強みがあり、反面、やりすぎると改修が大変になり運用しづらくなるデメリットもあるように思います。 私たちはDAG側にはロジックを盛り込まずRake側でロ

はじめに Amazon Redshift Spectrum は、データウェアハウスであるRedshiftからシームレスにS3データを直接クエリ出来る機能です。その課金体系は、S3データをどれだけスキャンしたかによって課金されます。この手のサービスは知らず知らずのうちに課金されるのではないかと不安を抱え、導入を躊躇されることが少なくありません。今回は、安心して Amazon Redshift Spectrum を利用して頂けるように利用費と課金状況について解説します。 利用費の詳細 Amazon Redshift Spectrum の利用費 スキャンされたバイト数に対して課金されます バイト数はメガバイト単位で切り上げられ、10 MB 未満のクエリは 10 MB と計算されます スキャンされたデータ 1 TB あたり 5 USD CREATE TABLE、ALTER TABLE、DROP T

#awsstartupday 2018年3月12日 AWS Startup Day Tokyo 2018のセッション「AWS で Docker を乗りこなせ 〜AWS Fargate からKubernetes まで〜」の後半です。 https://aws.amazon.com/jp/startup-day/tokyo/ kube-aws, helmfile, brigadeメンテしつつスタートアップでK8Sを使っている人が、K8Sは銀の弾丸ではないよ、FaaSとServerlessが未来だよ、という話をしてます。

はじめに Amazon Redshift Spectrumによって、Amazon S3の外部テーブルに格納されているスカラーJSONおよびIONデータ型を直接読み込むことができるようになりましたので、早速試してみました。クラスタバージョンは、1.0.1865 です。 Amazon Redshift Spectrum Now Supports Scalar JSON and Ion Data Types Re: Amazon Redshift Announcements - Amazon Redshift Maintenance (February 22nd – March 15th, 2018) スカラーJSONおよびIONデータ型 JSONは、非同期のブラウザとサーバー間の通信に一般的に使用されるオープンスタンダードのファイル形式です。Ionは、データを長期間保存するための明確なセマンテ

日経ではアクセスログ、所謂クリックストリームデータを用途に合わせた複数のデータベースに格納し、サービス開発やマーケティングに携わる社員が自身でデータ分析ができるよう、セルフサービス化を進めています。 セルフサービス化を進めている背景として、データの集計や分析のニーズは日々増え続ける一方で、アナリストやデータサイエンティストのリソースはオンデマンドに増やせないため、いかにしてデータのアウトプットをスケールさせるかという課題があります。この課題に対するソリューションとして、データ専門チームの設立やオフショアのような人のリソースを拡張する施策に加え、ツールの整備と教育によるセルフサービス化に力を入れています。 データの集計や分析のセルフサービス化において、特に大きな課題がクエリーの負荷です。現在、およそ 200 人が BI ツールにログインして Redshift でクエリーを実行できる権限を保有

作るもの ヒーローを管理する Lambda Function を書きます。ヒーロー情報は DynamoDB の ヒーローテーブルに格納するものとします。リポジトリは以下。 * Python Lambda SAM + SAM Local Project コーディング作業 すべてはコードを書くところから始めます。いきなりプロジェクトルートにファイルを置いて書き始めるのも良いですが、後々テストやデプロイも行うことになるので少し整理してみます。以下のようにしました。 . ├── buildspec.yml ├── deploy.sh ├── docker-compose.yml ├── environments │   ├── common.sh │   └── sam-local.json ├── integration_test.sh ├── requirements.txt ├── src

You can now use Amazon Redshift Spectrum to directly query scalar JSON and Ion data types stored in external tables in Amazon S3 - without loading or transforming the data. Redshift Spectrum, a feature of Amazon Redshift, enables you to use your existing Business Intelligence tools to analyze data stored in your Amazon S3 data lake. For example, you can now directly query JSON and Ion data, such a

dc1.large Amazon Redshiftクラスタを使用している場合は、既存のスナップショットを使用して新しいdc2.largeクラスタに単純にリストアできます。 dc2.xlarge、dc2.8xlarge、またはdc1.8xlargeのAmazon Redshiftクラスタから移行するには、サイズ変更操作を使用して新しいDC2クラスタにデータを移動します。詳細については、Amazon Redshiftのクラスタとノードを参照してください。 DC2ファミリは、1ノードしか必要としない1TB未満のデータウェアハウス用に、コスト効率の高い小さなノードを用意しています。コンピューティング重視のノードを使用すると、同じデータに対する同じクエリが大幅に高速化され、結果としてTableauワークブックのパフォーマンスが向上します。 クラスタをスケールアウトしてノード数を増やすか、ノードサイズ