Amazon Web Services ブログ AWS DevDay Tokyo 2018 Database トラック資料公開 Database フリークな皆様、こんにちは！AWS DevDay Tokyo 2018 Database トラックオーナーの江川です。 2018 年 10 月 29 日（月）〜 11 月 2 日（金）にかけて、AWS DevDay Tokyo 2018 が開催されました。本記事では、11/1(木)に実施された Database トラックのセッション資料をご紹介します。 セッション資料紹介に先立ち、お客様セッションとしてご登壇いただいた、Sansan株式会社間瀬様、株式会社ソラコム安川様、Amazon Pay 吉村様にお礼申し上げます。併せて、ご参加いただいた皆様、ストリーミング配信をご覧いただいた皆様ありがとうございました。 ●お客様セッション資料 AWSサービ

この記事は一休.com Advent Calenrad 2017の11日目です。 データサイエンス部小島です。 現在はレコメンドまわりを担当しています。 試験的に導入予定のETLツールAirflowについて書こうと思います。 Airflowについて 一言でいうと、高機能なcronです。 Pythonでかけて、タスクごとの依存関係を定義できます。 元々はAirbnbが独自で開発し、今はApacheのIncubetorのプロジェクトになっています。 一休のデータフローを考えてみる 一休ではセッションごとの情報を集約してまとめています。 そのデータをDWHに加工するまでの流れをまとめると以下のようになります。 上記のデータ処理を日次で行うようなものをAirflowで実装していきたいと思います。 環境の構築 今回は簡単にgithubに環境を公開してくれている方のをおかりしてセットアップしていきます

春田です。 Airflowを活用したプロジェクトに携わる事になったのですが今回初めて触れる形となるため、まずはAirflowに関する概要を勉強しながらまとめてみました。 Airflowとは The Airflow Platform is a tool for describing, executing, and monitoring workflows. Airflowは、ワークフロー（例えば、A B Cという３つのタスクがあった時、これらをいつどの順番で実行するか）を記述、実行、監視するためのツールです。 このAirflowは DAG (Directed Acyclic Graph: 有向非巡回グラフ) というグラフ理論がベースになっています。私自身、グラフ理論にあまり精通していないのため、自分でも理解できるように噛み砕いた言葉で説明していきます。 DAG (Directed Acycl

この記事では独自ドメインのメールを、GmailとAWSを使って受信できるようにすることを目的としています。Gmailで 送信 できるようにしたい場合はもっと簡単にできるので、以下の記事を参照にしてください。 お名前.comで取得したドメインでGmailからメール送信する ※ 上の記事では、レジストラとしてお名前.comを想定しているが、他のレジストラであってもやり方は基本的には同じ。 0. メール受信方式の概要 独自ドメインのネームサーバをRoute53にする Route53でMXレコードを設定する SESで独自ドメインメールを受信できるように設定する 受信したメールをS3に保存するよう設定する S3にメールが保存されたときにGmailに転送するLambdaスクリプトを作成する 1. 独自ドメインのネームサーバをRoute53にする AWSコンソールでRoute53を開き、「Create

はじめに Railsプロジェクトでアプリケーションからのメール送信はAWS SESを利用 メール受信やユーザーへ送信したいのでGoogle appsを利用 こんな状況はよくあると思うのですが、メール送受信の部分をGoogle appsとか他のメールサービス使うのもあれだったのでAWS内で完結できたらいいなー？と思ったのがことの発端。 最近SESでメール受信（S3へ保存やLambdaと連携可能)となっていたのでごにょごにょすればいけるのでは？と思ったら ありましたそんなサービス！ サービス一覧の右下にこっそりいましたWorkMail。 エンタープライズアプリケーションなんて普段目にしてないから気づかなかった。 WorkMailとは？ 今回気になった部分を凄くざっくりまとめると AWSのメールサービス 独自ドメインが使える！ 1ユーザー(1メールアドレス)が4ドルとGoogle appsよりち