私はコミットログの書き方に悩む英語の苦手な人間である。実際、似たような人は世の中に結構いるようで、頻出単語を集計したりまとめたものは既にあって役に立つのだけれど、これらはあくまで単語の話であり、具体的な文を構成する過程でやっぱり困る部分がかなりあった。 要するに、どういう時にどういう文が使われているのか、ということを示した例文集が欲しいのである。ググると他にも「例文集があればいいのに」みたいな声はあるくせして、しかし誰も作ろうとしない。何なんだお前ら。それじゃ私が楽できないじゃないか。 仕方なく自分でまとめたので、増田に垂れ流しておく。 はじめにここで挙げているコミットログは全て実際のコミットログからの転載である。当然ながら各コミットログの著作権はそれぞれの書き手にある。いずれも各英文でググれば出てくるし、フェアユースの範囲なら許してくれるだろうと考え名前とプロジェクト名は割愛したが、ここ

先日、『データレイク』で情報を調べてみたら『Building a Data Lake on AWS』というeBookの資料(PDF)がある事を知りました。比較的ボリューム短めで読み易かったので、当エントリではその読んでみた内容をご紹介してみたいと思います。 Data Lake on AWS 『データレイク』とは何か 今日、組織では様々なソースからなる複数種別のデータを管理する業務が行われています。大規模なデータボリューム、様々なデータの種類に直面し、組織はタイムリーに洞察力を組織内に提供する為に、従来のデータ管理システム以上の敏捷性と柔軟性を備えるデータストレージと分析ソリューションを必要としています。 "データレイク"は、最近注目されるようになってきた新しい方法です。これら課題の多くに対応するデータを格納し、分析する事が出来ます。データレイクを構築する事で、組織は構造化されたもの、非構造

先日投稿した下記のエントリではTreasure Dataで任意の日付範囲のデータを抽出するクエリを作成してみましたが、当エントリではそのクエリを定期的に実行を行うクエリとしてスケジューリングし、結果をAmazon Redshiftに投入するフローを形成してみたいと思います。 Treasure Dataから日付範囲指定したデータを取得する ｜ Developers.IO 目次 利用するクエリ クエリの作成 クエリの設定 接続先情報の設定 スケジュール設定 スケジューリングされたクエリの実行確認 まとめ 利用するクエリ 先日投稿のエントリで利用したSQLを整理し、以下の様な形で前日分のデータを取得するようにしてみます。 SELECT seqno, TD_TIME_FORMAT(time,'yyyy-MM-dd HH:mm:ss') as registered_time, user_id, po

Treasure Dataを利用していると日々データが蓄積されて行く形となるのですが、定期的にそのデータを取得し、別環境にデータを移動させて行きたいという要望はデータ分析案件に携わっていると多く遭遇します。当エントリではその前段として『送るデータを条件指定して抽出する』ためのクエリの書き方について、通常のRDB(MS)で実施するSQLとは異なるポイントが有りましたのでその辺りをまとめつつ、順を追ってその内容を紹介していきたいと思います。 目次 処理フローイメージ図 サンプルデータの用意 日付の範囲を指定してデータを取得するSQLサンプル まとめ 処理フローイメージ図 処理の流れとしてイメージしているのは以下の図です。Webサイト等から適宜データがTreasure Dataに投入されて来ている状況から、日次処理で所定の日付時刻範囲のデータを抽出、その抽出したデータをRedshiftへ送る..