Workflow Engine をつくろう！ Part 1（Task の依存関係の解決） - Qiita
Part 1 Task の依存関係の解決 Part 2 Workflow の冪等性 Part 3 Task 間でのデータのやり取り Part 4 Task の並列実行 Workflow Engine って何？ Workflow Engine と言っても多機能なものから、シンプルなものまで様々なものがあります。そこで、主旨がぶれないように、この記事での Workflow Engine は、以下の要件を満たすソフトウェアとします。 Workflow Engine とは、依存関係のある複数の Task を、意図した順番通りに実行するもの この記事では、この要件を満たす Workflow Engine を Ruby でつくる方法について解説します。 依存関係を記述する 依存関係を解決するコードを書く前に、依存関係を記述する方法をまず決めましょう。 依存関係を記述するには、luigi のように Ta
BigQuery をスキーマレスっぽく運用する方法 - Qiita
3行でまとめ 1つの列に JSON 文字列を突っ込む JSON functions を使って、必要な値を取り出す 要するに RDB の JSON 型みたいな感じで運用しようということ。 どういう時に使うの？ 「1時間後からログ分析するから」とぶっこまれた時。当然、スキーマは決まっていない。あとは、使い捨てのアドホックな分析とか簡易ETLツールとして使うと便利だと思う。 なお、この方法はコストもかかるし、速くもない、実際は BigQuery なので速いけど、相対的には速くないので、甘えずにスキーマはちゃんと決めるようにしよう。 手順 スキーマを準備
BigQuery Updates@2015-08-25 - Qiita
https://cloud.google.com/bigquery/release-notes#08252015 の速報。 詳細は後日追記予定。 UDFs(user-defined functions) のサポート 多分、今回の目玉機能。JavaScript でユーザ定義関数(UDFs)が書けるようになりました。 これは機能がデカイので、別エントリーで。 https://cloud.google.com/bigquery/user-defined-functions http://googledevelopers.blogspot.jp/2015/08/breaking-sql-barrier-google-bigquery.html サンプルで雰囲気を感じ取ってください。 こんな感じで JavaScript で関数を定義、登録して、 // The UDF function urlDeco
BigQuery で row-level permission を利用する方法（その１） - Qiita
2015/4/16 に BigQuery で row-level permission が導入されたと発表がありましたが、使い方が一向にドキュメントとしてでてこなくて、モヤモヤしていましたが、中の人である Jordan さんが、Stack Overflow で使い方を解説している記事をみつけたので、試してみました。 ちなみに row-level permission と言いますが、View を使っているため、行と合わせて列単位でも制限を書けることができます。 元記事 How do I use row-level permissions in BigQuery? How do I give different users access to different rows without creating separate views in BigQuery? 元記事が2つあるので、Qiita
Docker + Google Container Engine でドカドカ負荷テスト - Qiita
まずは結論 こんな環境が Google Container Engine 上に一発で作れるスクリプトとDocker Imageを作った。 要素技術 Locust Python製OSSの負荷テストツール。分散テストモードがあって、簡単に複数台から負荷をかけるクラスタを構築することができる。今回は、環境変数で master, slave を切り替えられる Docker Image をベースにしている。 Docker Private Registry Google Container Engine で private repository を利用する方法を参照してください。 使い方 事前準備 ビルドサーバに gcloud SDK をインストールし、認証が終わっていること gcloud コマンドでデフォルトの GCP の PROJECT_ID が設定してあること（下記のコマンドでは --proje
Norikra を upstart でデーモン化する - Qiita
Norikra はコマンド自体がデーモン起動オプションを持っているが、標準の仕組みに載せたいの upstart 化してみた。これが正しいかは分からないが、とりあえず動いてはいる。みんな、どうやっているんだろうか？ 事前準備 norikra ユーザの作成 xbuild で /usr/local/bin/jruby-1.7.10 に jruby-1.7.10 を インストール ログディレクトリを /var/log/norikra に作成し、所有者を norikra:norikra にしておく upstart スクリプト description "norikra" start on runlevel [2345] stop on runlevel [016] setuid norikra setgid norikra env PORT=26571 env LOGDIR=/var/log/nori
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
InfluxDB と fluentd を組み合わせを試してみた - Qiita