はてなブックマーク

最近、Redshiftを検討するため調べたメモです. RedshiftはInsertやUpdate、さらにはカラム型なので１行単位のSelectが遅いらしいです. PostgreSQLと互換があると言っても同じように使えません. 同じ感じに使うと遅くて辛い目にあいます. DBとして役たたない感じに聞こえますが集計等が得意なので、 それ以外は割り切った使い方をした方が良い感じです. この記事で書かれている内容は以下のスライドで アトミック洗い替え を検証したものになります. Amazon Redshiftによるリアルタイム分析サービスの構築 データ作成と集計を分離する 検証するためにテーブルsample1を作成します. このテーブルは集計用で更新系のクエリは発行しません. BEGIN; CREATE TABLE sample1 (c1 BIGINT NOT NULL); INSERT INT

JRubyじゃないよ Digdagのコードを追っていくとRbOperatorFactory.RbOperator#runTask()でRubyスクリプトを実行しています. 具体的にはProcessBuilderを使っています. システムの環境変数を見てrubyコマンドを実行しています. Tokyo Ruby会議#11 ワークフローエンジンDigdagのまとめ - Qiitaのビデオを見たときRuby使えると聞いて勝手にJRubyだろうなとか思ってました. Digdagのワークフローの仕組み digdag pushをすると アーカイブが作成されてそれがDigdag serverに送られる ワークフローを実行するとき テンポラリディレクトリに展開される ワークフロー実行されます Bundlerを使う では本題のBundlerを使う方法です. Digdagの仕組みをある程度知った上でBundle

外部APIのアクセスをするライブラリとか作成するとき、 毎回、APIをコールせず済むようになります. 今回、試したのは以下の環境です. Rails 4.2 Rspec 3.2 WebMock VCR ライブラリ WebMock WebMockは名前の通りhttp(s)のモックです. これでHTTP通信を差し替えます. VCR VCRはモックやスタブのデータを実際のHTTP通信から記録するライブラリです. 多分、ビデオカセットレコーダー(Video Cassette Recorder)の略 テスト対象のクラス テスト対象として以下の様なAPIアクセスのクラスを作ったとします. これのテストを書いていきます. require 'net/http' require 'json' class ExampleApi STATUS_URL = 'https://example.com/contents

database.type = postgresql database.user = postgres database.password = passwd database.host = 127.0.0.1 database.port = 5432 database.database = digdagdb DB作成 CREATE DATABASE digdagdb; テーブル作成 digdag server --config postgresql.properties この時テーブルが無ければ作成されます. Server起動 digdag server --config postgresql.properties 自動起動 今の所なさそう、自分なら以下の何れかで自動起動するようにする. Systemd digdag.service GitHub:Gist rc-script(/etc/i

Digdag UIはドキュメントがなく絶賛開発中な感じですが、どんな見た目か気になったので試してみました. サーバー

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Rails4.1 以降かと思いますが以下のパスが development環境下で組み込まれています. http://localhost:3000/rails/mailers http://localhost:3000/rails/info/properties http://localhost:3000/rails/info/routes 対象となるコードはRails::Application::Finisherにあって読んでみると何かの参考になるかも. /rails/info/properties Railsアプリケーションの各種情報が表示されます. Rails version Ruby version RubyGems version Rack version JavaScript Runtime Middleware Application root Environment Data

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?