You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
embulk mkbundle および embulk run -b を使うと、embulk のプラグインを Gemfile/Gemfile.lock でバージョン管理できるようになる。その使い方。 [更新履歴] 2019/02/09 embulk >= 0.9.0 で gem 'embulk' が必要になったので注記 2015/11/06 mkbundle コマンドが生えたので記事を修正。v0.7.8 以降で有効 https://github.com/embulk/embulk/pull/334 https://github.com/embulk/embulk/pull/335 基本の使い方 1. embulk mkbundle すると、Gemfile やプラグインの雛形(gem にせずに読み込みたいプラグイン)が作られる $ embulk mkbundle bundle_dir Crea
まとめ Liquidと環境変数を使って開発環境・本番環境のデータベース接続情報を分ける。 テーブル情報(クエリ設定)とデータベースコネクション情報を別ファイルで管理する はじめに 開発環境、本番環境によって接続するデータベースコネクション情報を変えたい。 何個もテーブルを読み込みするが認証情報は同じなので、共通化したい。 in: # # 開発環境と本番環境で分けたいところ # type: postgresql host: 127.0.0.1 user: user password: pass database: embulk_test # # 読み出すテーブルの情報によって設定が変わるところ query: "select * from table_name"
モチベーション 一定の品質を保ちたい 書くたびに書き方が変わるのは好ましくない シェバング(shebang)は#!/bin/shではなく#!/bin/bashにする シバン、シェバンとも言われる #!/bin/shは実行環境によって様々なシェルにシンボリックリンクになっているので、bashなら#!/bin/bashと明示しよう インデントは半角スペース2つ 1行が横に長くなり折り返されないように 処理内容および使い方をスクリプト内に記載する(usage()) 何をしてくれるスクリプトか、どのように使うのかusage()関数を用意しよう ヘッダコメントでもいいけど function usage() { cat <<_EOT_ Usage: $0 [-a] [-b] [-f filename] arg1 ... Description: hogehogehoge Options: -a aaa
Embulkを利用してMySQLのデータをBigQueryにロードする際に便利なツールを開発したので紹介です。 「Samidareっていいます! よろしくお願いします。Embulkの設定作成はお任せください!」 開発経緯 業務でログデータの解析基盤としてBigQueryを使用することになったのですが、本番環境のMySQLのデータもBigQueryで参照できるようにすると色々と夢が膨らむという事に気付きました。 Embulkを利用すると簡単にMySQLのデータをBigQueryにロードできるという情報を入手したので検証したところ、確かにこれは楽チンだという結論に至りました。ただ、問題点としてテーブルの数だけEmbulkの設定ファイルを作成し、テーブル毎にEmbulkを実行しなければならないという点です。 当初でもBigQueryにロードしたいテーブル数は20以上あり、今後対象のテーブルが増え
初めまして、qsona (tw) と申します。Ruby on Rails Advent Calendar 2016 6日目の記事になります。 Rails歴は10ヶ月で、もちろんAdvent Calendarへの参戦も初です。 全体的に生意気な内容と思いますが、 じゃんじゃんマサカリ投げてください お手柔らかにお願いします。 はじめに 環境 JSONを返すAPIで、データベースはRDBを想定してます。 あんまり関係ないですが一応、Rails5 (api mode) + MySQLを想定しています。 マイクロサービスとしてのバックエンドに使う技術スタックの必要な要件 マイクロサービスの良いところは、サービスごとに合った別々の技術が使えるということです。 とはいえ、一般的な組織であれば、学習コストの面などから、ファーストチョイスとなる言語があり、普通の要件に対してはその言語を使う、ということにな
Pebble confirms it’s shutting down, devs and software going to Fitbit RIP Pebble… The wearable maker that pioneered wrist-based notifications before Apple and many others waded into the smartwatch space has confirmed it’s closing its doors as an independent entity. Late last month rumors emerged that Fitbit was set to acquire Pebble — with our sources telling us the price-tag was between $34 milli
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く