Embulk＋DigdagでExcelのデータをPostgreSQLにロードする | DevelopersIO
データインテグレーション部 大矢です。 DBのテストデータをExcelで書くことはよくあると思います。 今回はExcelで書いたデータをEmbulkでDBにロードする、ということをやってみようと思います。 使用した環境は以下のとおりです。 Embulk v0.8.13 Digdag v0.8.16 PostgreSQL 9.5.3 Mac OS X El Capitan version 10.11.6 ExcelのデータをPostgreSQLにロードする 作業ディレクトリ 先に今回の作業で使用するディレクトリ構成を示しておきます。最終的にはこうなります。 excelload ├── allsheet.dig └── embulk ├── sales.yml ├── testdata.xlsx └── users.yml Excelのテストデータ ロードするデータ Excelのテストデータシ
謎の独自ERRORログをEmbulk + Elasticsearch + Kibana + PostgreSQLで監視する：運用設計からシステム構築まで - GMOインターネットグループ グループ研究開発本部
2015.05.28 謎の独自ERRORログをEmbulk + Elasticsearch + Kibana + PostgreSQLで監視する：運用設計からシステム構築まで 次世代システム研究室のDevOpsネタ担当（Embulkのコード読んでRuby復習中）のM. Y.です。 前回の記事（ERRORログが多すぎるWebアプリに出会ったら）では、ログ形式が統一されていない、大量のERRORレベルのログを吐き出すWebアプリに運悪く出会ってしまった場合に、そこから何とかログの傾向を把握するためのアプローチについてご紹介しました。 あれから、このアプローチを実践するためのログ監視システムを社内で実際に構築してみました。その結果、Embulk + Elasticsearch + Kibana + PostgreSQLという組合せで、割と手軽に、実用的なものを作れそうなことが分かりましたので、今
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Embulk + pg_bulkloadでPostgreSQLに高速データロード！ - Qiita
