はてなブックマーク

$ curl --create-dirs -o ~/.embulk/bin/embulk -L "https://dl.embulk.org/embulk-latest.jar" $ chmod +x ~/.embulk/bin/embulk $ echo 'export PATH="$HOME/.embulk/bin:$PATH"' >> ~/.bashrc $ source ~/.bashrc $ embulk --version embulk 0.9.1 $ embulk example ./work $ embulk guess work/seed.yml -o config.yml $ embulk preview config.yml +---------+--------------+-------------------------+--------------------

これは、失敗談として書こうとしたが、この記事を書くために色々再現させながらやってみると十分な性能を出すことができた。記事タイトルは釣りとしてそのままにする。 実際、今回の様な用途で、embulkで十分な性能を出すには色々と苦労があった。その知見とembulkの今後の発展に少しでも役立てればいいなと思う。 なお、最初に挑戦したのはWindows環境だった。ここではMacの環境で試しているがほぼそのままの手順でWindowsでも通用すると思う。 タスク たくさん(万単位)あるcsvファイルをある形式のcsvファイルに変換してデータ移行したい Embulk選定の理由 なんかそういうETL専用っぽい 流行ってそう 簡単そう(これは今はそう思わない) 速いらしい 使い方に慣れれば、csv → DB や DB → csv などの用途にも使えそう。その他適用範囲が広そう。 今回のタスクの変換処理がそれな

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

(前回の続き) 今回は、テストメソッドとテストデータの関係について考える。 テストデータとしては以下がありうる。 固定データ マスタデータ（通常固定だがテストパターンによって変化がありうる） テストデータ 期待する結果 マスタデータなどは、テストによって使いまわせた方がいい。そう考えるとテストデータの構成は、以下の様な階層構造が良いのではないかと予想する。 これ以外のパターンもあり得るだろうがまずはこれを実装してみよう。 なお、ファイル名.csvとテーブル名とBeanの名前は一致させる前提とする。期待する結果はexpect*.csvという名前にしてみた。 src/test/resources +---- sql | +--- fixed_data.sql | +--- master1.sql | +--- master2.sql | +--- test_data1.sql | +--- t

package jp.sample; import java.math.BigDecimal; import java.util.List; import java.util.Map; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.core.io.ClassPathResource; import org.springframework.core.io.Resource; import org.springframework.core.io.support.EncodedResource; import org.springframework.dao.DataAccessException; import org.springframework.jdbc.c

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Java + Spring でテストデータを効率よく管理する方式を模索する この記事はゆっくり完成させるつもりでいる。 最終目標 テスト対象はDBアクセス用のORマッパ(主にSQL)とする テスト実行の流れは以下の通りとする JUnitでテスト用データを投入する ORマッパがクエリを実行し結果をbeanで返す JUnitのAssertで結果を検証する テストデータはテストメソッドと対でフォルダ内で管理する テストデータはExcelかCSVで作成する テーブル作成スクリプトも一緒に管理し、設計書管理による乖離を解消する 以下のサンプルでは段階的に利用するパッケージを増やし、各パッケージの理解を深める。そうすることで利用するパッケージの差し替えを可能にすることを狙っている。 はじめに DB を用意する。本記事ではどの環境でも動くことを前提とするためにJava DBを使ってサンプルを作成する

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

(前回の続き) Springを使ったDBアクセスに関するテスト対象クラスとテストクラスがどういったものになるかを確認する。 まず、テスト対象クラスの仕様を考える 一般的なビジネスロジックのようにテーブル、データは当然事前に存在する前提とする。 そうすると、テスト対象クラスの最もシンプルな仕様はテーブル sample3 から取得したデータを Map の List で返すだけである。 package jp.sample; import java.util.List; import java.util.Map; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.jdbc.core.JdbcTemplate; import org.springframework.ste

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

この投稿に記載していた問題は、 Git for Windows 2.7.1 で修正されました。 今後、この記事の対処は不要となります。 Windowsで、Gitを使う場合、日本語の扱いで困ることがある。 2015/1/10 追記 : Git-1.9.5-preview20141217でもこの対処が必要であった ここでは、gitに付属のgit-guiの日本語対応について書く。 なお、その他日本語の諸問題については、「msysgit で日本語を使いたい」が詳しい。 対象バージョンは、msysgit-1.8.5.2.msysgit.0 っと少し古いバージョンである。また、最新のバージョンの状況は未確認である。 事象 git-gui は、ある特定の日本語文字を含むフォルダを開けない問題があった。 (遭遇したのは、「指導」という文字を含んでいるとダメだった) 対処 対処方法は、以下のパッチの適用であ

(前回の続き) 本記事は、考えてみたら「Java + Spring を使ったプロジェクトにおけるテストデータ管理」が正しかったかもしれない。というのもデータベースアクセスに関してSpringを利用する前提としているが、テストデータに関してはSpringにこだわる必要はないからである。 そういうわけで、CSVでテストデータを準備するためにopencsvを使ってみる。 opencsv を使う なぜ、opencsvを使うかというと CSV から Bean に変換するクラスが用意されている 作りがシンプルで理解しやすい ソースが公開されているため、自分の都合の良いように変更ができる(ここでもシンプルであることに利点がある) まずは、build.gradle である。これは testCompile "net.sf.opencsv:opencsv:2.+" を dependencies に付け足せばい