tagomorisのブックマーク / 2015年6月29日

社内PaaSの開発運用 // Speaker Deck

Talked at http://www.zusaar.com/event/9057007

tagomoris 2015/06/29

リンク

Hive GenericUDFの挙動がおかしい場合 - たごもりすメモ

コンストラクタで初期化処理をやってしまっていないか気をつけよう。通常 GenericUDF を継承したUDFを実装する場合、初期化処理は initialize メソッド内で行う。コンストラクタで行ってはいけない。それでも古いほうのHiveのバージョンでは動くケースがあったようだが、Hive 0.13で動かなくなっているケースが出て難儀した。なにしろデータソースによって動いたり動かなかったりする。普通にカラムの入力データを食わせると動かないが、入力データをHiveQLの中で文字列リテラルで与えると動いたりして地獄だった。動かないというのもエラーになるとかじゃなくて、なんかありえない挙動を示す。正規表現マッチのグルーピングが本来の挙動に対してひとつズレた結果が返ってくるとか。詳しくはそこまで調べてないのであまり書くと嘘になってしまうが、どうもUDFのインスタンスを生成するタイミングと、そ