SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました - あんちべ！
概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモを残しておきます。 特にユーザ定義関数の組込を自由に出来ると、 分析する際、相当楽になるということに気付きました。 SQLite挟むことで何がどう改善されたの？ Hiveはデカいデータをゴリゴリ取ってくる分には SQLちょっと書くだけで済むので大変便利ですが、 初動遅いためちょこちょこ小さいデータを何度も取ろうとするとストレス溜まります。 そのため、これまではある程度のデータをまとめてHiveで落としてきて Pythonで加工してから分析するという流れを取っていました。 ただ加工するために似たようなコード何
第31回 SQLiteでRDB再入門［その1］ | gihyo.jp
前回紹介したように、昨年末に64ビット版（x86_64）のPlamo64-1.0を公開した後、年明けからは32ビット版（x86）のパッケージを追従させる作業にかかっています。 前回の最後では、ここ数ヶ月のうちにx86用のパッケージを揃えてしまいたいと書きましたが、実際に取りかかってみると、バージョンが古くなっていてx86用のみならずx86_64用もバージョンアップした方がいいソフトウェアが多数出てきました。 ざっと見た感じでは、Plamo64-1.0を公開してから今までに、x86用のパッケージは300弱が更新されているのに対し、x86_64用のパッケージもその半数の150弱が更新されているようです。Plamo64-1.0の総パッケージ数は1100ほどなので、このペースで行くとx86用のパッケージが揃うのは今年の後半くらいになりそうで、たぶん、そのころにはx86_64用も半分くらいのパッケー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
