タグ

programmingとhiveに関するMukeのブックマーク (1)

  • SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました - あんちべ!

    概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLitePythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモを残しておきます。 特にユーザ定義関数の組込を自由に出来ると、 分析する際、相当楽になるということに気付きました。 SQLite挟むことで何がどう改善されたの? Hiveはデカいデータをゴリゴリ取ってくる分には SQLちょっと書くだけで済むので大変便利ですが、 初動遅いためちょこちょこ小さいデータを何度も取ろうとするとストレス溜まります。 そのため、これまではある程度のデータをまとめてHiveで落としてきて Pythonで加工してから分析するという流れを取っていました。 ただ加工するために似たようなコード何

    SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました - あんちべ!
    Muke
    Muke 2013/12/18
    “SQLiteはお手軽なので可愛い、可愛いは正義。”
  • 1