SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました - あんちべ！
概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモを残しておきます。 特にユーザ定義関数の組込を自由に出来ると、 分析する際、相当楽になるということに気付きました。 SQLite挟むことで何がどう改善されたの？ Hiveはデカいデータをゴリゴリ取ってくる分には SQLちょっと書くだけで済むので大変便利ですが、 初動遅いためちょこちょこ小さいデータを何度も取ろうとするとストレス溜まります。 そのため、これまではある程度のデータをまとめてHiveで落としてきて Pythonで加工してから分析するという流れを取っていました。 ただ加工するために似たようなコード何
Kirishiki Studios
個人事業主としても活動するソフトウェアエンジニアの山田直行の個人ホームページです。 事業紹介・自己紹介はこちら -> About Posts Jul 21, 2025 Claude Code GitHub Actionsでアプリ開発を試した Jun 13, 2025 Ruby 3.4でCircularArgumentReferenceエラーがなくなった May 5, 2025 ナイルワークスを退職しFaciloに入社。転職活動の振り返り Apr 10, 2025 FigmaのMCP ServerでReact Componentを作ってもらうのを雑に試した Apr 10, 2025 従業員が全員タイミーであることの意味って？ Apr 9, 2025 SQLの三値論理の挙動をRuby + sqlite + activerecord + bundle/inlineで確認する Apr 8, 202
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
