SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました - あんちべ！
概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモを残しておきます。 特にユーザ定義関数の組込を自由に出来ると、 分析する際、相当楽になるということに気付きました。 SQLite挟むことで何がどう改善されたの？ Hiveはデカいデータをゴリゴリ取ってくる分には SQLちょっと書くだけで済むので大変便利ですが、 初動遅いためちょこちょこ小さいデータを何度も取ろうとするとストレス溜まります。 そのため、これまではある程度のデータをまとめてHiveで落としてきて Pythonで加工してから分析するという流れを取っていました。 ただ加工するために似たようなコード何
Kirishiki Studios
事業内容 個人事業主として、ウェブシステム・ウェブアプリケーションの開発・運用（受託）を行っています。 自己紹介 名前: 山田直行(Naoyuki YAMADA) 屋号: 霧敷スタジオ(Kirishiki Studios) ハンドルネーム: hanputu Github Twitter Blog Blog(old) Note Facebook LinkedIn SlideShare SpeakerDeck YOUTRUST 勤務先/取引先(2024年6月時点) 株式会社ナイルワークス(正社員) ドローン開発部 シニアエンジニア 株式会社サイバーエージェント(業務委託) AILab 経済学社会実装チーム リサーチエンジニア 他 業務委託 1社 興味・スキル バックエンド寄りのウェブアプリケーションエンジニア。 小さな開発チームでの立ち上げから長期の運用まで、ウェブサービスの開発過程全般に興味
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
