SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました - あんちべ！
概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモを残しておきます。 特にユーザ定義関数の組込を自由に出来ると、 分析する際、相当楽になるということに気付きました。 SQLite挟むことで何がどう改善されたの？ Hiveはデカいデータをゴリゴリ取ってくる分には SQLちょっと書くだけで済むので大変便利ですが、 初動遅いためちょこちょこ小さいデータを何度も取ろうとするとストレス溜まります。 そのため、これまではある程度のデータをまとめてHiveで落としてきて Pythonで加工してから分析するという流れを取っていました。 ただ加工するために似たようなコード何
ここまでやるか。SQLiteをJavaScriptに変換·SQL.js MOONGIFT
SQL.jsはSQLiteをEmscriptenを使ってJavaScript化したソフトウェアです。 SQL.jsはWebブラウザ上で使えるデータベースです。Emscriptenを使ってSQLiteをJavaScriptに変換した面白いソフトウェアです。 デモです。テキストエリアに書かれたSQLを実行できます。 実行した結果です。最終的な結果だけが出力されています。SELECTの結果はJSONデータとして取得されています。 もちろん普通にSQLが使えます。 日本語は出力時は化けてしまいましたがデータ上は問題ないと思われます。 SQL.jsはSQLiteがそのままJavaScriptになってしまったようなソフトウェアです。慣れた使い勝手でSQLを実行したり、データを取得できてしまうのは面白そうです。なお現状Google ChromeやFirefoxにしか最適化されていません。 SQL.jsは
Big Sky :: やったーJavaScriptの動くSQLiteできたよー
※ネタです ※UDFです 正誤表を書くのにしばらくこの本をちょっと眺めてみたら、SQLiteのUDFって簡単に作れるんだなー、と思った && そういやV8ってライブラリとして簡単にリンクできるはずだな、と思い出した ので、ついカッとなって作った。 sqlite3udf-jseval - GitHub http://github.com/mattn/sqlite3udf-jseval UDFうんぬｎ ほとんど↑の本、全然関係ないと思ってたけど、やっぱりSQLiteのUDFについて全然書いてなかった。しょうがないので軽く紹介しておくと UDFを追加する場合、SQLiteの再コンパイルは必要ない (しかるべき所に.soがおいてあればいい） UDFはこの辺読んどけばだいたい分かる。 例えば文字列っぽいものを返すmyfuncっていうUDFを作りたい場合 SQLITE_EXTENSION_INIT1
WEBベースで楽々SQLite管理「SQLiteManager」:phpspot開発日誌
SQLiteManager - Web-based SQLite administration WEBベースで楽々SQLite管理「SQLiteManager」 SQLiteは便利ですが、あまり慣れていないとテーブル内を操作するのは微妙に面倒だったりします。 このオープンソースを使えばWEBベースのGUIで簡単管理が出来ます。 複数のデータベース管理や、テーブル作成、インデックス操作、基本のテーブル操作（Insert , Update, Delete, Select)や、データのエクスポートが可能。 スキンによるインタフェースの見た目を変更することも出来ます。 これはいいですね。 関連エントリ SQLiteのアーキテクチャ資料 phpSQLiteAdmin
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLite: SQLiteデータベースを読み書きするMySQLストレージエンジン
Google Code Archive - Long-term storage for Google Code Project Hosting.
SQLite入門
