PyHive を使って Hive カタログのテーブルに Presto クエリを実行する | Lancork
※当ブログではアフィリエイト広告を利用しています。 Presto をさわり始めたのでプログラミング言語から簡単に操作したいと思い色々見てみたところ、Python では PyHive というパッケージがありました。 PyHive を使って Hive カタログのテーブルに Presto クエリを実行するまでをメモします。 Hiveテーブルの準備 適当にテーブルを作成しレコードを入れておきます。今回はhogeテーブルからvalue1を取得することが目標です。 hive> CREATE TABLE hoge > (fuga string); hive> INSERT INTO TABLE hoge VALUES('value1'); hive> SELECT * FROM hoge; OK value1 PyHiveのインストール 以下のオフィシャル GitHub PyHive リポジトリのドキュ
PyHive + ipython-sql で Jupyter から Hive に接続する - blog.8-p.info
Jupyter から Hive を使うのに PyHive + ipython-sql が便利だった。 PyHive PyHive は Hive の Thrift クライアントを DB-API 2.0 (PEP 249) 準拠の API でラップするライブラリだ。DB-API は Python でデータベースにアクセスするための標準的なインターフェースで、Perl の DBI や Java の JDBC に相当する。 PyHive と pandas.read_sql があれば、とりあえず SQL の結果を pandas に読み込むことはできるようになる。 ipython-sql 世の中には「SQL を書くのは最初だけで、pandas に読み込んでからが本番」という仕事をしている人もいるんだろうけど、私の場合は SQL 上でいろいろすることのほうが多いので ipython-sql も使っている
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
