Re:dash の Python データソースで複数のクエリーの結果を組み合わせる - Tbpgr Blog
Re:dash では通常複数のデータソースの結果を組み合わせることはできません。 例えばBigQueryに複数のDBやログなどを集約した後に BigQuery データソースを利用することで実現することは可能ですが、 もっと手軽に複数のデータソースを組み合わせたい場合に Python データソースを利用することで 実現することができます。 Python データソースの導入設定 Pythonデータソースはデフォルトでは無効になっています。 環境変数 REDASH_ADDITIONAL_QUERY_RUNNERSP に redash.query_runner.python を設定しておくことで有効になります。 Docker for Mac 利用時なら $ docker-compose up -e REDASH_ADDITIONAL_QUERY_RUNNERS="redash.query_runn
Redashで使われているPythonモジュールメモ - ariarijp’s blog
Redashのコードを追うときに知っておくとよさそうなモジュールを個人的にメモ。 コミットIDは以下のもので調べたので。バージョン違いなどで差異があると思う。 github.com 依存関係を調べる requirements.txt を読んでいってもいいけど、 pipdeptree が便利そうだったので使った。 github.com $ pipdeptree celery==3.1.23 - billiard [required: >=3.3.0.23,<3.4, installed: 3.3.0.23] - kombu [required: <3.1,>=3.0.34, installed: 3.0.37] - amqp [required: >=1.4.9,<2.0, installed: 1.4.9] - anyjson [required: >=0.3.3, installed:
pandashでRedashのAPIが返す結果をPandasのDataFrameとして取得する - ariarijp’s blog
今日はRedash Advent Calendar 2017 17日目ですね。 qiita.com mtomitomi.hatenablog.com 上記の記事ではRedashのAPIとPandasを組み合わせる例が紹介されていますが、私も似たようなことをやっているので、この記事では私が実務で使っている方法についても紹介してみます。 事前準備 Redash Advent Calendarでは定番になりつつある以下のリポジトリを使用して、Redashが利用できるようになっていることを前提にします。 github.com クエリID1として、以下のクエリを登録しておきました。 SELECT * FROM city WHERE CountryCode = '{{CountryCode}}' ORDER BY Population DESC; また、RedashユーザーのAPIキーが必要になります
Redash 開発時のデバッグ方法あれこれ - Qiita
はじめに Redash の開発におけるデバッグ方法を「サーバサイド」「ワーカ」「フロントエンド」に分類して紹介します。 開発環境の構築については次のエントリを参考にしてください。 Redashの開発環境を作る手順 - Qiita サーバサイド Redash のサーバサイドは Python による軽量フレームワーク Flask で書かれています。 注意 Redash では Python 2.7 を使っているのですが、一部で __future__ モジュールを使っているファイルがあります。このモジュールを使うと記述が一部 Python 3 になるのですが、Python 3 では後方互換性が失われていています。シンタックスエラーになった場合は該当のファイルで __future__ モジュールが使われていないか確認してください。 該当するファイル一覧は例えば Github の検索結果から確認できま
アルゴリズム取引のシステムを開発・運用してみて分かったこと
東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です． 強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました． 主に以下のような強化学習の概念やアルゴリズムの紹介をしています． ・マルコフ決定過程 ・ベルマン方程式 ・モデルフリー強化学習 ・モデルベース強化学習 ・TD学習 ・Q学習 ・SARSA ・適格度トレース ・関数近似 ・方策勾配法 ・方策勾配定理 ・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network） ・経験再生 ・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Nois
Re:Dashでpythonデータソースを使ってクエリ結果をごにょごにょしたい - Qiita
はじめに Re:Dashは画面を作りたくないエンジニアにとって、 クエリを組むだけでそれっぽい画面やグラフ化なんかもできてとっても便利。 でもクエリを作るだけじゃなくて、もう少しデータをごにょごにょしたいことありませんか？ もっというと、異なるデータソースのクエリ結果を結合させたいって思う事ありませんか？？ Re:Dashには「pythonデータソース」なるものが用意されていて、 ちょっと設定をすればpythonでデータをごにょごにょできるようになっちゃいます。 これがとっても便利だったので、今回は設定の仕方から主要な機能・使い方の紹介をさせて頂きます。 pythonデータソースを使用できるようにする デフォルトではpythonデータソースは使用できないようになっています。 下記設定を追加すればデータソースからpythonが指定できるようになります。 /opt/redash/.env の修
Redash APIで動的クエリ発行するモジュール - Qiita
Redashで動的にパラメータ指定してクエリ発行したかったんですが、なんとAPI一発では出来ないということが発覚… issue には上がっているのでそろそろ実装されそうですが、今すぐ欲しかったのでモジュール書いてみました。 https://github.com/toritori0318/redash-dynamic-query 使い方 SYNOPSYSそのままです。 from redash_dynamic_query import RedashDynamicQuery redash = RedashDynamicQuery( endpoint='http://myredash-host', apikey='secret_apikey', data_source_id=2 ) query_id = 111 bind = { "start_date": '2017-01-01T00:00:00
Re:dashのpythonデータソースで結果を通知してくれるSlack botを作る - Qiita
Re:dash Advent Calendar 2016 小ネタです。 普段Re:dashを使用して、RDB, BigQuery, Redshiftなどなど複数のデータソースを使用してデータの閲覧や可視化を行ってます。クエリを定期実行したりカスタムのダッシュボードを作成したりできるので重宝しています。 今回はクエリの定期実行とpythonのデータソースを組わせて、複数のクエリの実行結果をSlackに投稿するbotを作成してみました。 pythonデータソースの有効化 pythonのデータソースは、デフォルトで無効化されているので、有効化します。pythonデータソースを有効化しなきゃならないのですが、これを有効にするといろんなことができるようになるので、有効化は慎重に判断してください。 自分の場合、redashのサーバーにパブリックIPをつけずプライベートなセグメントに置いてあり、VPNの
re:dashでpythonを使う vol.1 - Qiita
株式会社オズビジョンの@terra_yuccoです。 現在社内のBIツールとしてre:dashを導入しておりますが、この子がただクエリ書く以外に、pythonもデータソースとして使えるらしい。 ということでC:6年/PHP:3年な初心者Pythonista、社内依頼の対応のためにPythonの道に足を踏み入れました。 あ、うちのre:dashは今のところ「2.0.0+b2990」です。びっみょーに古いです。 vol.1 初日のチャレンジ そもそもpythonの文法わかんね ググります。解決。 いや色々流儀が違って困ってますけどね！なんとなくrubyっぽい pythonで出力結果を作るにはどうしたらいいの 社内サンプルを参考にしてとりあえず足してみた 一応値はとれたものの、なぜこうなっているかがわからない。 columnを変えればカラム名が、valueを変えれば対象値が変化するのはわかった。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RedashのデータソースにPythonを使う
ログイン - はてな
Hatena ID