効率的なダッシュボードの作成 - MicroAd Developers Blog
京都研究所・TechLabの田中です。 マイクロアドでは、主にエンジニア以外のメンバーが広告配信実績などの各種データにアクセスする際にRedashを利用しています。 Redashから接続しているデータソースには、以前このブログでも紹介した分析用Hadoopクラスタ*1に加えて、MySQLのレプリやBigQueryなどがあります。 これらの異なるデータソースに対してRedashからは同じインターフェースでアクセスでき、手軽にデータの抽出や可視化・分析などが可能です。 また、クエリで抽出したデータを利用して、Redash上にダッシュボードを作成することもできます。 本稿では、そんなRedashの活用方法の1つとして、 スケジューリング機能とキャッシュ機能を利用した簡易的なデータパイプラインを使ってダッシュボードを作成する例をご紹介します。 なお、この記事で扱うRedashの説明はバージョンv1
機械学習を用いた日経電子版Proのユーザ分析 データドリブンチームの知られざる取り組み
機械学習を用いた日経電子版Proのユーザ分析 データドリブンチームの知られざる取り組み 機械学習を⽤いた⽇経電⼦版Proのユーザ分析 2019年1月22日、freee株式会社にて、Data Driven Developer Meetupが主催するイベント「Data Driven Developer Meetup #4」が開催されました。サービスをより良いものにするために日々データと向き合っているデータサイエンティストやエンジニアなど、様々な職種で活躍する人々が集い、知見を共有する本イベント。今回は日本経済新聞社とエムスリー株式会社の2社がメインセッションに登壇し、自社の取り組みについて語りました。プレゼンテーション「機械学習を⽤いた⽇経電⼦版Proのユーザ分析」に登場したのは、日本経済新聞社デジタル事業情報サービスユニットの石原祥太郎氏。日経電子版の法人向け情報サービス「日経電子版Pro」
RedashをFargateで立ち上げる - tjinjin's blog
About こちらはRedash Advent Calender 2017 19日目の記事です。 qiita.com ノリでFargateを使ってRedashを構築してみました。 もともとのdocker-compose.yml version: '3' services: server: image: redash/redash:${REDASH_VERSION:-latest} command: server command: create_db depends_on: - postgres - redis ports: - "5000:5000" environment: PYTHONUNBUFFERED: 0 REDASH_LOG_LEVEL: "INFO" REDASH_REDIS_URL: "redis://redis:6379/0" REDASH_DATABASE_URL: "
データエンジニアとデータの民主化 〜脱・神 Excel 〜 - 一休.com Developers Blog
この記事は 一休.com アドベントカレンダー 2017 の 13 日目です。 一休データサイエンス部の id:kitsuyui です。データエンジニア兼データサイエンティストをやっています。 この記事はもともとアドベントカレンダー上では「脱・神 Excel (仮)」という名前で枠で取っていたのですが、 少し主語が大きすぎたかな？と反省しています。 書いているうちに全く主旨が変わってきましたので、副題とさせていただきました。 今回は一休社内でのデータエンジニアリングにまつわる負担、それらを解決する Redash, Embulk, DatabaseMEMO の導入の流れを書こうと思います。 また、その過程で副次的に発生した FLOSS へのコントリビューションなどなどについては、 14 日目のエントリで説明したいと思います。 一休とデータ活用 一休は今日まで上質な宿・レストランの予約サービス
Jupyter Notebook でとりあえず Redash へクエリを投げておけばデータソースはなんでも良い状態にする - CARTA TECH BLOG
こんにちはこんにちは！株式会社 fluct で Web 広告配信のお手伝いをしている @jewel_x12 です！ 本記事は Redash が便利という内容です。 Redash とは redash.io Redash とは Web ブラウザから様々なデータソースに対するクエリを投げて、結果を可視化する OSS になります。 Redash には便利な機能がいくつか機能があるのですが、数点挙げると 様々なデータソースへの対応 クエリの定期実行とアラーティング Slack などへの投稿 クエリ結果のキャッシュ Google OAuth などいくつかの認証サービスでユーザー管理ができる あたりです。 弊社では Redash が広く導入されており、エンジニアなどの職種に関わらず利用者がいます。BigQuery のクエリへ Quota をかけられたり、機微な情報のあるテーブルへアクセス制限できるところ
Redashのドキュメント化されていない仕様（あるいはバグ？）のまとめ - Qiita
redashをオンプレサーバで運用していくうちに見つけた、 ドキュメントにまとまっていない仕様やバグをまとめた。 確認したバージョンはv1.0.1またはv1.0.3。 以降のバージョンでは直っているかも？ クエリパラメータ付きのSQLはrefreshされない クエリパラメータ付きのSQLとは？ URLにクエリパラメータを指定することで変数をSQLに埋め込める機能 re:dashでsqlに変数を埋め込む - Qiitaを参照 症状 クエリパラメータ付きのSQLはrefresh scheduleを設定しても定期実行されない issueも上がっている https://github.com/getredash/redash/issues/552 対策 上のissueでも紹介されているが、?maxAge=0を指定するとキャッシュ結果は再利用されずその場で実行することができる が、手動でURLを叩く必
Re:dashのキャッシュデータを削除する - Qiita
最近、Re:dashをちょくちょく使っています。 キャッシュ関連で気になったことがあったのでメモ。 Re:dashはクエリを毎回発行しなくてもいいように、結果をローカルのPostgreSQLにキャッシュして利用している。 長期運用してたり、リアルタイムにクエリを発行するようなSQLを書いてるとキャッシュが溜まっていってしまい、ディスクを圧迫していったので、この辺の問題を解決したいなと思って調べたら環境変数で設定できるようでした。 普段はdockerで立ち上げてるので、docker-composeに環境変数を書いていきます docker-compose.ymlは公式のものからREDASH_QUERY_RESULT_CLEANUPの3つを追記しただけです。 ここで気をつけないといけないのは、実際にキャッシュを削除しているのはworkerなので、workerのところに書いてあげないといけません。
知っていれば広がるグラフの見方とクエリの書き方のちょっとしたコツ - クックパッド開発者ブログ
こんにちはサービス開発部のエンジニアの鈴木達矢です。 最近サービス開発においてエンジニアだけでなくディレクタがSQLを書く機会＊やBI Tool*1を元に意思決定する機会が増えてきました。クックパッドでもモバイルアプリに新機能を足すなどの各施策前後のKPI比較や施策後の経過を見るためにディレクタやエンジニアがクエリを書いてRedashを用いてグラフ化する光景が日常化しました。 モチベーション この記事に書かれている内容は統計学を学んでいればごく入り口にあたる初歩的なことです。しかしながら、その初歩的な統計を学んでいない人にとっては、ビジュアライズされたデータからその特性をひと目で即座に把握できないことがあったりします。そのような状態ではグラフ付きの資料をゆっくり読む分には良いのですが、例えばミーティングやカンファレンスなどでグラフの意図をすぐに理解して意見を述べるのは難しいです。また、自分
RedashでSAML認証できるまで - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの池添（@zoetro）です。 2016年9月に中途入社し、Necoプロジェクト（アーキテクチャ刷新プロジェクト）において新しいログ基盤の構築を進めています。 その一環でRedashの導入もおこなっています。 新しいツールやサービスを導入するときに気になるのが認証の仕組みです。 社内ではいろいろなツールやサービスを活用していますが、それぞれにアカウントをつくるのは大変なので、やはりシングルサインオン(SSO)したいですよね。 Redash v0.11のドキュメントを見るとSAML認証について記載されていました。 さっそくSAML認証の設定をし始めたわけですが、どうにもうまくいきません。 そこで、SAML認証ができるまで - Cybozu Inside Out | サイボウズエンジニアのブログを読み、RedashやOpenAMのソースを調査し、SAMLの
Redash の次にくるのは superset!! - Airbnb 謹製の BI ツールが OSS で - Witch on the Other Shore
Redash (re:dash) 流行ってますね。 redash.io 最近 Github をにわかに賑わせている OSS が superset です。 github.com superset とは 公式説明によると data exploration platform とのことですが、僕の感覚的にはこれはつまり、いわゆる Business Intelligence (以下 BI) Tool です。そう、Tableau のような。 OSS (Apache 2.0) サーバーサイドは Python で書かれている Flask や pandas、SQLAlchemy などを利用 さまざまなデータソースに対応 (MySQL, Redshift、SparkSQL など) グラフ描画の種類が豊富 Role や Permission についてある程度細かく設定可能 Airbnb Engineering
IBM Cloud Community 勉強会 LT資料 Re:dash使って何かやろう
re:dash is a tool for sharing SQL queries, visualizing results, and scheduling automated refreshes. It supports connecting to various data sources, provides a low-cost option on AWS, and enables caching of query results for improved performance. Key features include sharing queries with team members, running queries on a schedule, connecting to backends like PostgreSQL, and programming visualizati
Re:dashで異なるData Sourceのクエリ結果をJOINできるようになったので試してみた - Query Results (Alpha) - Gunosyデータ分析ブログ
こんにちは。グノシー開発部で部長をしている@cou_zです。最近はDJ RYOWのビートモクソモネェカラキキナ 2016 REMIXをよく聴いています。11/23のライブが楽しみですね。 Gunosyにおけるプロダクト改善は、データ可視化による現状把握から始まると考えています。Gunosyではデータ可視化にいくつかのツールを利用していますが、その中でも最近はRe:dashを用いることが多くなってきました。 先日、Re:dashを用いたリアルタイムKPI通知について紹介しました。 data.gunosy.io 今回は、Re:dashの新しい機能である Query Results (Alpha) Data Source を紹介します。 この機能により、複数Data Sourceのクエリ結果のJOINが可能になりました。アルバイトで分析を担当している松嶋も「ついに使えるようになったんですね！！r
Google Analyticsの情報をダッシュボード「Re:dash」で可視化する - Qiita
追記 Re:dashのデータソースとしてGoogle Analyticsが正式に追加されるようです。リリースされた暁には、本記事にあるような面倒な手順を踏む必要はなくなりそう？ re:dashのGoogle Analyticsデータソースを試す 初めに Re:dashはオープンソースで提供されている、ダッシュボードツールです。サーバー構築の手間はかかりますが、超簡単にさまざまなデータソースから、自由にダッシュボードが作れるようになります。 今回は、おなじみGoogle Analyticsの情報を、Re:dashでダッシュボード化する方法を解説します。 追記 twitterを見ていて。 Treasure Dataでは、GAのレポートを突っ込む方法があるようです。 http://blog-jp.treasuredata.com/entry/2016/09/13/163306 Google Bi
Re:dashとMySQLとPerlで泥臭くMySQLテーブルの容量(概算値)を時系列でモニタリング | GMOメディア エンジニアブログ
ぬいぐるみが好きな方のDBAです。 このエントリーは Tableau Serverで簡単にMySQLテーブルの容量(概算値)を時系列でモニタリング に対する8か月ぶりの当てつけエントリーです。はふん。 前提として、上記のTableau Serverでテーブル容量をモニターしているやつは、RDSのようですが、DBチームが戦うMySQLサーバーはデータセンターに設置されています。物理だったり仮想だったり、バージョンも上は5.7から下は4.0（そう、かつて 三日間戦争 を繰り広げたあのサーバーです、はふん）まで、information_schemaなんて存在しないMySQLもいっぱいあります。あと、くだんの環境はAWSで動いているようでナウいTableau Serverとかあるようですが、データセンター側にはそんなものはありませんので、自分たちで何とかしないといけません。 というわけで、データセ
ディレクターがSQLを使えてよかった話 - クックパッド開発者ブログ
こんにちは。ディレクターの川原田です。 クックパッドでお気に入りレシピを保存する「MYフォルダ」のサービス開発や、保存・記録に関する新規サービスの検討・開発を担当しています。 ディレクターの仕事は様々ありますが、今回は私が身につけたことで仕事領域が広がった！と感じているSQLについてお話ししたいと思います。 いきなりですが、SQLが使えてよかった点をまとめると以下です。 よかったこと 数値抽出から分析まで自己完結 エンジニアとのコミュニケーションがスムーズに 仕事が増えていそうで実は効率アップ 周囲の知的好奇心を刺激 それぞれ具体例を交えてお話します。 数値抽出から分析まで自己完結 事例１：ログ構造を理解でき後の仕事がスムーズに 昨年、アプリのサービス開発を担当した際、エンジニアの設定したログが、実際に送信されるかどうかを事前チェックをしました*1。 アプリのリリースはタイミングが決められ
Re:dash - Make Your Company Data Driven
Redash helps you make sense of your dataConnect and query your data sources, build dashboards to visualize data and share them with your company. “Redash is as essential as email to my company. We love data but accessing the data is a pain without Redash. Any company I go to, I get them hooked on Redash. It’s an easy sell :)” by Ben Dehghan, Co-Founder of Data Miner Read what our users say → Write
re:dashをDockerで動かす - ryotarai's blog
re:dashというデータ可視化ツールがあります。MySQL、Redshift、TDなどからデータを引っ張ってグラフ化できたりして、非常に便利なんですが、今まではHighchartsというライブラリに依存しており、ライセンスの関係で利用できる用途が限られていました。先日、Feature: replace HighCharts with Plotly by alonho · Pull Request #687 · getredash/redashでPloylyという別のグラフ描画ライブラリに移行されたので、Dockerで動かしてみました。 Dockerイメージ masterブランチにDockerfileが含まれていますが、そのままdocker buildするとアセットがインストールされません。docker build前にmake depsを実行しておく想定っぽいですが、ビルドするホストにno
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - kakakakakku/redash-hands-on: Redash study materials for beginners 📊