タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
AWS と GCP のコストを減らせ！（Redash による可視化編） - Sansan Tech Blog
DSOC Infrastructure Group の 大澤 です。 最近自身のあまりの不健康ぶりにさすがに危機感を抱いたので、自宅から徒歩10分にある24時間営業のフィットネスクラブに申し込んできました。過去何回か挫折しているので今度こそ継続したいものです。 さて、突然ですが、皆さんは AWS や GCP などのクラウドサービスを使っていますか？ 使っている人は毎月どのぐらいお金がかかっているか把握していますでしょうか？ おそらく個人利用している人は毎月の利用料金についてシビアに見ている人は多いと思いますが、会社や団体などで使っている人はそこまで見ていない人が多いんじゃないかなと思います。私のタスクの一つに AWS、GCP のコスト管理があり、毎月の支払い額の把握や EC2 リザーブドインスタンスの購入計画、翌月の費用予測などをしています。 DSOC では AWS と GCP のマルチク
RedashをEC2からECSに移行した話とデカクエリのレスポンス悪化対策 - Nealle Developer's Blog
@2357giです。Pixel7aを買った次の日にPixel8aが発表されて悲しいです。 先日EC2で長らく動いていたRedashをECSに載せ替える作業を行ったのですが、データ量が大きいクエリを実行するとタイムアウトしてしまう問題が発生しました。 （大きいクエリとは具体的には50万行ほど結果が返ってくるクエリなどです。160MBくらいです😇 ） 結論としては、EC2からECSへ移行した際に nginx を外してしまったのが原因でした。 ALB - ECS 構成なので、nginxは要らないよね〜といつも通りのクラウドネイティブ化作業をした結果、gzip圧縮されていないレスポンスを返してしまい、タイムアウトが発生していました。 最終的にgzip圧縮を行う設定を書いたnginxを挟むことにより無事解決することができたのですが、Redashというアプリケーションの性質やECS化のタイミングが重
以下の情報は、今日現在（2019/09/30）の情報になります。 Redash では Google Spreadsheet と連携することが可能です。 公式ドキュメントにも手順は記載されていますが ( https://redash.io/help/data-sources/querying/google-spreadsheet ) 、そちらの内容 +α をここでは書きます。 事前作業 Google アカウントの用意 Redash の用意 Redash で読み込みたい Google Spreadsheet の用意 Team Drive 配下に置いた場合、 v8.0.0-beta 以降でないと読み込めない（後述） この辺は割愛。 Google Compute Engine の Service Key を払い出し Redash と Google Spreadsheet の連携には、 GCP から
タダです. redash v10 が10/2にリリースされました.ローカルに v8 を入れてたのでバージョンアップをしてみました.その作業内容をこの記事にまとめていきます.なお,ローカルは次のような環境になります. % sw_vers ProductName: Mac OS X ProductVersion: 10.15.7 BuildVersion: 19H1419 % docker -v Docker version 20.10.8, build 3967b7 バージョンアップグレード作業 追加の作業 まとめ バージョンアップグレード作業 バージョンのアップグレードについては Upgrading のセクションに記載がありました. This section is duplicated from the previous release - since many users will up
レポート画面を作るのがめんどくさかったので、 しばらくの間、SQLを叩いてCSV出力して提出していたのですが、 とうとうめんどくさくなったので、Redash で代用してみました。 初めてBIツールを使ってみたのですが、結構いい感じに利用できたので、 ざっくりとした使用感を含め導入方法をまとめていきたいと思います！ Redashってなに？ （ざっくりですが）SQLクエリからレポート画面が作れるものです。 グラフを表示したり、WHERE句用にパラメータ埋め込みも簡単にできます。 CSV、エクセルファイルも簡単に出力でき、外部連携にも優れています。 実行例 データ表示をするだけなら、クエリを実行するだけで簡単にできます！ インストール方法 Redash が公式で配布されてる setup.sh 叩いたら、 dockerとnginx, postgres, redis のインストールから設定まですべて
RedashでRedashのデータベースを使う方法〜Redashのmetadataを使う準備〜｜SHOWROOM Blog
こんにちは。波多野です。 SHOWROOMで分析/AIグループのマネージャーをやっています。 SHOWROOMでは分析にRedashを使っています。 これはAWSのEC2で立ち上げて運用しています。 先日投稿されたこちらの記事 ここでの主役はRedashのmetadataでした。 この記事は、そもそもmetadataって何？どうやったら使えるの？？？となった方、かつRedashをEC2で運用されている方に向けたニッチな記事になります。 （最後の2行に大事なことを書いてあるので、すでにmetadata使ってる方にもオススメです） ちなみに、Redash自体のデータベースに入っているデータのことがmetadataと呼ばれています。 SHOWROOMで使っているRedashは公式のこちらを使って構築して、version 8から9に上げ、今は10.1.0になっています。 https://redas
RedashでのSankey Diagram、Sunburst Sequence Diagramの利用Visualizationredash 社内での共有に作成したメモですが、折角なので、ちょっと手直しをして晒しておくパターンです。 最近のredashに組み込まれているちょっと変わり種のビジュアライゼーションの使い方・使い所についてご紹介します Sunburst Sequence / Sankey Diagram ってなーにーー https://blog.redash.io/whats-new-with-redash-new-parameters-ui-better-slack-support-52873c5adee Sankey DIagram(サンキーダイアグラム、サンキー図) 工程(ステップ、ノード)ごとの流入量を可視化する手法。 ノードの大きさと、ノードを結ぶグラフや矢印の太さで「
独自実装されたRedashをv4からv10にアップデートしていく話 - クラウドワークス エンジニアブログ
クラウドワークス Advent Calendar 2021 の 23日目の記事を担当させていただきます @bayashi_ok です。 普段はSREチームに所属しながら、最近は他チームも兼任しており日々様々な事に挑戦中です。 今回は、2021年 SREチームでやったこと の中にも含まれているRedashのバージョンアップの詳細をお話しできればと思います。 クラウドワークス のデータ分析事情 クラウドワークスではデータ分析基盤として古くからRedashを使用しており、長らくversion 4で動き続けていました。 しかしクラウドワークスのRedashは以下のような技術的・組織的課題を抱えておりました。 課題1. 独自実装による魔改造 クラウドワークスのRedashはOSSのものとは違い以下のような独自実装をしていました。 Googleスプレッドシート連携 GoogleGroupとのメンバ連携
Supervisor型の旧Redash(v4)をDocker型の新バージョン(v8)へアップグレードする | DevelopersIO
こんにちは。DA事業本部の春田です。 Supervisor型の旧版Redashサーバーをホストしている方はそれなりにいらっしゃるかと思いますが、version8以降から bin/upgrade のサポートが廃止されているのはご存知ですか？（ download_url がありません！） $ curl https://version.redash.io/api/releases | jq [ { "id": 39, "version": "8.0.0", "channel": "stable", "download_url": "", "backward_compatible": false, "released_at": "2019-10-27T00:00:00.000Z", "description": "See [CHANGELOG](https://github.com/getreda
redashの断捨離を実施したので、方法を共有します
この記事は「Eureka Advent Calendar 2021」の14日目の記事です。 Advent Calendar初投稿です。BI Teamのあらき(@kazuya.araki)と申します。弊社Data Analystとしてプロジェクトの意思決定を支えるインサイトを提供する業務を主軸に、データにまつわる業務を効率化して楽にしたり、データ利活用の一層の成長と向上を図る業務も担っています。 Tableauのコミュニティ(DATA Saber, Serverユーザー会)、BIツール研究所といったBIツールに関する課外活動も行っていますので、Tableau他各種BIツールにご興味のある方はぜひお声がけいただければと思います。 はじめに今回私が取り上げるテーマは、弊社で利用しているBIツールのひとつであるredashの断捨離を実施した際の方法を紹介します。 BIツールの成果物の断捨離方法につ
cdkでFargateを用いてRedashを設営した際にハマった箇所を書いてみた | DevelopersIO
BIツールを費用抑えめでマネージドに設営したかったので、cdk + Fargate + Redashという中々茨の道らしいものをやってみました。 Athenaで集計する依頼を度々受けることが有り、事ある毎に依頼を受けるよりは「お好きにどうぞ」と作業環境を利用可能にする方が手間は省けます。問題は、IAMロールの発行が面倒な点です。 IAMロールをあれこれするコマンドを作っていたところ、「集計した結果がグラフ化できるといいね」という声があり、ならBIツールを立ててみるかと一念発起してみました。 コストを取って楽をするか、設置作業量をとって利用費に目を瞑るかの2択で、今後継続するなら断然後者だよねとcdkによるFargateを利用したRedash設営を試してみました。 念頭に置いておくべきこと Redash設営に伴って、いくつか肝に命じておくことがあります。 第一にserver、その後creat
Redashとは？ Connect and query your data sources, build dashboards to visualize data and share them with your company https://redash.io/ SQLをエンジニアの方で用意しておくと、Bizサイドの方達がそのSQLを実行してデータを出力できる仕組みです。 Bizサイドとしては、データ集計作業をエンジニアに頼まなくても自分たちのタイミングで実施できるようになり、 エンジニアの方では、わざわざダッシュボードなどを自分で作らなくても、Bizサイドが欲しいデータを提供できるツールになります。 環境を用意する 今回は、AWSの環境上にRedashを用意します。環境の構築手順は以下の通り。 EC2インスタンスを準備するRDSの設定をするRedashの初期設定を行うDashboar
最近社内でRedashを利用している。色んなデータソースにたいしてクエリを書くことができて便利です。 redash.io ただ、たまに数字の出力で精度について気になることがあるのでブログにまとめておきます。 前提: Redashを開いているタブで開発者コンソールからネットワークの様子をみるとAPIからの結果が確認できる 桁数の多い数字の場合の誤差 小数点2桁までで丸められる件 Edit Visualization で小数点の桁数を変更しても、十数桁以上から結果がずれる 終わり 前提: Redashを開いているタブで開発者コンソールからネットワークの様子をみるとAPIからの結果が確認できる まず前提として開発者コンソールを開いている状態でRedashのクエリを実行すると、APIが叩かれて結果が入っていることを確認できます。これを利用することによってAPIからの結果が丸まっているのか、表示時に
データをグラフで見たり、絞り込んで個々のレコードを見たりする目的のデータ可視化ツールとして Metabase, Redash, Supersetの3つを軽く調べました。どれも本格的に使う前にちょっと触っただけ、あるいは使ったことある人からの伝聞情報です。感覚的な感想に留まりますが、メモとして残しておきます。 Redashにでしか対応していないデータソースや機能が必須という場合を除いて、Metabaseが全体的によさそうな印象です。 Metabase JVMだけ準備すれば簡単に起動できる Clojureで実装されている（読める人が少ないという意味では懸念点） SQLの知識は不要 個々のレコードの表示も便利 棒グラフの棒をクリックするとレコード表示に遷移する 見た目がきれい グラフごとにURLが付与されるので社内共有などが楽 「無料なのにここまでできるのか」 Redash ネット上に知見は多い
インフラに詳しくないエンジニアがGKE上でRedash環境を構築した話 - オールアバウトTech Blog
はじめに こんにちは！オールアバウトのデータエンジニア@ondaljhです。 データエンジニアをやっているものの恥ずかしいながらインフラにはそこまで詳しくない自分が、GKE上でRedash環境を構築したのでその経緯とやったことを紹介します。この記事を通して、GKEの概要とRedashをGKEで構築する1つの知見が皆様の役に立てば幸いです。 従いまして、この記事は下記のような方を想定して書かせていただきます。 GKEに興味はあるがインフラには詳しくないエンジニア GKE上でRedash環境を構築してみたいエンジニア ※この後はRedashの導入背景やdocker-composeを使ってのローカル環境構築の話をさせていただきます。ともかくGKE上でのRedash構築の話をお読みたい方は「GKEへのチャンレジ」へ進んでいただければと思います。 なぜRedashなのか まず、なぜRedashを導入
セルフホストしているRedashのログが貯まり続けたせいでdisk fullで死んだ。 OSS版Redash をEC2でセルフホストしてそのまま運用していると踏むトラップだと思うので各位気をつけられたし。 ざっくり要点まとめ Redashは結構ログを吐く Docker Daemonはデフォルト設定では無限にログを貯め続ける ↑の仕様が重なって、ログのローテーション設定をしておかないとディスクが食いつぶされる 調査と一次対応 「Redashが使えなくなった」というアラートを受けて調査したところ、dockerがdiskを食いつぶしてハングしていた。 root@xxx:/var/lib/docker# cat . | sort -r 9.7G containers 9.6G overlay2 ... 下記の記事を参考に各コンテナのdisk使用量を調べるも微々たる大きさ。要因は別にありそう。 su
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redash と Google Spreadsheet を連携する (2019年9月版) - Qiita
redash v8 -> v10 にアップグレードをした - 継続は力なり
Redash v8の導入と使い方（ちょこっと） - Qiita
RedashでのSankey Diagram、Sunburst Sequence Diagramの利用 - Qiita
Redashを使ってみる | ものレボ株式会社のメンバーブログ
Redash で扱える数字の精度について簡単にまとめる - stefafafan の fa は3つです
データ可視化ツール(Metabase, Redash, Superset)の比較メモ - Qiita
Redashのログが無限に貯まり続けたせいでdisk fullで死んだ - モヒカンメモ
b.hatena.ne.jp
mainichi.jp
rui4.lo.gob.jp
duga-review.net
b.hatena.ne.jp
www.yomiuri.co.jp