新BIツール「Superset」を導入した話
こんにちは。Data Engineeringチームの河野(@matako1124) です！ 今年のData Engineering業務としてデータマネジメントからデータ活用促進の仕組み化まで幅広く活動してきましたが、その中でも特に事業にインパクトの大きい変革のお話をしていこうと思います。 結論から言うと、Supersetの新規導入とRedashからの乗り換えを試みています。 注意 執筆に当たり細心の注意を払っておりますが、不十分な説明や誤りがある可能性もございます。 記事内で紹介しているコードは部分的なものです。参考程度にご参照ください。 目次 2024年時点でのLuupのデータ基盤のご紹介 現状の課題 Superset導入の目的と理由 構築事例 Superset推し機能 Superset改善したい機能 まとめ、今後の施策 終わりに 2024年時点でのLuupのデータ基盤のご紹介 本編に入
SQL+Markdownだけでデータ可視化できるOSS Evidenceを使ってPerfumeの楽曲分析をしてみる - Qiita
BIをコード管理したくないですか？私はしたいです。 BI as Codeを謳うOSSがあるようなので、Get Startedしてみます。 環境構築 公式ドキュメントを見ると、VSCodeのExtensionを入れて開発することを推奨しているようです。 2.Open the Command Palette (Ctrl/Cmd + Shift + P) and enter Evidence: New Evidence Project 3.Click Start Evidence in the bottom status bar 拡張機能のインストール後、2クリックでローカルサーバーが起動しサンプルページが立ち上がりました。 外部データを投入する せっかくなのでサンプルデータ以外のデータを投入してみます。 初期のサンプルデータは、DuckDBのテーブルとして配布されているようです。 ローカル環境
みんなに長く使われるダッシュボードで押さえるべき4つのポイント - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ビジネスの重要指標をモニターするために、ダッシュボードを作ったものの、時間の経過と共に、誰にも見られなくなってしまう、といった経験はありませんか？ そうなってしまう理由の1つに、そこから得られる情報がビジネスの改善に結びつかない、あるいは特定のアクションに結びつかないため、ダッシュボードの閲覧者にとってあえて見る必要がなくなってしまうことがあります。 そこで、ダッシュボードの閲覧者に役立つ効果的なダッシュボードを作成するうえで、おさえるべき4つのポイントを紹介いたします。 1. モニターすべきは遅行指標でなく先行指標です 「売上」、「閲
QuickSight向けデータマート構築術 ~ 1:Nカーディナリィ対策編 ~ - KAYAC Engineers' Blog
この記事はAWS Analytics Advent Calendar 2023の7日目の記事です。 こんにちは、SREチーム所属の@mashiikeです。 皆様はAmazon QuickSightを活用していますでしょうか？ QuickSightで言うところのデータセット。一般的にはデータマートとも呼ばれるものの設計・構築おけるTipsな話です。 他のBIツールにも応用できるとは思いますが、主にQuickSightをターゲットにした話になります。 データマートについて AWSのサイト上ではデータマートについて以下のように書かれています。 aws.amazon.com データマートは、組織のビジネスユニットに固有の情報を含むデータストレージシステムです。これは、会社がより大規模なストレージシステムに格納するデータの小規模で厳選された部分を含みます。企業は、部門固有の情報をより効率的に分析する
「エンジニアのための「データ可視化」入門」 Data Engineering Study #12
▍プログラム 0:00 〜 待ち時間 9:06 〜 オープニング primeNumber 小林 寛和 / Forkwell 重本 / ゆずたそ氏 16:03 〜 講演 ヤフー株式会社 データ統括本部/サイエンス統括本部/CDO管掌 駒宮 大己氏 「データをデザインすること」 38:47 〜 質疑応答 駒宮 大己氏 × ゆずたそ氏 52:38 〜 スポンサーLT Forkwell 森 1:04:40 〜 講演 Tableau Zen Master/日本航空 我如古 聡志氏 「『Pre-Attentive Attribute』『ゲシュタルト法則』で考えるデータ視覚化と、その魅力」 1:28:05 〜 質疑応答 我如古 聡志氏 × ゆずたそ氏 1:38:25 〜 スポンサーLT primeNumber 小林 寛和 1:49:41 〜 講演 デジタル庁 / Digital Agency of Ja
PythonのData Appsフレームワーク Streamlit, Dash, Panel を比較(With ChatGPT) - Qiita
記事のモチベーション 今回の記事を各モチベーションは、最近Techplayさんにて出版記念セミナーを開催させていただいた際に、Panelの紹介をしていると、「以前Dashを使われていませんでしたっけ？」というような質問をいただきました。 Dashに関しては、「Pythonインタラクティブ・データビジュアライゼーション入門（朝倉書店 2019/12）」で執筆し、Panelに関しては「Pythonデータ分析ハンズオンセミナー（日経BP 2023/8）」でとりあげました。Streamlitは残念ながら執筆機会はないのですが、会社の製品のプロトタイプを作って公開してみたりしています。 なので、その辺りのツールの使い分けが紹介できると良いと思ったのがモチベーションです。 そんなモチベーションの中、執筆用に調査していると、Streamlitのサイトに面白いブログがあったので、生成AIにアプリケーション
Lookerライクな新興BIツールの比較検討
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ご興味のある方は、ぜひご応募ください。 はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。 Looker の LookML は便利ですよね。LookML はデータモデリングを抽象化してコードによる管理を可能にし、利便性を向上させました。 LookML については Google Cloud の LookMLの紹介 で次のように説明されています。 LookML は SQL データベース内のディメンション、集計、計算、データの関係を記述するための言語です。Looker は LookML で記述されたモデルを使用して、特定のデータベースに対する SQL ク
「データビジュアライゼーションの基礎」のまとめ グラフ編
こんにちは、Wantedlyでデータサイエンティストをしている樋口です! 先日会社で買ってもらったデータビジュアライゼーションの基礎を読みました。データ可視化について網羅的にわかりやすく書かれており参考になったため、記事にまとめてみました。書籍の英語版は無料で公開されているため、よければこちらも参考にしてみてください。 データビジュアライゼーションの知識を学ぶことで、科学的に誤った表現をせずに、芸術的に美しい表現ができ、明確で明瞭かつ魅力的にデータから得られる示唆を伝えることができる様になります。📊 本記事では、特定のライブラリや描画手段によらないデータ可視化の基礎について紹介します。 分量が多くなってしまったので、本記事ではデータビジュアライゼーションの”グラフ"にのみ着目しています。グラフ以外の構成要素(色、タイトル、テキスト、etc.)については別途記事にしたいと思います。 本記事
DataEngineeringStudy #12 明日から真似できる！ ケース別データ可視化のノウハウ
「できそうだからダッシュボード作って」「明日からデータの民主化よろしく」などのデータの可視化ミッションを言い渡されたデータエンジニアやデータアナリストに向けて、２つのケースを想定した可視化のノウハウを紹介します。
はじめに — マンガと学ぶデータビジュアライゼーション
はじめに# データビジュアライゼーションとは，数値や文章などのデータに基づいた情報を，人間が理解しやすい形に視覚化する技術を指します． このサイトは，文化庁のメディア芸術データベース・ラボ（MADB Lab）で公開されている四大少年誌（ 週刊少年サンデー， 週刊少年ジャンプ， 週刊少年チャンピオン， 週刊少年マガジン ）のデータを用いて，データビジュアライゼーションの学習を手助けすることを目指しています． データビジュアライゼーション（に限らずデータ分析全般）の学習において重要なのは，分析対象のデータに興味を持てるかどうかです． 本書では約47年の四大少年誌のマンガ作品データを採用しているため，モチベーションを保ちつつ学習を進めることが可能です．
neptune.ai | Experiment tracker purpose-built for foundation models
Experiment tracker for foundation models Used by OpenAI to monitor & debug GPT-scale training Monitor thousands of per-layer metrics—losses, gradients, and activations—at any scale. Visualize them with no lag and no missed spikes. Drill down into logs and debug training issues fast. Keep your model training stable while reducing wasted GPU cycles.
deck.glで公共交通データ(GTFS) データを可視化する
この記事はdeck.gl Advent Calendar 2021 参加記事です。 概要 GTFS（General Transit Feed Specification）は、公共交通に関するデータを扱うための世界標準データフォーマットです。多くの地域で交通データを公開する際のフォーマットとして採用されており、日本でも徐々に普及が進んでいます。 そこで、この記事ではdeck.glを使って、GTFSに含まれる経路情報と停留所情報を地図に表示する方法を解説します。 サンプルコード 「あおい交通 オープンデータ」よりダウンロードさせていただいたaoikotsu_GTFS_20211031.zipファイルから、経路データと停留所データを地図に掲載しています。 経路データはshape_idごとにグルーピングしランダムに色を塗っています。 背景地図は表示すると経路が見えにくくなるので切り替え式にしました
なぜエンジニアが作る画面はダサいのか…?「理由」と「対策」を徹底解説【エンジニア向け画面デザイン講座】 - Qiita
1.はじめに エンジニアの私がデザインを本気で勉強した結果、デザイナーとエンジニアはそもそも思考が大きく違っているということがわかりました。 今回は「それ」をデザインに苦手意識のあるエンジニア方にも理解してもらえたらと思い、わかりやすくまとめてみました。 2.アプリの画面デザインを考えてみよう まず、こんなアプリを考えてみてください。 フィットネストレーナーが使うアプリ トレーニングルームでお客様とお話しながら使う 端末はタブレット そして 会員の個人情報確認 前回までのトレーニング状況の確認 次回の予約受付 といったことをします。 使える情報としては、こんな感じです。 あなたならどう画面デザインをするか、もしお時間があったら考えてみてください。 本記事では、 SEのAさん デザイナーのBさん の二人が画面デザインをする過程を比べながら、その思考の違いを整理してみます。 3.SEのAさんの
GitHub - lux-org/lux: Automatically visualize your pandas dataframe via a single print! 📊 💡
Lux is a Python library that facilitate fast and easy data exploration by automating the visualization and data analysis process. By simply printing out a dataframe in a Jupyter notebook, Lux recommends a set of visualizations highlighting interesting trends and patterns in the dataset. Visualizations are displayed via an interactive widget that enables users to quickly browse through large collec
Tom Goldenberg: Kedro + MLflow - Reproducible and Versioned data pipelines at scale | PyData LA 2019
www.pydata.org PyData is an educational program of NumFOCUS, a 501(c)3 non-profit organization in the United States. PyData provides a forum for the international community of users and developers of data analysis tools to share ideas and learn from each other. The global PyData network promotes discussion of best practices, new approaches, and emerging technologies for data management, processin
生産性を可視化したい！ / SUZURI's four keys
@Pepabo Tech Conference #15 - ECプラットフォームSUZURIの開発の裏側 https://pepabo.connpass.com/event/215058/
地理空間情報を扱うなら知っておきたいPythonライブラリ、GeoPandas入門~基礎編~ | 宙畑
さまざまなデータを地理空間情報として重畳する上で有用なPythonのライブラリであるGeoPandas。前編ではGeoPandasを用いたデータの描画方法など基礎的な扱い方を紹介し、後編では衛星データと組み合わせて解析結果を可視化する方法を紹介します。 Pythonで地理空間情報を行う場合、GeoPandasの使い方を覚えておくととても便利です。 例えば、都道府県別の気象データを持っていたとします。そのテーブルデータ(csv)には地理情報と言えば、都道府県の名称くらいしかありません。このような場合、これを日本地図の上に重畳して可視化することはできません。 しかし、このデータに地図上に描画できる情報を与えることさえできれば、好きなデータを地図の上に重ねることができます。このようなことをしたい場合に、GeoPandasの使い方を知っておけば助けになります。 今回は、簡単な例を通じて、GeoPa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mhlabs/cfn-diagram: CLI tool to visualise CloudFormation/SAM/CDK stacks as visjs networks, draw.io or ascii-art diagrams.
GitHub - rougier/scientific-visualization-book: An open access book on scientific visualization using python and matplotlib
GitHub - parrt/animl: A python machine learning library for structured data.
