Evidence - Business Intelligence as CodeEvidence is a lightweight framework for building data apps. It's open source and free to get started.
DuckDB+Evidenceを駆使してISUCON14で21位になった話 - Gマイナー志向
2024年12月8日に開催されたISUCON14に「ウー馬場ーイーツ・ザ・ファイナル」として参加しました。最終スコアは29,386でした。実装言語はGoです。 こんなPostをしてましたがRustは採用しませんでした（今回は余裕がなかった）。 講談社サイエンティフィク様からのご厚意で書籍「RustによるWebアプリケーション開発」をご恵贈いただきました。早速読み進めてます。今年のISUCONはRustで決まりかー！？ #PR https://t.co/sOAcWEqE8P pic.twitter.com/cK7V6lPMQk— matsuu (@matsuu) 2024年10月8日 今年のチャレンジについて 我らがチームはISUCON開催のたびに新たなチャレンジ*1をしてるのですが、今回は以下の4つにチャレンジしました。 ログ解析の見直し 生成AIの導入 rustlsの導入 bpftune
新BIツール「Superset」を導入した話
こんにちは。Data Engineeringチームの河野(@matako1124) です！ 今年のData Engineering業務としてデータマネジメントからデータ活用促進の仕組み化まで幅広く活動してきましたが、その中でも特に事業にインパクトの大きい変革のお話をしていこうと思います。 結論から言うと、Supersetの新規導入とRedashからの乗り換えを試みています。 注意 執筆に当たり細心の注意を払っておりますが、不十分な説明や誤りがある可能性もございます。 記事内で紹介しているコードは部分的なものです。参考程度にご参照ください。 目次 2024年時点でのLuupのデータ基盤のご紹介 現状の課題 Superset導入の目的と理由 構築事例 Superset推し機能 Superset改善したい機能 まとめ、今後の施策 終わりに 2024年時点でのLuupのデータ基盤のご紹介 本編に入
SQL+Markdownだけでデータ可視化できるOSS Evidenceを使ってPerfumeの楽曲分析をしてみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? BIをコード管理したくないですか？私はしたいです。 BI as Codeを謳うOSSがあるようなので、Get Startedしてみます。 環境構築 公式ドキュメントを見ると、VSCodeのExtensionを入れて開発することを推奨しているようです。 2.Open the Command Palette (Ctrl/Cmd + Shift + P) and enter Evidence: New Evidence Project 3.Click Start Evidence in the bottom status bar 拡張機能のイ
Looker Studioの魅力と便利な使い方を紹介します - yasuhisa's blog
初めて使ったBIツールはLooker Studioのid:syou6162です。これまでTableau / Looker(≠ Looker Studio) / Metabase / Redash / Connected Sheetsなど色々なBIツールを触ってきましたが、不満は色々ありつつも個人的に一番しっくりきて愛着があるのはLooker Studioです。このエントリでは、その魅力と便利な使い方や注意点について書きます。例によって、社内勉強会向けの内容を外向けに公開しているため、内容の網羅性などは特に担保していないことにご注意ください。 Looker Studioの魅力 利用のハードルが限りなく低い & Google Workspaceとの連携が便利 複雑過ぎることができないので、諦めが付けやすい ちゃんとBIツールになっている Looker Studioの便利な使い方 多様なデータソ
セマンティックレイヤー / Headless BIとは
この記事は何 2023年、世間はLLMで大騒ぎですが、データの業界ではセマンティックレイヤー・Headless BIへの注目も高まっています。 これは、まだ国内では黎明期ともいえるそんな技術が、今後どんな存在となりうるのかを、筆者の個人的な解釈と妄想をもとに述べる長文ポエムです。 セマンティックレイヤーとは まず最初にセマンティックレイヤーについて解説します。 セマンティックレイヤーとは セマンティックレイヤーとは、データベースとデータ利用者の間に入り、両者間のやりとりを円滑にする存在です。 データ統合プラットフォームを提供するAirbyte社は、セマンティックレイヤーをデータとビジネスユーザーの中間に位置する、複雑なデータを理解可能なビジネスの概念に変換・翻訳するレイヤーと説明しています。 A semantic layer is a translation layer that sits
エンジニア向けのBIツール、QuaryをBigQueryに接続して使ってみた | DevelopersIO
こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 Quaryというエンジニア向けのBIツールが気になったので使ってみました。 GitHub - quarylabs/quary: Open-source BI for engineers VSCodeの拡張機能やCLIが準備されており、以下のことができます。 データベースへの接続 dbtに類似した機能 sqlファイルとしてmodelを記述可能、schemaもyamlファイルで記述可能 schemaはGUIで操作もでき、リネージも表示可能 また簡単なグラフなどもyamlファイルで管理可能 対応ソースはBigQueryやSnowflakeなどとなっていますので、今回はBigQueryで試してみようと思います。 BigQuery側の準備 前準備として、以下のページにある ml-latest-small.z
QuickSight向けデータマート構築術 ~ 1:Nカーディナリィ対策編 ~ - KAYAC Engineers' Blog
この記事はAWS Analytics Advent Calendar 2023の7日目の記事です。 こんにちは、SREチーム所属の@mashiikeです。 皆様はAmazon QuickSightを活用していますでしょうか？ QuickSightで言うところのデータセット。一般的にはデータマートとも呼ばれるものの設計・構築おけるTipsな話です。 他のBIツールにも応用できるとは思いますが、主にQuickSightをターゲットにした話になります。 データマートについて AWSのサイト上ではデータマートについて以下のように書かれています。 aws.amazon.com データマートは、組織のビジネスユニットに固有の情報を含むデータストレージシステムです。これは、会社がより大規模なストレージシステムに格納するデータの小規模で厳選された部分を含みます。企業は、部門固有の情報をより効率的に分析する
セルフサービスBIユーザーのためのMicrosoft Fabric③ - テクテク日記
前回、Fabricにおける各種アイテム（ステージングアイテム、データフロー、Lakehouse等）やOneLakeの機能であるショートカットについて、M以外の言語（T-SQL, Spark SQL, pySpark）によるデータ変換を説明しました。下図で言うと「ロード先」のステップまで完了したことになります。 ローカル環境でBI構築する場合とは異なり、Fabricはウェブベースで操作することになるため、ブラウザ上の各機能について慣れておくことが重要となります。今回はモデリング・可視化の部分で注意すべき点について詳しく見ていきたいと思います。 ※注意 データセットは別名「セマンティックモデル」に変更となっています。本記事にある「データセット(既定)」は現在、「セマンティックモデル(デフォルト)」になっています Datasets renamed to semantic models | Mic
Lookerライクな新興BIツールの比較検討
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。 Looker の LookML は便利ですよね。LookML はデータモデリングを抽象化してコードによる管理を可能にし、利便性を向上させました。 LookML については Google Cloud の LookMLの紹介 で次のように説明されています。 LookML は SQL データベース内のディメンション、集計、計算、データの関係を記述するための言語です。Looker は LookML で記述されたモデルを使用して、特定のデータベースに対する SQL
PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita
更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか？ 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上（Google ColabもOK）で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ＆ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実
Power BIで月次分析をさらにスマートに②_DAXのパフォーマンス解析 - テクテク日記
少し前に書いた記事では、Monthlyベースの日付テーブルの違いや、使用する際に留意すべき点、モデリングを変更する必要性についてお話しました。今回は、MonthlyベースとDailyベースの日付テーブルのそれぞれで計算した結果に関するクエリパフォーマンスについて見てみましょう。 クエリパフォーマンスの考察 DAX式別のパフォーマンス比較 おまけ まとめ クエリパフォーマンスの考察 検証シナリオとしては以下の2つがあります。 dCalendar_monthlyとdCalendar_dailyでSalesテーブルをクエリした場合 ※データ量が少なく、結果はほぼ誤差の範囲になってしまうため、この検証はスキップ dCalendar_monthlyとdCalendar_dailyでSalesDailyテーブルをクエリした場合 なお、テスト用のPCスペックは以下の通り。ハードウェアセレクション及びパフ
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust） - Qiita
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust）Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anac
Engineering Uber’s On-Call Dashboard
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Uber’s on-call engineers facilitate seamless experiences for riders and drivers worldwide by maintaining the 24/7 reliability of our apps. To execute on this reliability, however, we need to ensure that our on-call teams are set up for success. Until January 2016, our o
Mercari BI team - Data Analytics Summit 2018
How Mercari Analytics Team is defined and works.. Presented in Data Analytics Summit 2018 Event Page https://webtan.impress.co.jp/events/201804a2i
メルカリの分析チームとは？その全ての疑問にひとつひとつ答えます | メルカリエンジニアリング
この記事はMercari Advent Calendar 6日目の記事です。 メルカリのBIチームのアナリスト/マネジャーの @hikaru が、メルカリの分析チームの事情についてお送りします。 ※ BIチーム…メルカリ内の分析を一手に担うチーム。Business Intelligenceチーム。 この記事について イベントやカジュアル面談などでメルカリの分析チームの内幕についてよく聞かれる質問があります。 いえ、それどころか場合によっては社内であまり一緒に仕事する機会がない方々からも、チームに関して質問されることがあります。 ※ カジュアル面談…メルカリでは、社内のポジションに興味ある方にオフィスに来ていただいて1on1でざっくばらんに話す会を頻繁に行っています。 正直、分析チームというのは外部から何をやっているか見えづらい面もあるため、理解できます。 よく頂く質問としては、 組織的なこ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Tableau] あなたのvizにフィットする所望の位置、回転角のテキスト画像を作成する方法 / How to create a text image with the desired position and rotation angle that fits your viz. - A Successful Failure
A/Bテスト機構がもたらす
大胆な開発体制及び
ゆるやかなアプリ体験の変化 / Architecture and benefits of AB-test allocation system.