ダッシュボードデザインの実践ガイドブックとチャート・コンポーネントライブラリ（ベータ版）｜デジタル庁
デジタル庁は、ダッシュボード開発において品質向上、および設計の効率化に貢献するため、実践ガイドブックとダッシュボード開発ツールのPowerBIのチャート・コンポーネントライブラリを公開します。 資料のダウンロードから取得してください。 公開の目的デジタル庁は、データと根拠に基づいた政策判断・効果の可視化を日本政府内で推進を先導する役割を担っています。その役割の一端を担い、行政や公共機関、民間企業などに従事する方が、わかりやすいダッシュボードを効率的に開発できるように、実践ガイドブック等を提供しています。データをわかりやすく可視化できるようにすることで、多くの関係者間で正しい共通認識を持ち、意思決定の質を向上させ、より良い行動に繋げられるようになることを目的にしています。 実践ガイドブックは、デジタル庁で実践してきた政策データダッシュボードの作成時の知見に加え、行政職員や民間有識者のダッシュ
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
『因果推論』（金本拓：オーム社）は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル - 渋谷駅前で働くデータサイエンティストのブログ
因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し
GA4×サチコ×Looker Studioで可視化！ 現場で使われる“ダッシュボード”の作り方 | 【レポート】Web担当者Forumミーティング 2023 秋
Google Search Console（以降、Search Console：サーチコンソール）は便利なツールではあるものの、なかなかそのデータを活用しきれていない、活用したいがデータの加工などがやりにくいという悩みをよく聞く。SEOの分析、モニタリングツールの「Amethyst（アメジスト）」を提供するJADEの郡山 亮氏が「Web担当者Forum ミーティング 2023 秋」に登壇。 無料ツール「Looker Studio（ルッカースタジオ）」を使ってSearch Consoleのデータを徹底活用し、現場で使われる、定点モニタリングしやすいダッシュボードをつくる方法を紹介した。 Search Consoleの扱いづらさをカバーするLooker StudioSearch Consoleはさまざまなことができるツールだが、今回は検索パフォーマンスの検索結果レポートに絞って紹介した。Sea
DuckDB メモ
モチベーション JSONL を読み込んで解析するツールが欲しかった ログを読み込ませたいので圧縮機能は必須 自社のパッケージ製品が出力する JSONL を読み込んで解析できる仕組み 顧客が問題解析を気軽にできるようにしたい 顧客向けツールとして提供したい つまり顧客環境で動かしたい 1 バイナリ OSS として提供したい Apache-2.0 として公開したい ログファイルは大きくても 100 GB は行かない もともと Go + SQLite + JSONB で検討していた SQL で書きたい SQLite ファイルとして書き出したい SQLite ファイルフォーマットは信頼できる S3 などにファイルを置いておくだけにしたい クラウド版に組み込みたい 顧客毎に duckdb ファイル作ればいいのでは？ duckdb ファイルダウンロードできると便利そう DuckDB https://d
OLTP と OLAP の比較 - データ処理システムの違い - AWS
オンライン分析処理 (OLAP) とオンライントランザクション処理 (OLTP) は、ビジネスデータの保存と分析に役立つデータ処理システムです。ウェブサイト、アプリケーション、スマートメーター、内部システムなど、複数のソースからデータを収集して保存できます。OLAP はデータを組み合わせてグループ化するため、さまざまな観点から分析できます。逆に、OLTP はトランザクションデータを確実かつ効率的に、大量に保存および更新します。OLTP データベースは、OLAP システムの複数のデータソースの 1 つになります。 OLAP について読む » オンライン分析処理 (OLAP) とオンライントランザクション処理 (OLTP) はどちらも、大量のデータを保存および処理するためのデータベース管理システムです。スムーズに稼働するには、効率的で信頼性の高い IT インフラストラクチャが必要です。両方を使
エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ
こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基
trocco・BigQuery・Tableauを採用。アソビューがデータ分析基盤の再構築に挑んだ理由 - what we use（技術スタックデータベース）
はじめまして、アソビューでデータ基盤チームに所属している霧生です。 近年、モダンデータスタックの登場などによりデータ分析基盤は一層盛り上がりを見せています。選択肢も増えてできることが多くなった反面、どう構築していくか迷う場面も多いのではないでしょうか。今回はアソビューのデータ分析基盤の構成と現状の課題、将来的な改善をどう考えているのかなどを解説しますので、ご参考になれば幸いです。 現在のアソビューのデータ分析基盤アソビューは創業10周年を超えており、当然ながら今までもデータを分析して事業やサービスに役立ててきました。しかし、コードやインフラの継ぎ足しを重ねたことにより秘伝のタレのような状態と化してしまい、多くの課題が生まれています。そこで、アソビューではこの問題を解消するために、昨年から株式会社DATALEさんとともにデータ分析基盤の再構築を行いました。 データ分析基盤を構築するにあたり、
データ分析を始めるにあたり最低限知っておくべきこと｜データ分析とインテリジェンス
まずやってみるのはいいけれども限度はあるはず。それはどこだサッカーに興味があるならば、ルールブックを熟読するよりも先にとにかくサッカーをやってみるのがいい、ということに反対する人はあまりいないと思う。 とはいえ全く何も知らないのではゲームが成立しなくなってしまうので、最低限知っておくべきことはあるはずだ。例えば、どうなったら得点になるのかは必須だろう。あとはゴールキーパー以外は手を使ってはいけないとか、範囲を出たらスローインになるとかだろうか。 では「データ分析」における「最低限知らないといけないこと」は何なのだろうか、と考えた内容をまとめた。 前提として、本記事の「データ分析」は「意思決定のための情報＝インテリジェンスを作ること」に絞る。言い換えると、システムに組み込んで意思決定と行動を自動化するような「データ分析」は対象外とする。 インテリジェンスについての説明は「情報」には「データ」
AWS Configコスト上昇の原因を調査：QuickSight + Athenaの分析ツールを活用 - Uzabase for Engineers
ソーシャル経済メディア「NewsPicks」でSREをしている美濃部です。 NewsPicksのSREのミッションの1つに「コストを適正化する」というものがあります。サービスの規模拡大に比例してインフラコストが増えないようにし、売上に対するコストの割合を低く維持していくのがミッションになります。 今回はAWSコスト削減の中でもConfigの料金に注目して紹介したいと思います。 コストモニタリング定例について Configのコスト分析をどうやって行なったか ConfigのレポートをQuickSightで可視化 構成 手順 QuickSightで可視化する事でわかった事 コスト増加の要因となったリソースタイプがわかったので対応する まとめ まず、SREでは週次でコストモニタリング定例を実施しているのでその内容について簡単に触れさせて頂きます。 コストモニタリング定例について 週次で主に以下のよ
データ分析失敗事例集 - 共立出版
【データサイエンティストたちの悪夢】 ・上司が「AI使ってます」と言いたいだけのプロジェクト ・自分が期待した結果しか認めないクライアント ・プロジェクト終盤でもまだ手に入らないデータ ・分析手法にしか興味がない分析者 ・最終報告後にやっと決まる仕様 【その分析、もう失敗しているかも…… 失敗を回避し、成功に近づくためのガイド】 本書は、第一線で活躍するデータサイエンティストたちが経験した、データ分析プロジェクトの「失敗」をもとに再構成された25の事例が収録されている。これらの臨場感あふれる事例から、データの活用に関わる人たちが、失敗を避けるために何をしてはならないのか、について学びとることができる。プロジェクトの失敗の予兆となる致命的な要因を察知し、失敗に至る「毒薬」を飲まないように注意するための知見が本書には随所に含まれている。 データの活用に関わる分析者、そして、分析を依頼する立場と
Data Engineering Study #20 "Introduction to Data Analytics with SQL" Book
Data Engineering Study #20「10年戦えるデータ分析入門」回・前半の発表資料です。
ごちきか
ごちきか# NTTコミュニケーションズ イノベーションセンターでは、社会・産業DXのためのSmart World の一貫として、時系列データ分析手法の研究開発、お客さまのデータ分析支援や社内データ分析人材育成を行っています。 ごちきか（gochikika） は、これら研究開発成果やデータ分析人材育成コンテンツをまとめたナレッジベースです。大別してメインコンテンツは以下の通りです。 分析: 主に製造業の時系列データを対象として、前処理からモデリングまで一連の基本的な分析手法をPythonコード付きで解説しています。 特集記事: 比較的新しめであったり難易度の高い手法や、私たちの取り組みを知ってもらうための学会発表資料が掲載されます。また一部未分類なコンテンツが格納されています。 私たちの研究開発成果は、同じくイノベーションセンターで開発しているノーコードAI開発ツールNode-AI に搭載さ
Big Data is Dead
For more than a decade now, the fact that people have a hard time gaining actionable insights from their data has been blamed on its size. “Your data is too big for your puny systems,” was the diagnosis, and the cure was to buy some new fancy technology that can handle massive scale. Of course, after the Big Data task force purchased all new tooling and migrated from Legacy systems, people found t
【翻訳】整然データ｜Colorless Green Ideas
効果的なデータ分析に関して、「整然データ」という概念を提唱した論文 “Tidy Data” の全訳。整然データは、Rなどでデータ分析を容易にする有用な概念である。 ここに公開するのは、以下の論文の全訳である。 Wickham, H. (2014). Tidy data. Journal of Statistical Software, 59 (10). doi:10.18637/jss.v059.i10 この論文は、「整然データ」(tidy data) という概念を提唱したものである。これは、Rなどでデータ分析を容易にする有用な概念になっている。 なお、この概念についての簡単な解説として、「整然データとは何か」という文章を用意したので、先をそちらを読んでもよいだろう。また、“tidy” という英語をなぜ「整然」という日本語に訳したかについては「なぜ“tidy data”を「整然データ」と訳
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Get Started with the GA4 BigQuery Export
ディメンショナル モデリング入門 / introduction-to-dimensional-modeling
DataFlow — a new toy for creating internal tools
DataFlow | Build internal tools fast and simply!
Why Use DuckDB for Analytics?