そのダッシュボードが見られなくなる理由 - 色編 - データ可視化のアイデア帳
ダッシュボードについてよく聞く話が「ダッシュボード作ったはいいものの、誰も見てくれない。」です。Tableau にせよ何にせよツールをある程度使えるようになって、会社の KPI をダッシュボード化したのにアクセス数が伸びない。公開した日は伸びたのに、それ以降は話題にすら上らない。もう二度とダッシュボードなんか作るか！ と思ったことがある方は少なくないはず。でも、ダッシュボードが見られなくなるには理由があるんです。それも複数*1。 今回は最も目に訴える「色」について書いていきたいと思います。ここでは自分の興味を伝える意見型*2のダッシュボードではなく、KPI モニタリングなどに使用される中立型*3のダッシュボードを取り上げます。 イメージはこんな感じです。いわゆる KPI モニタリング用ダッシュボードの例。 伝わる色数は 3 色前後 色の選び方 (色相) 配色の基本は 70:25:5 色を増
国内CDNシェア(2018年10月) | J-Stream CDN情報サイト
日本のCDNシェアについて調査結果＠2018年10月 前回調査：2018年4月、次回調査：2019年4月 調査方法 Webクローラー（スパイダー）によるWebサイト調査 FQDN数：約995万 URL数：約8,326万 集計日 2018年10月25日 対象 Cloudflare、Akamai、Cloudfront、CDNetworks、Incapsula、Limelight、Edgecast，国内CDN事業者（Accelia、IDCF、IIJ、J-Stream） CDN判定方法 cnameベース Akamai, Fastly, Edgecast, Limelight, Accelia, IIJ, IDCF, J-Stream レスポンスヘッダ(サーバ名)ベース Cloudflare, Cloudfront, Incapsula シェア集計の単位 ドメイン(例, example.jp) 補足
Sequel Proを超えるGUIツールが出てきたぞ
悲報 2019年6月26日現在、TeamSQLのサポートがなくなってしまったようでダウンロードできなくなくなりました。。 TeamSQL has retired and is not available for download anymore. 今までSequel Proを重宝してきましたが、それを超えるGUIツールが出てきました。 その名も、TeamSQL 現状サポートしているものだけでもかなり豊富 今後、elasticやmongoDBにも対応されるようです。 機能 クエリ保存 履歴保持 ファイル出力 抽出した結果をボタン１つでcsvやjson形式に保存可能。 共有 データをエクスポートしなくても共有が可能。 グループの作成が可能なため、特定のユーザー同士で簡単に共有ができるとこがメリット。 可視化 様々なチャートでクエリの可視化が可能。 そのままイメージとして保存も可能。 テーマ選択
[JS]さまざまなデータを最小限の記述でビジュアル化する高性能なJavaScriptライブラリ -Zeu.js
さまざまなデータを最小限の記述でビジュアル化し、アニメーションで表示する高性能なJavaScriptライブラリを紹介します。 メーターやファンやコントローラーなど、デザインがレトロなのも面白いですね。 Zeu.js -GitHub 上記は静止画ですが、もちろんアニメーションで動きます。 デモのカラーは派手ですが、オプションで簡単に変更できます。 My Command Center Zeu.jsはCanavasベースで、外部ファイルと空のcanvas要素を用意し、あとはタイプとデータを定義するだけで実装できます。 <!-- 外部ファイル --> <script src="zeu.min.js"></script> <!-- 空のcanvas要素 --> <canvas id="text-meter" width="200" height="100"></canvas> <script> //
![[JS]さまざまなデータを最小限の記述でビジュアル化する高性能なJavaScriptライブラリ -Zeu.js](https://cdn-ak-scissors.b.st-hatena.com/image/square/31b37dfb88801f7bd583e6d221be6ed9f89769cc/height=288;version=1;width=512/https%3A%2F%2Fcoliss.com%2Fwp-content%2Fuploads-201803%2F2018091301.png)
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ / 20180727 - Speaker Deck
Developers Summit 2018 Summer 【C-1】の発表資料です。 https://event.shoeisha.jp/devsumi/20180727/session/1764/ データの民主化、データ基盤の構築、分析チームの立ち上げ、機械学習プロジェクト。世を見渡せばキラキラした事例に溢れています。 しかし、いざ自分たちでやろうとしてもなかなか上手くいきません。理想に辿り着くためには、泥臭い過程が存在します。 本セッションでは「登り方や道のりを知りたいんだ！」という方に向けて、DataOpsの観点から案件・システム・プロセス・文化・組織をエンジニアリングしてきた現場のリアルをご紹介します。 データ活用に携わる全てのエンジニアが今すぐ行動するためのヒントを持ち帰っていただければ幸いです。 以下のブログで補足・裏話を掲載しています。 - http://yuzutas0.
エンジニアを魅了する次世代 BI ツール『Looker』を Quipper が導入した理由（わけ） - スタディサプリ Product Team Blog
こんにちは、データグループのマネージャーをやっています beniyama と申します。 先の記事『プロダクトの「負債」を「機能」と呼び直す 〜A/Bテストを用いた"価値"の定量化〜』でも触れられていますが、データグループではデータ分析基盤の構築（参考資料）からデータ分析、あるいは学習データを活用した研究開発までスタディサプリのデータに関わることほとんど全てを担当しています。 プロダクトや事業 KPI の社内向けモニタリング環境の構築・整備も行なっているのですが、今回、既存の環境を刷新して Looker というまだ日本ではほとんど無名？のツールを導入することにしましたのでその経緯をお話ししつつ、今後国内でもユーザーが増えていくといいなという願いを込めて１エンジニアとして興奮したポイントを書き連ねていこうと思います。 最初の１年間は DOMO を導入して運用 スタディサプリではもともと各種 K
マイクロソフト、Windowsアプリ開発者向け「Desktop Application Analytics」提供開始。アプリのインストール数やクラッシュの原因などの統計情報を把握
マイクロソフト、Windowsアプリ開発者向け「Desktop Application Analytics」提供開始。アプリのインストール数やクラッシュの原因などの統計情報を把握 マイクロソフトは、Windowsデスクトップアプリケーションの開発者が自分のアプリケーションのインストール数や、クラッシュした原因やそのときのOSのバージョンなどを把握できる「Windows Desktop Program for Desktop Application Analytics」の開始を発表しました。 Windows Desktop Program for Desktop Application Analyticsのダッシュボード画面。画面左には、開発したアプリケーションの一覧が表示され、選択したアプリケーションの概要として画面右には障害が発生した頻度とインストールされた数がグラフで表示されている 下
「GoogleAnalytics見てアクセス解析して」って言われた時にまずしていること - Qiita
はじめに 僕はウェブサイト制作会社でサイトの運用・アクセス解析担当をしている者です。 ウェブサイトの制作・リニューアルを受注した際にプロジェクトに参加し、クライアントの現状サイトのアクセス解析とレポート作成、リニューアル提案が主な仕事です。 クライアントと直接相対するディレクターから「GoogleAnalyticsの権限もらったからアクセス解析して」とオーダーを受け、アクセス解析を行うことになります。 そもそも、初めて見るサイトを構造から理解し、リニューアルに資する提案ができるようなインサイトを得るまで分析するのは本当に骨が折れます。 さらに（全くの主観ですが）、多くのクライアントはGoogleAnalyticsを「タグ貼っただけ」状態で放置しています。 そのため、計測したデータが整理されていない・そもそも正しく計測できていないということはよく起こります。 そして、そのような計測エラーがノ
異常検知のための未来予測：オウム返し的手法からHolt-Winters Methodまで
Holt-Winters Method（別名: Triple Exponential Smoothing）というデータの予測手法がある。これについて素晴らしい解説記事があるので読みながら実装していた。 コードは takuti/anompy にある。 この手法、Graphite が実装しているということもあり、近年ではDevOpsコミュニティを中心に一躍有名になったんだとか。 ここでは解説記事の内容に沿って、Holt-Winters Method に至るまでに知っておくべき手法たちの“気持ち”をまとめる。数式は元記事やWikipediaに譲る。 問題 『連続するN点の時系列データを観測していたとき、N+1点目の値を予測する問題』を考える。 もし次の瞬間の値が予測できれば、そこからデータの“異常”を察知することができる。 たとえばDatadogなどで監視しているシステムのメトリクスを対象とすれ
Apache Airflow + Slack でデータクオリティチェックを自動化する - Qiita
データ分析をしている人にとっては，データのクオリティを日々モニタリングするのは頭痛の種です．最近のシリコンバレーでは，Data Engineer とは別に Data Quality Engineer というポジションで募集をしている企業もたまに見かけます．それぐらいデータの「質」には，気を配る必要がありリソースが掛かる分野といえるでしょう．とは言え，専任のポジションを設けるのはなかなか難しいので，それでもできるだけ簡単にモニターリングしたいです． Airflow と Slack を組み合わせることで，データのクリティを日々モニタリングすることができます．データエンジニアリングにユニットテスト的な概念を持ち込めないかと模索してきましたが，Airflow + Slack は個人的には一つの理想形と言えます． Apache Airflow とは？ Apache Airflow は，プログラムでジ
プロダクト改善のためにウォッチしておくべき7つの指標 - Gunosyデータ分析ブログ
データ分析部でグノシーというニュースアプリのプロダクト改善を担当している @ij_spitz です。 今回はプロダクト改善のためにウォッチしておくべき7つの指標をSQLで算出してみます。 Gunosyではこれらの指標を、プロダクトに異常があった時に検知するため、また施策の効果検証といった主に2つの目的で使用しています。 簡潔にするため、ユーザーとログインの2つのテーブルを使った算出できる指標のみを対象としています。 また、これらの指標をどうやってプロダクト改善に役立てているのかということも少しではありますが、合わせて書いていきたいと思います。 DAU WAU(MAU) HAU 積み上げHAU 1ユーザーあたりのログイン回数 登録N日後継続率 登録日別N日後継続率 前提 今回のブログで紹介するSQLはAmazon Redshift上で動くSQLなので、MySQLやGoogle BigQuer
表計算をマジなことに使わないほうがいいよ（マジで）
You shouldn’t use a spreadsheet for important work (I mean it) 経済学者はうらやましいね。コンピューター科学者とは違って、革新的な研究で、ベストセラー本をだせるときている。たとえば、 Capital in the Twenty-First Centuryだ。この本はマルクス経済を再認識させる本だ。本を読んでいない人のために要約すると、資本の増加は賃金の増加よりも高いので、資本を持つ者はますます富み、ますます強大になる。大多数は貧する。少数のエリート達が、富のすべてをかき集める。一般人には富は残らない。この見方は、彼の専売特許ではない。富の集中という概念には、富める者はますます富み、貧するものはますます貧すというキャッチフレーズまである。 同じ主張をするものはいくらでもいる。しかし、証明するのは難しいし、一部の経済学者は、反証すら
時系列データへの回帰分析 | Logics of Blue
新規作成：2017年05月16日 最終更新：2017年05月16日 ここでは、時系列データを手にした際に、どのような手順で回帰分析をかけていけばいいのか、フローチャートを交えて解説します。 時系列データは特殊でして、普通の回帰分析を行うと、p値がおかしくなり、正しく検定ができなくなることがよくあります。これを見せかけの回帰と呼びます。 シミュレーションを通して、見せかけの回帰という現象を確認したうえで、それらに対応する手法としての単位根検定・共和分検定・一般化最小二乗法(GLS)の基本的な考え方とRでの実装方法について説明します。 ソースコードはまとめてこちらに置いてあります。 スポンサードリンク 目次 時系列データへの回帰分析フローチャート 単位根と見せかけの回帰 データチェック1 単位根検定とADF検定 解決策１ 差分系列への回帰分析 差分系列への回帰分析の問題点 データチェック２ 共
推薦システムのためのOSSたち
情報推薦＝機械学習 ではない。 もちろん機械学習アルゴリズムを使えば精度は高くなるかもしれないが、実際は推薦理由の説明が必要であったり、膨大なデータサイズや要求されるパフォーマンスに応えるために、『いかに機械学習をしない選択をするか』も重要になる。 さらに、RecSys2016のLinkedInとQuoraのチュートリアルで語られたように、現実の推薦システムはヒューリスティクスに基づく単純な手法から深層学習まで、複数のものを組み合わせた ハイブリッド なものであることが多い。 ヒューリスティクス/機械学習の混在したハイブリッドな推薦手法 適切な指標による精度の評価とモデルの改善 サービスごとに異なる多様なデータフォーマットの扱い ということを考えると、推薦システム専用の実装 というものが必要になってくる。というわけで、推薦システム構築に使える/参考になるOSSをいくつか紹介する。 ※チョイ
『 データ分析基盤Night #2 』に参加してきた #データ分析基盤Night - 試纏
データ分析基盤Night #2 - connpass 2017/04/26 データ分析基盤Night #2 #データ分析基盤Night - Togetterまとめ 前回第1回に引き続き抽選に当たったのでこの日参加してきました。 『 データ分析基盤Night #1 』に参加してきた #データ分析基盤Night - 試纏 会場は株式会社FiNC様＠有楽町。有楽町駅ビックカメラのすぐ隣、交通の便は超良い場所です。 会場内もとてもオシャレで綺麗なオフィスでした！ 挨拶 ウェルネスタイム(軽いストレッチ) by FiNC FiNCの分析基盤の概要 発表資料 発表内容 freee のデータ分析基盤の全容 発表資料 特徴：他のサービスとどこが違うのか 構成：アーキテクチャ マーケティング 販売・サポート エンジニア ダッシュボード バッチ処理 辛み 展望・チャレンジ まとめ mercariのデータ分析基
「そのデータ分析基盤、作るか? 使うか?」という話をしてきた - たごもりすメモ
ファンコミュニケーションズさんが自社オフィスで勉強会をはじめるということで、第1回でしゃべりませんかというお誘いを受けたので参加してきた。お誘いありがとうございました! eventdots.jp 内容はどうしようかなと思ったんだけど、相談してみたら過去のこのエントリのスタートアップ限定じゃない話とかどうかというものがあり、自分でも面白そうだったので、そんな感じで内容をまとめてみた。 To Have Own Data Analytics Platform, Or NOT To from SATOSHI TAGOMORI まあトピックと自分の現在の勤務先からしてどうしても内容にバイアスがかかると思われるのはしょうがない……ので割り切った宣伝スライドはまあ1枚入れるとして、それ以外はいちおう公平な議論を目指したつもり。 で、中にも書いてあるけど、明確な結論なんてものはなくて、各社個別の事情にあわ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
j2hの紹介
Gunosyのデータ分析基盤、ログ基盤の全容
リブセンスのデータ分析基盤の全貌
