PythonによるWebスクレイピング + Amazon QuickSightで大黒天物産ダッシュボードを作る | DevelopersIO
データアナリティクス事業本部の貞松です。 Amazon QuickSightでは、地理空間グラフ(地図上にプロットした円の色や大きさにより、地理的な位置関係とそれにまつわる分類や数値を視覚化したもの)を利用することができます。自動ジオコーディング機能(地名や住所から自動で緯度・経度を取得してくれる機能)については、米国のみの対応となっていますが、データセットにあらかじめ緯度・経度の情報を含めておけば日本の地図に対しても地理空間グラフを使用できます。 AWSドキュメント - Amazon QuickSightユーザーガイド - 地理空間グラフ (マップ) 本記事では、この地理空間グラフを使った一例として、庶民の味方、大黒天物産の店舗ダッシュボードを作成します。 大黒天物産とは 大黒天物産株式会社は岡山県倉敷市に本社を置くディスカウントストア(ラ・ムー、ディオなど)の運営企業です。 プライベー
Bash HTTP monitoring dashboard Published: 27-12-2020 | Last update: 11-01-2021 | Author: Remy van Elst | Text only version of this article ❗ This post is over two years old. It may no longer be up to date. Opinions may have changed. This is a shell script that creates a webpage with the status of HTTP(s) sites. Parallel checking, thus very fast, only dependencies are curl and bash (version 4 or ab
GitHub - glanceapp/glance: A self-hosted dashboard that puts all your feeds in one place
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
俺のDXを実現するためのサーバレスなデータ基盤開発と運用 / Serverless Data Platform and Baseball
Developers Summit 2023登壇資料 https://event.shoeisha.jp/devsumi/20230209/session/4196/
OSS 版 Spectacles を使って、LookML の data tests や validation などを GitHub Actions で継続的に実行させてみた - Feedforce Developer Blog
こんにちは。自称 Looker エバンジェリストの id:masutaka26 です。 今日は Spectacles というツールを導入して、Looker インスタンスの健全性を高められた話を紹介します。 Spectacles とは 4 種類のテスト 基本的な振る舞い どのテストを採用し、どのような課題を解決したのか SQL validation Assert validation Content validation LookML validation どのような GitHub Actions にしたのか CI workflow Schedule workflow 落ち穂拾い 作業ブランチのゴミが残ることがある マシンユーザーを作るか作らないか まとめ Spectacles とは Spectacles は Looker のサードパーティ CI ツールです。継続的に各種テストを実行し、Lo
GitHub - pascalw/kindle-dash: Power efficient dashboard for Kindle 4 NT devices
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
DS.INSIGHT - ヤフー・データソリューション
DS.INSIGHTは、顕在化されづらい消費者の気持ちをお手元で探索・分析できるデスクリサーチツールです。 Yahoo! JAPANの月間5,600万人のユーザー*からお預かりしたデータを統計化し、 どなたでも直感的に使いやすいインターフェースで、企画立案や意思決定などに データをお役立ていただけます。
Datasette
Datasette is a tool for exploring and publishing data. It helps people take data of any shape, analyze and explore it, and publish it as an interactive website and accompanying API. Datasette is aimed at data journalists, museum curators, archivists, local governments, scientists, researchers and anyone else who has data that they wish to share with the world. It is part of a wider ecosystem of 46
Hosted Redash(app.redash.io) から Self-Hosted Redash(GKE) への移行 - CADDi ENGINEER Tech Blog
こんにちは。Platform チームの飯迫 (@minato128)です。 CADDi ではこれまで Hosted Redash(app.redash.io) を利用していたのですが、残念ながら 2021/11/30 に End of Life になるので、10 月末に Self-Hosted Redash 環境を構築して移行しました。今回はそのときやったことを紹介します。 移行の流れ 新しい Redash 環境を v10 で構築する 公式の移行ツールを利用してデータ移行する 監視を追加する 新しい Redash 環境を v10 で構築する まず、移行ツールは移行先として v10 を前提としているので、新しい環境は v10 である必要があります。ちなみに、v10 は 10/2 にリリースされた現時点の最新版です。 v10 であればどんな方法で構築しても問題ないのですが、今回は社内用 GKE
COVID-19 Dashboards
These dashboards are updated several times a day1. Dashboards are sorted in a random order and are shuffled periodically to promote discoverability. The update schedule is specified here. The data presented in this project carry inherent uncertainties. Use of these data for public health or policy making should only be done after an exploration of the methods and assumptions presented. ↩ Compare D
はじめに アドプラットフォーム事業部でアナリティクスエンジニアをしているucchi-です。 ピクシブは、2022年11月24日に「pixiv Ads」という広告ネットワークをリリースしました。広告主は、pixivに広告を少額予算から簡単に出稿できます。 ads.pixiv.net pixiv Adsのデータ基盤では、大きく分けて以下の課題と向き合っています。 鮮度：広告の配信状況をリアルタイムに見たい クライアントは、ユーザーに広告を届けるため、常にお金を払い続けます。広告配信条件を誤ると、それだけお金を無駄にしてしまうため、少なくとも数十分以内に配信状況を確認できる必要があります 精度：広告の支払い金額は1円の誤差も許さない クライアントは、広告の配信ログから集計した配信実績に基づきお金を支払います。請求金額が絡むため、非常に高い精度のデータ品質が求められます これらの課題に対し、データ
医療体制が逼迫しているかどうかを測る指標がいくつか検討されています。入院患者数を病床確保数で割った「病床占有率」、重症化しやすい60歳以上の感染者割合といった指標が有力です。これらの指標を、各都道府県が外出自粛や休業を要請する際の判断基準として活用する想定です。 一部自治体では感染状況を判断する独自の指標を設けています。東京都は「東京アラート」を6月30日に撤廃し、新たなモニタリング項目を採用しています。 様々な事象を計測して「指標」を作成し、データをダッシュボードに表示する。それらをモニタリングし、一定の基準を越えれば、自動的にアラートが発令される。後は意思決定を下すだけ。 ダッシュボードの理想像だった「東京アラート」は、それぞれの指標が警戒を発しながらも「実態に合致しない」「自粛すると経済が大変」等のよく分からん理由で無くなってしまいました。 まったく同じデータを見ているはずなのに、導
BIツールでダッシュボードを構築する正しい手順とは
運用型広告 注目記事Pick Up：2024年2月によく読まれた記事をまとめて紹介- 2024年3月28日 フェディバースとは？スレッズを中心としたソーシャル連合体は実現するか- 2024年3月22日 Microsoft 広告 アカウントマネージャーに聞く第17回：Microsoft 広告、PMAX がすべての市場で提供開始（3月アップデート）- 2024年3月22日 Criteo、インティメート・マージャーの共通IDソリューション「IM-UID」と連携- 2024年3月22日 Googleの決算書をわかりやすく解説：2023年4Q 過去最高売上を記録！ 知っておくべきポイントは？- 2024年3月1日 BIツールのダッシュボードは、正しい手順を踏まないで構築すると、使用されない価値のないものになる可能性があります。本コラムではそれを防ぐためのダッシュボードをBIツールで構築する正しい手順
こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 Quaryというエンジニア向けのBIツールが気になったので使ってみました。 GitHub - quarylabs/quary: Open-source BI for engineers VSCodeの拡張機能やCLIが準備されており、以下のことができます。 データベースへの接続 dbtに類似した機能 sqlファイルとしてmodelを記述可能、schemaもyamlファイルで記述可能 schemaはGUIで操作もでき、リネージも表示可能 また簡単なグラフなどもyamlファイルで管理可能 対応ソースはBigQueryやSnowflakeなどとなっていますので、今回はBigQueryで試してみようと思います。 BigQuery側の準備 前準備として、以下のページにある ml-latest-small.z
GitHub - pascalw/dashbling: Hackable React based dashboards for developers, inspired by Dashing.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Bonfire Data Analyst #2 に参加してきた ( テーマ：データの可視化 ) #yjbonfire | DevelopersIO
今年6月末に第1回が開催されたヤフーさん主催の「Bonfire Data Analyst」。 この度、第2回のイベントが開催されていたので「ブログで感想枠」にて参加してきました。当エントリはその参加レポートとなります。 Bonfire Data Analyst #2 - connpass 目次 イベントレポート イントロ＆乾杯 ベンチャーから始めるデータの可視化 ヤフーにおけるデータの可視化 データ可視化の研究って何をしているの？何の役に立つ？ まとめ イベントレポート 開催会場はヤフー株式会社 LODGE@紀尾井町。 LODGE -Yahoo! JAPANのオフィス内に誕生した日本最大級のコワーキングスペース- 広大(マジ広かった！)なフロアの一角に設けられたスペースを利用する形でイベントが進められました。 イントロ＆乾杯 まずはじめに、ヤフー株式会社 藤木 貴之氏より乾杯の挨拶とイベン
データカタログにConnected SheetsやLooker Studioの情報を取り込んでレポートのデータソースを追跡する - LayerX エンジニアブログ
はじめに こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社では、データの意味やデータの質、データの利活用を一元的に管理することを目的として、データカタログソリューションの一種であるOpenMetadataを導入しました。OpenMetadataを利用することで、様々な種類のデータベースやBI、CRMと連携し、データの管理と可視化を効率化しています。 弊社では主にBIツールとしてLooker Studioを使用しています。また、Google SheetsはConnected Sheetsの機能を使い、BigQuery上に構築されたデータ基盤のデータを用いて簡易的にデータ分析や可視化を行うツールとして利用しています。しかし、これらのツールはOpenMetadataのビルトイン機能ではサポートされていませんでした。そのため、データ変更時の影響範囲の把握や
GitHub - themesberg/tailwind-dashboard-windster: Free and open-source admin dashboard interface built on top of Tailwind CSS and Flowbite
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
はじめまして！技術開発部セキュリティグループの花塚です。 LIFULL Creators Blogにセキュリティグループが登場するのは初めてですね。 セキュリティグループでは、脆弱性診断や脆弱性の調査、セキュリティツールの開発など、幅広い業務を行っています。 今回は、脆弱性可視化基盤を開発した話を紹介したいと思います！ 主に開発の経緯から、技術的な構成、そして、これからのことについて、まとめています セキュリティに関わる人にとって、少しでも参考になれば嬉しいです。 目次 目次 目的と経緯 脆弱性情報をスムーズにエンジニアに届けたい 組織全体で継続的に脆弱性対応をしていく風土をつくりたい 脆弱性可視化基盤を支える技術 機能 脆弱性スキャン ダッシュボード 全体の構成図 脆弱性スキャンの仕組み EC2インスタンス GitHub Docker Image 工夫した点 オートスケールされたインスタ
お久しぶりです。マネーフォワード分析推進室で日々データマネジメントに勤しんでいるササキです。他の方が書いた記事内にはちょこちょこ登場したりもしていたのですが、自分で記事を書くのはだいぶお久しぶりになってしまいました。 今回はマネーフォワードでなぜLookerを導入したかという話を軸に、マネーフォワードにおけるデータマネジメントについて整理してみたいと思います。後述しますが、マネーフォワードは組織の人数も事業の数もものすごいスピードで増えており、そういった環境下でのデータマネジメントに求められることを発信することで似た悩みを抱えている or 今後抱えそうな組織の助けになれることを期待しています。 前段：マネーフォワードの組織と事業領域は拡大している👆さて、本編に入る前にまずはマネーフォワードという会社全体の動きについて、IR資料を引用しつつ紹介させてください。 マネーフォワードが大切にして
dbtで作成したデータモデルをそのまま可視化に使えるBIツール「Lightdash」を使ってみた | DevelopersIO
大阪オフィスの玉井です。 今回は、dbtにネイティブ対応しているBIツールを紹介します。 Lightdashとは 名前の通り、ライトなBIツールなのですが、接続先がDWHではなく、dbtプロジェクトなのが特徴です。 dbtを使う理由の1つに、BIツールで分析しやすいデータを用意する、というものがあると思います。普通は、dbtを通してDWH上にできたテーブルやビューを、別途BIツールで接続して利用します。しかし、Lightdashは、DWHを介すのではなく、直接dbtのコードを利用して可視化を行います（裏側としては、dbtのコードを利用して、dbtの後ろにあるDWHにクエリを実行するようになっています）。 やってみた 今回はローカルで試します。OSSなので無料です（有料版については後述）。 環境 macOS 11.5.2 dbt CLI 0.20.1 docker 20.10.8 dbtを接
AI Labの芝田です (GitHub: @c-bata)。 以前、Optunaによる最適化結果を手軽に確認できるWebダッシュボードを開発・公開しました。公開からすでに半年以上が経過し、現在は公式に利用を推奨されるようになりました。Google Summer of Codeなどを通してcontributorやcommitterも増えつつある一方で、設計や実装に関しては資料を残してきませんでした（※1）。本記事ではダッシュボードの紹介をするとともに、開発に興味がある方向けに開発に役立つ情報をまとめておきます。 GitHub: https://github.com/optuna/optuna-dashboard optuna-dashboardとは？ optuna-dashboardはOptunaによるハイパーパラメータの最適化結果をWebブラウザ上で簡単に確認できるツールです（※2）。
初めまして。YOUTRUSTでデータアナリストをしている宮﨑(@ikki_mz)です。 普段は、施策の効果見積もりや検証、ダッシュボード作成、KPI管理、分析基盤整備など、データにまつわる諸々の業務に携わっています。 今回は、YOUTRUSTでこの半年ぐらい取り組んでいた、dbt導入とDWH（Data Ware House）整備について、だいぶ整備が進んできて知見も溜まってきたので、これまでやってきたことや、得られたメリットについて書いていきます。 この記事は主に、次のような方に向けて書いています。 （既にdbtを導入している方には当たり前の内容になっているかもしれません） ・dbtを導入しようか迷っている人 ・DWHをどういう構造にすればいいのか迷っている人 ・YOUTRUSTのデータ分析環境に興味がある人 何か少しでも参考になることがあれば幸いです！ YOUTRUSTの分析環境 はじめ
GitHub - toboshii/hajimari: Hajimari is a beautiful & customizable browser startpage/dashboard with Kubernetes application discovery.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - davidhampgonsalves/Life-Dashboard: Low power, E-Ink dashboard for every day life running on a hacked Kindle.
Ideally this dashboard would generate and display its image on its own. The issue with doing this originally was that the Kindles ability to display images (via eips) requires they be in a strange format. A few yars back when I started this it was hard to get GoLang to generate this format but it was easy to cross compile GoLang to the target ARM-7 softfloat arch. On the other hand Rust could gene
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
23/3/22 JAWS-UG CDK支部 #6にて登壇 https://jawsug-cdk.connpass.com/event/274879/
ダッシュボードの設計に役立つData / Information / Intelligenceの区分｜荻原 和樹 / Kazuki OGIWARA
「ダッシュボードを作る時は文脈が大事」「グラフからインサイトを導けることが重要」とよく言われます。たしかに、単に「先月の売上高」を見せられるよりも、データを見る目的を意識して何らかの比較や推移を軸とした方がずっとわかりやすく、実際の行動に結びつきやすくなります。先ほどの例で言えば他店舗と比較したり、月次で数年間の推移を表すという方法があるでしょう。こうした比較や推移があれば、何らかの施策を取るといった具体的な行動にもつながります。 一方で、この時「A店の先月の売上高が5000万円だった」という情報、「競合他社と比較して下落傾向にある」という情報、「A店で何らかの施策を取るべき」という情報はそれぞれ位相が異なります。 私はこの３種類の情報をデータ（Data）、インフォメーション（Information）、インテリジェンス（Intelligence）とそれぞれ分けています。 １つ目はデータ（D
Apple Watch で取得したデータを Google Cloud に自動連携して BigQuery + Dataform + Looker Studio でダッシュボードを作った - Qiita
Apple Watch で取得したデータを Google Cloud に自動連携して BigQuery + Dataform + Looker Studio でダッシュボードを作ったBigQueryAppleWatchGoogleCloudDataformLookerStudio プロジェクトの区切りに初めて長期休暇を取得することにしました。 プロジェクト終盤の忙しさで疲れが溜まっていたので、休暇中に健康的な生活を送るために apple watch から取得したデータを可視化することにしました。 この記事では apple watch で計測したデータを毎日自動的に可視化する方法を書いています。 やったこと こんな感じのアーキテクチャで睡眠の可視化を作りました。 現時点で作成したのは次のような図です。 さすがにもう少し睡眠を取っている自覚はありますが、睡眠が浅いときに apple watch
Data dashboarding tools | Streamlit v.s. Dash v.s. Shiny vs. Voila vs. Flask vs. Jupyter
Just tell me which one to useAs always, “it depends” – but if you’re looking for a quick answer, you should probably use: Dash if you already use Python for your analytics and you want to build production-ready data dashboards for a larger company.Streamlit if you already use Python for your analytics and you want to get a prototype of your dashboard up and running as quickly as possible.Shiny if
GitHub Actions料金 Datadogによる可視化と削減のヒント - KAKEHASHI Tech Blog
開発コストのうちGitHub Actions料金が占める割合は小さい傾向にありますが、組織規模によっては削減の必要があるでしょう。 この記事では、主にDatadogを利用した可視化による特定方法と、一般的なコスト削減のヒントを述べます。 前提：パフォーマンスを改善する 従量課金のアプリケーションではパフォーマンス ≒ コストです。まずは実行時間から改善しましょう。 カケハシでは以下のような事例があります。 以下の記事も観点洗い出しができるのでおすすめです。 この記事では実行時間以外のコスト観点で解説します。 実行時間と課金時間の違いを学ぶ GitHub Actionsの最低課金時間(billable time)は1分です。 1秒実行(Run time)でも1分分の料金になりますし、1分2秒なら課金時間は2分です。 実行時間が長いものに料金がかかるのは当然として、仕組み上、細かいものでも実行
GitHub - mlcraft-io/mlcraft: Synmetrix – open source semantic layer / Boost your LLM precision
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - tremorlabs/tremor: React components to build charts and dashboards
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
「Looker User Meetup Online #8」にて登壇した内容となっております
NHK放送文化研究所が公開している「国民生活時間調査」のデータをLooker Studio（旧：Googleデータポータル）で可視化したダッシュボードを公開します。時間軸、年齢、性別、職業などの切り口で日本人の1日の生活行動に関する情報を得ることができます。 このような一般公開されているパブリックデータからは様々な知見を得ることができます。また、活用する一つの手段としてLookerスタジオのようなBIツールが非常に有用です。 この記事で公開する情報がなにかお役に立てれば幸いです。 ※本稿でご紹介している内容を参考に実施する取り組みはすべて自己責任でお願い致します。 記事の内容は2021年6月時点で確認している情報を追記しています。万が一記述内容に誤りがある場合はTwitterのDMなどでご連絡頂ければ幸いです。何卒よろしくお願い致します。 2022年10月12日に、Googleデータポータ
こんにちは。SmartHR 採用ユニットの日永と申します。 SmartHRでは、年間200名程度を目標とした中途採用を行なっています。その採用活動については色々なところでオープンにしていますが、この記事では、中途採用のレポーティングにおける工夫について書きたいと思います。 数値の集計やレポートは作って満足しがちですが、正しい情報を必要に応じてさくっと取得して、本来時間を割くべきものに集中できるのが理想ですよね。私自身、「これ完璧なのでは...？😳 」という解はまだまだ見つけられていないのですが、ちょうど1年前の自分の悩みが少しだけ改善されてきたので、このタイミングで書いてみることにしました。 日々募集ポジションがオープンしたりクローズしたり、目標人数が変わったり、社外に出している求人票と社内の管理上のポジション名が違ったり、各ポジションで採用フローが違ったり、中途採用の目標管理が複雑すぎ
ダッシュボードデザインのコツと優れた10例を解説！基軸を押さえて、BIダッシュボード作成を楽々に～ | FineReport
ブログ > データ分析・可視化 > ダッシュボードデザインのコツと優れた10例を解説！基軸を押さえて、BIダッシュボード作成を楽々に～ ダッシュボードは、写真共有アプリからビジネスシーンまで、私たち毎日利用している多くのWebサイトやモバイルアプリに存在しますね。キレイなダッシュボードはユーザーの視線を集め、興味を促す効果があるので、色んな場面で活用されています。BIツールの一大機能として、ビジネスの場面でもBIダッシュボードが広く活用しています。 そこで今回は、BIダッシュボードの概要とメリットを分かりやすく解説し、いくつかのダッシュボードデザインと作成のコツを紹介します。ビジネスシーンにおいてのBIダッシュボードデザインの参考事例を、利用場面別で挙げながら、作成に役立つポイントを示します。 そもそもデータ利活用のBIダッシュボードとは？ 経営管理システムや、BIツールの一機能として、企
dashboard/docs/user/access-control/creating-sample-user.md at master · kubernetes/dashboard
In this guide, we will find out how to create a new user using the Service Account mechanism of Kubernetes, grant this user admin permissions and login to Dashboard using a bearer token tied to this user. For each of the following snippets for ServiceAccount and ClusterRoleBinding, you should copy them to new manifest files like dashboard-adminuser.yaml and use kubectl apply -f dashboard-adminuser
Looker Studioのデータ抽出（Extract data）機能を利用してスキャン量を減らす - LayerX エンジニアブログ
こんにちは！LayerX バクラク事業部 機械学習・データ部 データチームの石橋（@saaaaaaky）です。 Looker Studioのカスタムクエリが1日300回以上実行される課題 弊社ではBIツールとしてLooker Studioを利用しています。 データマートがまだまだ整備できていないので、Looker StudioからGoogleのBigQueryに接続し、カスタムクエリをデータソースとしてダッシュボードが作成されています。 ダッシュボードが閲覧される毎やパラメータの変更をする毎にクエリが実行されるため、よく見られているダッシュボードだと同じクエリの実行数が1日に300回ほどになるものも存在しました。 スキャン量での課金であることと、単純にクエリが実行されることでダッシュボードの表示速度も遅くなり作業効率も落ちてしまいます。 ヒアリングしたところ、リアルタイムのデータが必要とさ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bash HTTP monitoring dashboard - Raymii.org
「鮮度」と「精度」を両立させる広告データ基盤のつくり方 - pixiv inside
数字集めてダッシュボードで可視化するだけでは良い意思決定は下せない理由｜松本健太郎
エンジニア向けのBIツール、QuaryをBigQueryに接続して使ってみた | DevelopersIO
脆弱性可視化基盤を開発した話 - LIFULL Creators Blog
スケールし続ける組織におけるデータマネジメント｜ササキエア＠マネーフォワード
Optunaによる最適化結果を手軽に確認できるWebダッシュボードの開発 | | AI tech studio
YOUTRUSTでdbtを導入した話｜ikki / Data Analyst / YOUTRUST
データ整備の優先順位付けに役立つテクニック
AWS CDKで作るCloudWatch Dashboard
dbtとLookerにたどり着いたデータ基盤 ~混ざり合う境界線を考える~
Bokeh
国民生活時間調査の公開データをLooker Studioで可視化してみた｜GAラボ
年間200名採用のSmartHRが実践する「中途採用レポーティング」のクフウ｜ひな