[Snowflake][Looker]東京都のCOVID19情報をcsvから自分で可視化してみた。 | DevelopersIO
こんにちは、平野です。 先日Lookerを初めて触ってみて、可視化の流れがとりあえずわかったという感じがします。 初めてのBIツール。Lookerのマッププロット記事をトレースしつつ、流れをまとめてみた。 ということで、忘れないうちに別の可視化もやってみます。 Lookerでデータを可視化するための大枠の流れなどは上記の記事でご紹介していますので、 この記事で特に説明していない部分などは、お手数ですがそちらの記事をご参照ください。 題材として、最近は否応なしに目にする、東京都の新型コロナウイルス感染症（COVID19）陽性患者数のデータを使ってみます。 なお、COVID19のデータを扱う記事は以下のようなものもありますので、興味があれば併せてご参照ください。 AWSでコロナウィルス（COVID-19）のデータレイクが公開されたので試してみた LookerでCOVID-19関連のデータを可視
![[Snowflake][Looker]東京都のCOVID19情報をcsvから自分で可視化してみた。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e6190f7e59bbfa79f0af0f3005836837933b829e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F06%2F20200625-covid19-snowflake-22.png)
Google Cloud でも Gemini やその他の生成 AI のモデルやソリューションが多く発表されています。今回は、その中でも、Looker から Gemini を利用した拡張機能の紹介の第1弾として Explore Assitant を紹介したいと思います。 第2弾の Dashboard Summary の記事は こちら です。 tl;dr Explore Assistant を使えばチャット形式でデータへの問い合わせやチャート作成が可能 Gemini は多くの言語に対応しているので、日本語でも問題なく利用可能 エンジニアの方であれば、プロンプトなどのカスタマイズを行い、精度向上が可能 Explore Assitant とは Explore Assitant は、公式に Looker に組み込まれた機能ではなく、Looker Extension (拡張機能) を利用して Look
Yappliのプロダクトオーナーであり、データ関連サービスの立ち上げや導入推進も手がけるプロダクト開発本部 開発企画部 マネージャーの古屋陽介氏は、ヤプリのミッションは「デジタルを簡単に、社会を便利に」という言葉に集約されていると説明する。 「専門知識不要のノーコードの製品を提供して、企業のデジタル化を簡単にし、より多くの産業課題を解決していく。また企業の生産性を高めて、結果的に人々の生活や仕事が便利になる製品を提供する――。これがヤプリのミッションです」（古屋氏） Yappliはノーコードでのアプリ開発だけでなく、アプリの運用やログ分析の機能も備えるプラットフォームだ。加えて、アプリとユーザー分析を起点に、よりユーザーエンゲージメントを深めるための施策を実行できるYappli CRMサービスも提供している。いずれにおいても、アプリから取得できるさまざまなログデータ（行動ログ、イベントログ
BigQuery×Lookerでクエリデータ量を強制的に抑えるMax Billing Gigabytesを試してみる #BigQuery #Looker | DevelopersIO
※本エントリは、クラスメソッド BigQuery Advent Calendar 2020の23日目のエントリです。 私が投稿した2日目のエントリに引き続き、今回もLookerと関係する内容となります。 LookerでBigQueryを接続先としたとき、使用料を抑える際の基本は「レコード数をバランス良く分けられる日付等のカラムでパーティショニングを施し、そのカラムに対してalways_filterやconditionally_filterを用いて、必ずフィルタがされるようにexploreの設計をすること」だと思います。 しかし、always_filter等のフィルタ設定はLookMLでexploreごとに記述をしないといけないため、記述を忘れてしまったり、パーティショニングをしていないカラムを設定してしまったり、人的ミスがたまに起こりうると私は考えています。 そんなとき、LookerではB
Looker StudioレポートごとのBigQueryクエリ課金額を調べる方法 - G-gen Tech Blog
G-gen の杉村です。Google Cloud (旧称 GCP) の BigQuery と BI ツールである Looker Studio のネイティブ統合機能である BigQuery native integration in Looker Studio が2023年10月2日に Private Preview (申込制) で公開されたため、その機能を活用して Looker Studio レポートごとの BigQuery 課金額を調査してみました。 はじめに やること 調査方法 留意事項 情報取得方法を理解する INFORMATION_SCHEMA.JOBS の構造 クエリ ID からのレポート特定 検索ボックス URL 集計クエリ その他の Tips はじめに やること 当記事では、Looker Studio レポートごとに、そのレポートからのクエリが BigQuery 課金のうちの
[レポート] BIツールカジュアル座談会 ~Lookerの集い~ #bilabo | DevelopersIO
2020年12月10日、「BIツール研究所」という"すべてのBIツールを扱うユーザーが交流・情報交換をするためのコミュニティ"によるイベント「BIツールカジュアル座談会 ~Lookerの集い~」が開催されていました。Lookerを扱っている弊社としては興味深いテーマのイベントでしたので参加(聴講)してきました。 当エントリではその内容についてイベントレポートの形でお届けします。 目次 登壇者 イベント関連リソース イベントレポート 1.製品の特徴を客観的に整理 2.環境要因に対するメリット・デメリットの紹介 3.専門家が熱く推すポイントの紹介 4.それLookerでできます！ まとめ 登壇者 この日イベントに登壇されたユーザーの皆様の情報は以下の通りです。 司会：前側 将氏(@willanalysts、オープンエイト) 登壇者 佐々木 江亜氏(@0610Esa、マネーフォワード 分析推進室
![[レポート] BIツールカジュアル座談会 ~Lookerの集い~ #bilabo | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/126e9836addd5646c3a0048a3636c6cd49d57a7c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F06%2Flooker-in-google_1200x630.png)
データ基盤品質向上のための一年
DataEngineeringStudy #11
Developers.IO 2020 Showcase https://classmethod.jp/m/devio_2020_showcase/ 【概要】 昨今多様なBIツールが世に出ておりますが、クラスメソッドではLookerとTableauを取り扱っています。前職でTableauを社内で…
GA4のデータをBigQueryへエクスポートしLooker Studioで可視化する - RHYTHM TECH BLOG
こんにちは、香田です。 今回はGA4のデータをBigQueryへエクスポートし、Looker Studioで可視化する方法について紹介していきます。 GA4(Google アナリティクス 4)、Looker Studioは基本的に無料で利用可能ですが、BigQueryもBigQuery サンドボックスを利用することで無料で利用可能です。 BigQueryを利用したことがない場合は、下記を参考に有効化してみてください。 BigQuery サンドボックスを有効にする はじめに 今回紹介する構成の全体像は下記になります。 GA4(Google アナリティクス 4)のデータをBigQueryへ定期的に自動エクスポートします。 エクスポートしたデータをLooker StudioよりBigQueryへ接続し、データを可視化する流れになります。 本記事では最終的にLooker Studioで下記のような
Lookerのfilterパラメーターを理解して、Looker Serverのパフォーマンスを最適化する | DevelopersIO
それでは、それぞれのパラメーターの詳細を確認します。 conditionally_filter 公式ドキュメント 概要 ユーザーに2択を迫ります：filters: [・・・]に記載されている値まで決められているフィルターを使うか、然もなくばunless:[・・・]に記載されている値はユーザが設定できるフィルターを使うんだ！ This parameter is typically used to prevent users from accidentally creating very large queries that may be too expensive to run on your database. と公式ドキュメントにもあるとおり、ユーザーがうっかり大きなクエリーを走らせてしまうことを防ぎます。 使ってみよう まずは、modelファイルにconditionally_filte
統合ビジネス インテリジェンス プラットフォーム、Looker の次なる進化の紹介 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 10 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 私たちは皆、消費者として、ウェブで答えを見つけたり、初めて訪れる街の道を調べたり、ディナーに最適な場所を選定したりと、あらゆる行動においてこれまでになくデータにアクセスすることで恩恵を受けています。しかし、仕事となるとそれほど簡単ではありません。質問の答えはすぐには得られず、答えを得るためには費用のかかる IT プロジェクトが必要になります。そして、答えが得られても新しい質問が提起されるだけで、答えを得るにはまた IT プロジェクトが必要になる、といったような具合です。 Google の使命は、世界中の情報を整理し、世界中の人々がアクセスできて使えるようにすることですが、Looker もこれと同じく、ビジネスデータに関して、ユーザーが分析情報を簡単に得られるようにし、
Looker Blocksを使ってFirebaseのデータを5分で可視化してみた | DevelopersIO
奈良県でリモートワーク中の玉井です。 今回は、何かとややこしい構造をしている（BigQueryにエクスポートした）Firebaseデータを、Lookerで楽に可視化します。 Firebase（のデータ）を分析するのは大変？ 昨今、スマホアプリ等のデータを分析してマーケティング等に役立てる…ということは当たり前になってきています。そして、そこに出てくるものとして、メジャーなサービスの一つがFirebaseでしょう。Firebaseを使って開発しているスマホアプリやWebアプリは多いと思います。 FirebaseのデータはGoogle BigQueryにエクスポートし、SQLを使って分析をがんばっている方はたくさんいるかと思います。…が、BigQueryにエクスポートしたFirebaseデータの構造は結構クセがあり、正直扱いづらいですよね（日単位でテーブルが生成される、めっちゃ入れ子になってい
Looker上のデータについて生成AIに問い合わせてみた（Looker Explore Assistant） - G-gen Tech Blog
G-gen の奥田梨紗です。オープンソースの Looker 拡張機能である Explore Assistant を使い、自然言語によってグラフを生成できる機能を実装しました。本記事ではその機能の紹介や、実装手順について紹介します。 はじめに Looker Explore Assistant の紹介 できること 1. Assistant 機能 2. Chat 機能 料金 利用事例 実装 構成 実装の手順 環境変数ファイルの作成と編集 はじめに 当記事では、Looker 拡張機能である Looker Explore Assistant を紹介します。 Looker Explore Assistant は、Looker Explore 上で自然言語の指示に基づいて生成 AI がグラフを作成してくれる拡張機能です。オープンソースで公開されており、Looker にアドオンとして組み込むことができます
Looker のキャッシュの仕組みを思い出して実装を整理した - Feedforce Developer Blog
こんにちは。自称 Looker エバンジェリストの id:masutaka26 です。 フィードフォースで Looker を使っているサービスで最近 BigQuery の料金が上がってきました。 本当に使われているのならとても良いことですが、Looker のキャッシュが有効に使われずに BigQuery 料金が増えていたら嫌だなと思い、キャッシュの仕組みを思い出しつつ実装を整理してみました。 Looker のキャッシュおさらい 今回のサービスでのキャッシュ設定 変更後のキャッシュ設定 さらなる足掻きからの失敗 もっと足掻いてからの困惑 まとめ さらなるキャッシュへの理解 Looker のキャッシュおさらい Looker にはキャッシュの仕組みがあり、LookML 開発者が適切に設定することで、データベースのクエリ実行を減らすことができます。 全く同じ SQL の実行結果がキャッシュされてい
We’ve talked about the core data quality dimensions and how to think about them with intentionality. We’ve explained how to put those in a framework that is guided by your business. Let’s use this page to talk about the actual foundational data quality checks you should be running on your data, and how dbt Cloud can help make these tests simpler and automated. We’ll cover the concepts of: uniquene
fez_cloud_next_tokyo2024_ブレイクアウトセッションD1-DA-07.pdf
https://cloudonair.withgoogle.com/events/next-tokyo-24?talk=d1-da-07
Looker入門時の私的Q&A集｜阿部 昌利
去年の秋くらいにLookerに入門して、冬から本格運用が始まった。 会社でLookerを導入するにあたって、Lookerの方々には、たくさんの質問に、迅速かつ的確に答えて頂いた。結果、ある程度のボリュームの知見リストができあがった。 個人的な備忘録スプシとして眠らせておくのも、もったいないと思ったのでこちらにまとめておく。 BigQueryでのデータハンドリングとBIツール運用の業務経験がある方なら、これを見ると、Lookerを触るイメージが多少湧くんじゃないかと思っている。これからLookerに入門する方や、Lookerでどんなことができるか知りたい方の参考になれば幸いである。 以下、Q&Aの目次と、回答ページへのリンクである。 ＜BigQuery編＞ ・BigQueryの関数をすべて利用できる？ ・BigQueryの複数プロジェクトをまたげる？ ・ユーザ定義関数（UDF）を利用できる？
さがらです。 LookerでUNIONを使用したい場合、基本的にはSQL RunnerでUNIONのクエリを書いて、その内容をLookMLのderived_tableパラメータとして出力する流れかと思います。SQL派生テーブルを使う方法ですね。 なのですが、ふと「すでにLookMLで定義したviewをUNIONしたい場合はどうすればいいんだっけ…？」と感じたこともあり、view関係で色々検証してみました。 その検証結果を本エントリでまとめてみます。 検証結果まとめ まず、検証した結果のまとめから行きます。 dimensionパラメータやmeasureパラメータで定義されたフィールドを用いたUNIONは不可 派生テーブルを用いたUNIONならば、参照元のテーブルにないフィールドを派生テーブルで定義していてもUNION可能 派生テーブルを使わずともsql_table_nameパラメータでUNI
Looker | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. The Looker family of products delivers the information you need to make data-driven decisions and gain insights from self-service analytics, embedded applications, and modern business intelligence environments.
「データ分析のセルフサービス化」に向けた取り組み 〜Looker Exploreを用いた事例〜｜Mercari Analytics Blog
メルカリ Analytics Infra チームの take です。 この記事では、Looker Exploreを活用して分析環境を構築し、データの民主化に取り組んだ事例を紹介します。 SQLクエリが書けずデータ分析をアナリストに依頼するしかなかった人たちに対し、セルフサービスでデータ分析ができる環境を提供しました。 この取り組みにより下記３点が実現できました。 データが扱える人を増やすことができた データ分析の効率を上げることができた アナリストの負荷を軽減させることができた この事例を通して、データの民主化に向けた課題と解決方法、そしてその具体的な取り組みについて知っていただき、参考にしていただければ幸いです。 メルカリのオープンなデータ分析環境メルカリでは様々な職種でデータを活用する文化があります。 データに基づいたプロダクトの改善やマーケティング戦略立案など、各種経営判断がデータド
DeNAではこれまで内製BIツールが広く利活用されていましたが、この度Looker利用へと舵を切り、現在その移行途中です。今回は、内製BIツールが抱えていた課題、及びLookerへ移行する際に見えた課題を、技術的にどのように解決したかをお話します。
[小ネタ][Looker]COUNT(*)とCOUNT(フィールド名)をLookerで実装してみる #looker | DevelopersIO
さがらです。 小ネタ的な内容ですが、LookerでCOUNT(*)とCOUNT(フィールド名)をそれぞれ実装してみたので、検証した内容をまとめてみます。 COUNT(*)とCOUNT(フィールド名)の違い 突然ですが、SQLにおいてCOUNT(*)とCOUNT(フィールド名)の違いを知っていますか？ COUNT(*) 対象のテーブル上のレコードを全てカウントする COUNT(フィールド名) 対象のフィールドにおいて、非NULL値を持つレコードをカウントする ということで、COUNT(フィールド名)の場合にはNULL値はカウントされないのです。 （各DB・DWH製品によるかもしれませんが、少なくともBigQueryとPostgreSQLではこの仕様であることを確認しております。） 例 下図はBigQueryでの例です。 id列に1レコードだけNULLを設定して、COUNT(*)とCOUNT(
ExploreにExploreをjoinしたいと思ったことはないでしょうか？ Lookerではデータベースにあるテーブルをviewとして取り込み、分析に必要なviewをExploreで定義して、それに対して必要であれば別のviewをjoinしていきます。 そして、場合によってはこの状態が非正規化された1つの分析用のテーブルであるこがあると思います。このような場合、extendsを用いてより少ない記述でExploreを別のExploreにjoinをすることができます。 今回は、こちらの記事を参考に、extendsを用いたExplore同士のjoinについて紹介します。 利用ケース extendsを利用して効率的に開発をすることができるケースとして、以下の二つがあげられます： BigQueryをLookerに接続していて、UNNESTが必要なSTRUCT型やARRAY型でデータを格納しているテ
[レポート]データ活用推進の取り組みとポイント #Looker #BEACONJapan | DevelopersIO
この記事は、2021年6月22～23日開催の Looker BEACON 2021: Japan のオンラインセッション『データ活用推進の取り組みとポイント』に関するセッションレポートです。 セッション概要 データ活用推進の取り組みとポイント 登壇者： ・山崎 彩世 氏 - 株式会社スペースマーケット プロダクトマネジメント部 データアナリスト 発表内容： データ利活用を推進するためには、現状の課題を整理し、最適なソリューションを選択し、適切に実行していくことが大切です。限られたリソースの中でどのように課題にアプローチし、どのような変化が起こったかを事例と合わせてご紹介します。 会社・サービス紹介 あらゆるスペースを手軽に貸し借りできる「SPACEMARKET」のサービスを運営している。 Looker導入前の状況と課題 導入前の組織の状況 組織 65~70名（開発メンバーが約半数） データ
![[レポート]データ活用推進の取り組みとポイント #Looker #BEACONJapan | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2c42614f7779790c0eefc04adc1250dde9f0bebf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F06%2Flooker-beacon-japan-2021_1200x630.jpg){kind=tracking}
TL;DR 以下の手順を踏むと、元のexploreの全てのjoinを継承し、ベーステーブルのみを差し替えられる いずれかを選択する a. 継承元のexploreにおいて、ベーステーブルをview_nameで指定する b. 継承元のexploreにおいて、ベーステーブルをfromで指定し、独自のview_name名を定義する 継承先のexploreにおいて、extendsで継承元のexploreを指定し、fromでベーステーブルのみを差し替える はじめに Lookerでは、「ベーステーブル」（Exploreのベースとなる、最初に指定するテーブル）に様々なテーブルをjoinしてExploreを作ります。 似たようなベーステーブルが複数存在することはよくあります。例えば、分析のユースケースに従って似たようなサマリーテーブルを複数作成する場合などです。 大量のテーブルによる分厚いjoinがある場合
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Looker の生成 AI 拡張機能① Explore Assistant を使ってみる
ノーコードアプリ基盤のYappli、そのデータ活用拡大を支えるのは「頑丈なtrocco」だった？ (1/2)
Looker歴2か月、元Tableau運用者がそれぞれの良さを語ります
5 essential data quality checks for analytics | dbt Labs
LookerでのUNIONの実装方法を色々検証してみた #looker | DevelopersIO
DeNAゲームタイトルの共通分析におけるLooker活用事例
[Looker] ExploreにExploreをjoinする #looker | DevelopersIO
分厚いjoinを複数のexploreに継承して保守性を高める - Qiita
jp.pronews.com
note.com/kambara7
jp.pronews.com
ameblo.jp/biginvest
www.talpkeyboard.com
www.sakigake.jp