Looker Studio + BigQueryのクエリ費用をモニタリングする方法 | 株式会社プリンシプル
Looker StudioとBigQueryを利用してダッシュボードを構築する際、気になるのはBigQueryに課金される費用ではないでしょうか。 本記事では、BigQuery native integration in Looker Studioを利用して、Looker Studioダッシュボードによって発生するBigQuery費用をモニタリングする方法をご紹介します。 Looker Studio + BigQueryの費用計算方法 Looker Studioは基本無料のBIツール まず、Looker Studioの利用料金は基本無料です。GA4の標準コネクタや、Googleスプレッドシートの標準コネクタを利用したダッシュボードであれば、閲覧や操作など運用によって発生する費用はありません。 Looker Studio Proという、有償版のLooker Studioもあり、ガバナンス機能
Looker API Getting Started | iret.media
はじめに この記事ではLooker APIの使い方について説明します。 APIのバージョンは4.0です。 Looker APIとは Looker APIは、Lookerの機能を外部から利用するためのAPIです。 Looker APIを使うことで、Lookerの機能を外部アプリケーションから利用できます。 APIのエンドポイントを知る APIを使うためには、まずAPIのエンドポイントを知る必要があります。 APIのエンドポイントは以下の通りです。 エンドポイント: https://インスタンス名.looker.com:19999/api/4.0/ インスタンス名には、Lookerのインスタンス名を指定します。インスタンス名はユーザーによって異なります。 確認方法としては、Lookerのログイン画面にアクセスすることで確認できます。 APIの使い方 APIを使うための手順は以下の通りです。 A
【脱Qiita】元Qiitaガチ勢の私がまとめるエンジニア向け海外サイトまとめ - Qiita
はじめに エンジニアに関する情報量は日本よりも海外（特にアメリカ）の方が圧倒的です。 そのため、英語での情報収集を習慣付けておくとより早く必要な情報に辿り着くことができます。 英語がわからない場合は、ChatGPTに全てコピペして翻訳させましょう！日本語ネイティブの皆さんでも余裕で海外コンテンツを見ることができるでしょう！ 本記事では、濃い情報が集まる場所をまとめました。 日頃の情報収集やキャリアに関する情報まで幅広くまとめたので、エンジニア学生や初学者にとって役に立つ内容かと思います。 ChatGPTと紹介している情報源を連携すれば、英語が苦手だとしても必要な情報に素早く辿り着くことができるでしょう。 本記事の対象読者： 日頃の学習に役立つ情報源を知りたい方 年収やキャリアに関する情報を手に入れたい方 インターンや就活前に情報を仕入れておきたい方 本記事の構成 学習系 ニュース系 キャリ
BigQuery で最新のレコードを取得する
はじめに BigQuery で「グループ化したものから最新のレコードを取得する」を行いたい場合があります。 このような場合、 ARRAY_AGG 関数を利用すると、効率よく最新のレコードを集計できます。 この記事では、ノベルゲームのサンプルをもとに、 ARRAY_AGG を利用した「もっとも X なレコード」の取得例を示します。 利用するサンプルデータ ganyariya がプレイしたノベルゲーム履歴データを利用します。 with games as ( select 1 as gameId, 'ダンガンロンパ1' as title, 'スパイク・チュンソフト' as brand, 'mystery' as genre, 2010 as year, 90 as score, 3000 as price union all select 2 as gameId, 'ダンガンロンパ2' as t
11月15日は祝日──じゃない Googleカレンダーのまやかしに要注意
記事のタイトルを見て、カレンダーを確認したあなた。いまチェックしているのが「Googleカレンダー」や、それと連携しているサービスなら、ちょっと気を付けた方がいい。デフォルト設定の場合、本来祝日ではない2024年11月15日が、まるで祝日のように表記されているからだ。 11月15日は七五三の日。めでたい日ではあるが、祝日ではなく、仕事は休みにならない。連携機能を持つカレンダーサービス運営各社などがそれぞれ告知しているところによれば、原因はGoogleカレンダー側の仕様変更。単に行事がある日も祝日のように表示される変更があったという。 実際、2024年12月25日のクリスマスなども祝日のように表示される。iPhoneのカレンダーでも、Gmailのアカウントと連携している場合は、同様の表示になるので注意が必要だ。 解決策は簡単。Windowsの場合は「他のカレンダー」枠にある「日本の祝日」の設
フルリモートで相手に気持ちよく仕事をしてもらうためのコツあれこれ
社内のプチ発表に使った資料です。 文章のコツ 前置き フルリモートでは、文章でのやり取りがメインになる。 なので、文章がヒドいと「この人と仕事するのキツイ」と思われちゃう😢 そう思われないための色々思ったことを自戒メモ。 なるべく箇条書きにする
社内の仕様質問を激減させた話｜takashi
こんにちは。ダイニーのPM @takashi です。 みなさんは、社内からのプロダクト仕様質問などが多くて困っているなどはないでしょうか？ ダイニーでは、日々、顧客からの質問も含めて、プロダクトに関する詳細な仕様質問や、データ不備や不具合の調査依頼など様々な質問が寄せられています。 また、ダイニーは、導入店舗数が増えたり、新入社員が増えた時、営業が商談・サクセス活動のために顧客と接触を増やした時など、事業が大きくなるほど質問が増える構造となっており、対応が大変になっています。 基本的には、PMが回答する仕組みにしているのですが、件数が多く時間を取られてしまい、本来の企画等に割ける時間が減ってしまっている課題があったので、改善に取り組みました。 前提ダイニーでは、Slackに気軽にプロダクト関連の質問をできるチャンネルがあり、Slack Workflow を使って、フォームから質問できるよう
BigQueryを使った集計バッチの費用をActive Metadata Managementの知見を活かして4割減らした話 - ZOZO TECH BLOG
初めまして。MLデータ部データ基盤ブロックの小泉です。 本記事ではGartner社から提唱されたActive Metadata Managementに着目し、BigQueryのCompute費用を削減した方法についてご紹介します。 目次 目次 Active Metadata Managementとは 結局どんなことを行なったのか、ざっくりまとめ Compute費用のpricing modelとReservationについて pricing model Reservation Metadataを使用して最安値のpricing modelを求める方法 マート集計クエリ実行時、pricing modelを切り替える方法 まとめ Active Metadata Managementとは Active Metadata Managementとは、Gartner社が提唱するメタデータ管理の新しい考え方
Google Cloudの監査ログを理解する&長期間保存方法 - NRIネットコムBlog
こんにちは、上野です。 前回に引き続き、Google Cloudのセキュリティ設定第２弾です。今回は監査ログ（Cloud Audit Logs）です。 監査ログは「誰が、いつ、どこで、何をしたか」を残すログで、AWSだとCloudTrailですね。目的はAWSと同じなのですが、設定方法や見え方がけっこう異なるので、概要を掴みつつ追加の保存設定を見ていきます。 Google Cloudの監査ログ 監査ログには、管理アクティビティ監査ログ、データアクセス監査ログ、システムイベント監査ログ、ポリシー拒否監査ログの4種類存在します。 管理アクティビティ監査ログ ユーザーが VM インスタンスを作成したときや IAM権限を変更したときに記録されるログで、いわゆる一般的な監査ログです。デフォルト有効で、無効にできません。 データアクセス監査ログ BigQueryやCloud Storageなど、データ
BigQueryの監査ログは役に立つ | PLAID engineer blog
Google Cloudサービスが提供しているBigQuery監査ログの活用方法。 実際に弊社で利用しているクエリも併せて紹介します。
BigQuery のコスト最適化活動の全社展開用基盤を整えた話 [DeNA インフラ SRE] | BLOG - DeNA Engineering
2022.12.06 技術記事 BigQuery のコスト最適化活動の全社展開用基盤を整えた話 [DeNA インフラ SRE] by Yuya Nakamura #infrastructure #sre #google-cloud #google-bigquery はじめに こんにちは。 IT 基盤部パブリッククラウドチームの中村です。 GCP の BigQuery は便利なサービスですが、使い方を誤ると簡単に高額請求されてしまうことがあるサービスでもあります。 この記事では、そんな BigQuery のガバナンスが効いた状態を維持する活動である BQ ドクターという取り組みを全社展開するための基盤を整備した話をご紹介します。 BQ ドクターとは BQ ドクターは、下図のフローで継続的にデータのガバナンスを維持するための取り組みの総称で、以前からデータ本部で実施していました。 これまでの
![BigQuery のコスト最適化活動の全社展開用基盤を整えた話 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/742b6a7e355f9fc2815cd3dda6fa1de34d953699/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F12%2Fextend-bq-doctor%2Fcover.png)
「IDOLY PRIDE」のBigQuery料金を70%カットしました | QualiArtsエンジニアブログ
はじめに 株式会社QualiArtsで「IDOLY PRIDE（以降、アイプラ）」のバックエンドエンジニアチームのリーダーをしている末吉です。 主にゲームAPIの開発やインフラの運用、チームメンバーの進捗管理や開発スケジュールの策定等を担当しています。 アイプラは2021年6月にリリースされ、今年の6月に2周年を迎えました。 データウェアハウスにGoogle CloudのBigQueryを使用しており、2年間その運用を支えてきました。 しかし、運用をしていく中で1つの課題が出てきました。それがBigQueryにかかる料金の肥大化です。 リリース当初はそこまで問題にはなっていなかったのですが、1年間半ほどの運用で約2.5倍ほどの料金がかかるようになっていました。 そこで、2022年10月頃からBigQueryの料金削減に取り組むことにしました。 結果的に本記事の執筆時である2023年8月時点
ウェブサイト制作では、游ゴシックはおすすめしない理由
ウェブサイト制作では、游ゴシックはおすすめしない理由こんにちは、こんばんは！せきゆおう です。 游ゴシックは好きですか？僕も印刷物では使いますが、ウェブサイトでは「游ゴシックを使ってください」と指示されるまでは使いません。 また、そう指示された場合もデメリットは必ずお伝えするようにしています。 「游ゴシックってMacでもWindowsでも標準でインストールされているし、デバイスフォントとして使う際に最有力候補では？」という方も多いです。それでも僕は推奨しません。 その理由は4つあります。 ・游ゴシックはWindowsでかすれて見える ・スマホ端末に游ゴシックは搭載されていない ・実はMacOSで游ゴシックは標準では搭載されていない ・今後、システムフォントとして使えないブラウザが増える それら4つの理由を参考資料を交えつつ解説したいと思います。 その前に...游ゴシックの採用率は非常に高い
コーディング面接で必要なPythonの学習 | Coding InterviewCat | コーディング面接対策教材
コーディング面接で使われる構文、データ構造、標準関数などは実はある程度限定されています。ここに書いてある事を理解するだけでコーディング面接における（体感）8 ~ 9割くらいのPythonの必要な知識を学習できます。 例えば、辞書やセットは頻繁に活用しますが、ジェネレーター・デコレータなどはコーディング面接ではそこまで登場しません。つまり必要なものだけ集中して学習し、残りの要素はその都度調べる形が効率良いでしょう。コーディング面接では万が一忘れた時は相手が自分の代わりにググってくれたり、擬似コードとして書くことも許される場合があります。
連番IDを使うと会社が潰れる。(訳: 連番とUUIDのベンチマークを取ってみた❤️）
大いなる流れには逆らえない あるAI研究者が言っていた、私の仕事もいつか AI に奪われるという言葉が非常に印象的だった。 私は一時期自分のキャリアに危機感を覚えAIに関する情報を集めていた。そのとき見つけたYoutube動画でこのようなことが語られていたのである。 ではなぜ彼らは研究を続けるのかと思うかもしれないが、個人や一団体がそれを放棄したところで世の中のイノベーションの流れを止めることは不可能だろう。 平和を望む国々も兵器開発をやめられないのと似たようなものだ。 私がこの記事のタイトルを思いついたとき、つい溜息が出た。あまり楽しくない思い出があるからだ。 ただ、思いついてしまった以上これを世に出さないわけにもいかず、血の涙を流しながらこの記事を書いている。 私というちっぽけな存在では、この大宇宙の大いなる流れには逆らえないのだ。 申し遅れました。私、YadaYadaKonnanYa
ITエンジニアの英語学習方法 TOEIC 200 → 900｜米巨大IT企業のエンジニアリード
自分は相変わらず英語に課題を抱えているが一応外人と英語でコミュニケーションしているし、社会人になってからTOEICは200から900まで上がった。私の経験など役に立つか分からないが勉強法を紹介したい。 基礎から学ぶTOEIC 200点台はそもそも基礎がない。文法はともかく基本的な語彙力がないとコミュニケーションは難しい。もちろんテストで高得点を取ることも不可能。あきらかにレベルが低い人はITエンジニア云々の問題ではないのでまずは語彙力を強化しよう。自分はひたすらDUO 3.0で語彙力を強化した。昼間はシャドーイングして、寝る前に単語をサラッと見る（寝る前は長期記憶に残りやすい）。これ一冊を20回くらいは繰り返した。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クレジットカードを製造する技術
プルリクを気持ちよくレビューしあえるコツあれこれ
テクニカルライティングの基本
記憶力に頼らないタスク管理 / Task management without relying on memory
