BigQuery データ キャンバスでデータモデリングしてみた / I tried data modeling with BigQuery Data Canvas■イベント #bq_sushi #19 https://bq-sushi.connpass.com/event/317348/ ■発表者 技術本部 研究開発部 Architectグループ 中根 洋平 ■研究開発職 採用情報 https://media.sansan-engineering.com/randd ■Sansan Tech Blog https://buildersbox.corp-sansan.com/
BigQuery Emulator をアップデートしました - Route54
BigQuery Emulator の v0.6.0 をリリースしました。 今回のリリースでは、Recidiviz社 の @ohaibbq さんが多大な貢献をしてくださいました。Recidiviz社ではかなり前から BigQuery Emulator を使ってくれているようで、以前から Issue や DM などでそのことを伝えてくれていましたが、@ohaibbq さんが今Qエミュレータの改善にコミットできるということで、 Recidiviz社側で fork して使っていたものに加えていた patch をたくさん送ってくれました。 かなり多くの改善が入っているので、以前エミュレータを試して動かなかったクエリを再度試す良い機会かなと思っています。 @ohaibbq さんからは、嬉しいことに今後も貢献してくださると言っていただけているので、今後の改善も速いペースで進んでいくと思います。素晴らし
GitHub Actionsのワークフローを可視化するactions-timelineを作った
最初に作ったのがCIAnalyzerです。なるべくツール自体の運用の手間がかからないように常駐サーバー無し、データの保存先と可視化はマネージドサービスを使う前提で設計しました。具体的にはデータの保存先をBigQueryとすることによって自前でDBを管理する必要をなくし、webhookを受けるのではなくcronで定期的にAPIを叩くことで常駐サーバーを不要にし、データの可視化はBigQueryと簡単に連携できてマネージドサービスであるLooker Studioを使用する前提としました。 CIAnalyzerのアーキテクチャ CIAnalyzerを作ったきっかけはAzure Pipelineの分析機能に感銘を受けたことで、それと同等の分析を当時自分が業務とプライベートで使用していたJenkins, CircleCI, Bitrise, GitHub Actionsでも可能にしたいと思って開発を
GA4はなぜこんなに「使いづらい」のか - ブログ - 株式会社JADE
JADEファウンダーの長山です。 いよいよ Universal Analytics (以下UA) の死が近づく中、Google Analytics 4 (以下GA4) が使いづらい、という声を聞くことが増えてきました。特に広告運用者にとってはまだまだ使いづらいことが多い、という点は、すでに弊社ブログでも小西が書いた通りです。しかし、どうしてこうなっているのか、について考察した記事は今まであまり無かったように思います。 少し歴史を振り返ってみましょう。現在のUAは Google が一から開発したものではありません。Urchin Software という会社が開発したアナリティクスサービスを Google が 2005 年に買収したものです。Urchin は買収時点ですでに10年近い歴史を持つソフトウェアで、Web におけるユーザー訪問の分析に特化する形でプロダクト開発が続けられていました。現
GoとテストとSDKとGCP - KAYAC engineers' blog
SREチーム(新卒)の市川恭佑です。これはKAYAC Advent Calendar 2022の9日目の記事です。 今年の弊社アドベントカレンダーは、筋肉やランニング、さらにはサウナなど、多様性に富んだ面白いエントリが出揃っています。 自分も好きなファッションについて書きたくなってしまったのですが、ここはグッと気持ちを抑えて、仕事で触った技術について書きます。 ※ この記事のタイトルは、酒とゲームとインフラとGCPというイベントのオマージュです。 仕事の近況報告 まず、最近どんな仕事をしているのかについて報告させてください。恐らく誰も興味がないと思いますが、年末のアドベントカレンダー企画ということもあるので...... Amazon Web Services(AWS)を用いた自社サービス 今年の4月に新卒入社してから、技術ブログを2本執筆しました。下記がそのリンクです。 techblog.
BigQueryのローカル検証用にbigquery-emulatorを触ってみた。ついでにPythonから接続してみる - Qiita
BigQueryのローカル検証用にbigquery-emulatorを触ってみた。ついでにPythonから接続してみるPythonBigQueryemulatorGoogleCloud はじめに みなさん、BigQueryが絡む処理のローカル開発やテストどうしてますか？BigQueryは公式のエミュレーターが提供されていないのでけっこう困ること多いんじゃないでしょうか？ 私はとりあえず、ローカルではなく専用の環境を用意してそこに接続する形にしていましたが、業務委託の方などに入っていただくことが増えると権限周りで少々悩ましいことも多いです。 ただ数ヶ月前に、goccyさんという方が開発されたGo製のOSSbigquery-emulatorが公開され、こうした問題に解消の兆しが見えてきました。(開発者の方にはリスペクトしかありません！) 少し前までは提供されていない機能も多かったのですが、開発
Four Keys 〜自分たちの開発レベルを定量化してイケてる DevOps チームになろう〜
はじめに この記事タイトルに興味をもって読み始めていただいている方の多くは、ソフトウェアエンジニアとしてチームで開発をしていたり、エンジニアリングマネージャーとしてチームビルディングやマネジメントをされている方なのではないかと思います。 実際、この記事を書いている加藤も、リクルートライフスタイルのデータプラットフォームグループ (以前は CETチーム と呼ばれていました) に所属するデータエンジニアとして、データ活用のための基盤開発・運用を行っている一人です。また、担当している社内データプロダクトのプロダクトマネージャーも兼任しています。 本記事では、自分の所属している DevOps チームを「イケてる DevOps チーム」にするために取り組んだ内容や気づいた点をお伝えしたいと思っています。 目次 はじめに 「イケてる」DevOps チームってなに？ Four Keys とは なぜ Fo
「スピード」と「品質」のスイッチング ～事業成長を支える生存戦略～ #devsumi / 20210218C1
Developers Summit 2021【C-1】の発表資料です。 https://event.shoeisha.jp/devsumi/20210218 ---------------------------------------------------------------------------------------------------- メルペイでは「ベンチャーとしてのスピード」と「FinTech領域としての品 質」の両立が求められています。 目の前のビジネスチャンスに対して、システム開発が追いつかない。この悩みと向き合い、私たちが辿り着いたのは「スピード」と「品質」のスイッチングです。 「1.ツール活用によるスピード優先」と「2.システム開発による品質重視」をフェーズごとに使い分けることで、事業成長を支えてきました。 本セッションでは、ビジネスとエンジニアリングの両立
SmartHRのカスタマーサポートをサポートしてくれるエンジニアの職種名でめっちゃ悩みました｜otapo
カスタマーサポートOpsの仕事SmartHRのカスタマーサポートは、ユーザーさんとの接点としてIntercomを利用しています。 今回募集するカスタマーサポートOpsの仕事の2つの柱のうちの1つは、Intercomで発生し、BigQueryに同期された問い合わせデータを、RedashやLookerを使って分析することです。 たとえば下の画像のように問い合わせ対応終了後に送っているアンケートの結果をIntercomからBigQueryに同期し、Lookerを使って可視化しています。 また、過去の問い合わせのデータを元に、Prophetという時系列解析ライブラリを使って、未来の問い合わせ件数の予測をしたりもしています。 件数予測については、以前カスタマーサポートOpsのメンバーがQiitaに書いた記事もあります。 もう1つの柱は、カスタマーサポートのメンバーがサポートに必要な情報を得たり、問い
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
