daikixのブックマーク - はてなブックマーク

bashスクリプトのエラー処理のベストプラクティス – marketechlabo

データ処理バッチでシェルスクリプトは便利データ処理などでバッチプログラムを書くことは多い。Pythonなどのプログラム言語を使って全部記述する方法もあるし、最近ではGUIのワークフローを描けるツールも出てきている。ただシェルスクリプトは依然として強い。シェルスクリプトは概して動作が高速で、イレギュラー処理に対しても柔軟に対応できる。gcloudやawscliなどのコマンドを使って記述できるので、できないことはない。機能がなければコマンドをインストールすることも可能。困ったときにも確実にゴールにたどり着くメリットがある。プログラム言語だとライブラリの出来に依存するし、ワークフロー系のツールは機能が実装されていないと詰む。イレギュラー処理を扱えない場合がある。便利なツールが出てきている時代ではあるが、シェルスクリプトを覚えておくのはおすすめである。バッチ処理ではエラーハンドリングが必須だ

daikix 2021/04/20

bq
shell

リンク

ウェブログからSQLで指標を計算する8構文～GA4のBigQueryを題材に – marketechlabo

Googleアナリティクス4プロパティが登場し、誰でもBigQueryにログを出力できるようになった。ログ分析を始める環境は揃ったわけだが、ログ分析のノウハウはあまり世に出ていない。SQLを使ってこれらを分析する方法を少し紹介する。どんな高度なログ分析をするにしても、これが基本となる。ウェブ分析の指標ウェブ分析の基本はページビュー数セッション数人数のカウントである。複雑な分析も、結局カウントしているのはこの3つの指標に集約されることが多い。Eコマースになると購入金額の合計なども入ってくることはある。そしてこれに「○○した」という条件が付いてイベント○○が発生した回数 ○○したページビュー数パラメータ△△の値が□□だったイベント○○が発生した回数（ページ□□のページビュー数） ○○したセッション数 ○○した人数をひたすらカウントする。たとえば資料ダウンロードボタンをクリ

daikix 2020/11/11

bigquery
ga

リンク

Digdag / TreasureData Workflowのエラー処理 – marketechlabo

Digdag / TreasureData Workflowのエラー処理。エラー時の処理を指定する_errorだけでなく_checkやfail:>などの処理もあり、エラー発生／成功時の処理をカスタマイズできる。自由度が高く、ワークフローの階層構造とともにうまく使えばワークフローのコードが簡潔になる。公式ドキュメントの説明が不十分なので補足する。 Digdagがエラーと判定して_errorを発動する条件コマンドの戻り値が0であれば正常、0でなければエラーとみなす。つまりシェルスクリプト（sh:>）の場合は exit 1 であればエラーとなる。 _errorを複数の階層で記述するとどうなるか _errorは同一階層には複数記述できないが、異なる階層には記述できる。以下のようにワークフローを設定する。 test.dig +task1: +task2: sh>: exit 1 _error: e

daikix 2020/09/15

digdag

リンク

サルでもわかるGoogle Chromeのプライバシー対策で何が起こるのか – marketechlabo

Chromeが2年以内にサードパーティcookieをブロックすると正式に発表しました。 https://blog.chromium.org/2020/01/building-more-private-web-path-towards.html いろいろなことが言われていますが、具体的に何が起こるのか、混同しやすいところを含めて初心者でもわかるようにまとめました（このサイトでは珍しい初心者向けの記事です）。 cookieを取り囲むブラウザ環境の変化のおさらいこれまではiOS/SafariがITPの取り組みの中でトラッキング目的のサードパーティcookie（※）をブロックしてきましたが、これでSafariとChromeの両方でトラッキング目的のサードパーティcookieをブロックすることになります。スマートフォン、デスクトップ、タブレットで大半のシェアが適用対象になるわけです。なおFire

daikix 2020/01/17

アクセス解析

リンク

Googleアナリティクス4のデータをBigQuery出力する – marketechlabo

Googleアナリティクス4ではサイト訪問の行動ログをBigQueryに出力できるようになった。従来のGoogleアナリティクス（ユニバーサルアナリティクス）ではGoogleアナリティクス360（GA360）を利用し、そのうえでGoogleに申請しないとログデータをBigQueryに出力することはできなかった。そのためコスト面での高いハードルがあったのだが、Googleアナリティクス4ではGoogle Cloud Platform（GCP）の従量課金コストだけでログをBigQueryに出力できるようになったのである。以前はこの設定で直接Firebaseの管理画面からダミーアプリを作る手順が必要だったため大変難しかったが、現在ではアナリティクスの管理画面だけでできるようになった。 Googleアナリティクス4というのはもともとアプリ用に存在していたFirebaseの計測機能（Google