はてなブックマーク

この記事はなに？ Google Cloud認定資格のProfessional Data Engineerの勉強内容をまとめたものです。 一部、筆者の理解不足により誤った内容が書かれている可能性があります。 参考にしていただく際は必ず公式リファレンスも併せてご参照ください。 また、この内容を覚えれば資格に合格できると保証されたものではないことをご了承ください。 Google Cloud Storage(GCS) 特徴 バケットと呼ばれるコンテナに、オブジェクトと呼ばれる様々な形式のファイルを保存し使用することができる。 1オブジェクトあたり5TBのサイズ上限あり。 バケットの保存場所は3種類。 マルチリージョン(ex:Asia&US) デュアルリージョン(ex:asia-northeast1&asia-northeast2) リージョン(ex:asia-northeast1) WebUI以外

2020/9/30追記 本記事は元々、「SQL記述者全員が理解すべきSELECT文の実行順序のお話」というタイトルで投稿しておりました。 しかし、知見のある方からのコメントと自分でも調べてみた結果、今回紹介している順序はあくまで論理的な処理順序であり、実行順序とは別物ということがわかりました。 誤った知識を布教してしまい申し訳ございません。 2020/9/30のタイミングで、本記事のタイトルを「SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話」に変更させていただきました。 はじめに 「SQLといえば、エンジニアが扱うスキル」と思われがちですが、最近はマーケターや営業など、非エンジニアの方もSQLを使って、自らデータを抽出し分析する方が増えてきています。 またエンジニアの方でも、ORM任せでなんとなく理解している状態の方もいるのではないでしょうか？ 今回は、そんな方々にこそ

社内での勉強資料としてのアウトプットになるため、細かい説明は記載しておりません。 ざっくりと理解していただく用、もしくは理解した上でコピペ用に使っていただけますと幸いです。 複数テーブルの照会 GoogleAnalyticsのデータをBigQueryへエクスポートしたときに生成されるテーブル名は、ga_sessions_yyyymmdd形式で1日ごとに生成されています。 このように類似した名前のテーブルが複数存在する場合、ワイルドカードテーブルを用いることで複数テーブルを照会することができます。 例えば、2019年2月1日から2019年2月7日までの期間でデータ抽出を行いたい場合は、以下のように記述します。 SELECT * FROM `{プロジェクトID}.{データセット名}.ga_sessions_*` WHERE _TABLE_SUFFIX BETWEEN '20190201' AN

この記事はAteam Brides Inc. Advent Calendar 2019　4日目の記事です。 問いかけ マーケターやアナリスト、営業など社内の人から「このデータがほしいから出して」と依頼される皆さん。 その業務、正当に評価されていますか？ 作業扱いされていたり、軽視されていませんか？ 今回は、そんな現状を打破するために取るべきアクションについて考えてみました。 結論 取るべきアクションは3つです。 SQLが書ける≠データ抽出ができる、を伝える → 専門性を理解してもらうため 成果を見える化する → 必要性を実感してもらうため 評価者を変える → 正当に評価してもらうため 1.SQLが書ける≠データ抽出ができる、を伝える プログラミングと違い、SQLは「勉強したい」「自分も書けるようになりたい」という声を社内でもよく聞きます。 正直この気持ちは素晴らしいものだし応援もしたい派で

この記事はエイチームブライズ/エイチームコネクト/エイチーム引越し侍 Advent Calendar 2018 5日目の記事です。 概要 こんにちは、データアナリストの@k_0120です。 データ分析界隈ではとても有名な「TJO」こと尾崎隆さんご出演の動画。 【自己紹介】 これまでの来歴については以下の5つのリンクをご参照ください。Twitterでは何一つ有益な情報を発信しておりませんので、ブログの方をお読みください。https://t.co/BywtEfnMdXhttps://t.co/r0KRHNthfUhttps://t.co/4pVgogSJBShttps://t.co/EZ9VO9bH7Ehttps://t.co/7BzFg96ctl — TJO (bereavement leave) (@TJO_datasci) 2018年11月24日 今回はこちらの動画で紹介されている手法を