データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog
Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介したいと思います。 なお、SQLを使ったデータ基盤の監視自体については私の前職のTech Blogで詳細に書いていますので、そちらを参照してください。 SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog 本エントリはこれをベースに「dbtをフルに活用している10Xの環境向けに入れた監視」や「BigQuer
Github Actionsを使ってdbtを定期実行してみる
つい先日退職した同僚からsnowflakeのタスク定期実行をdbt x Github Actionsに移行する素晴らしい話を聞かされたので、個人的に動かしてみたいと思いとりあえずやってみました。 以下参考にさせていただいた記事 Github Actions用のファイル作成 以下のファイルを dbt-actions.yml name: schedule_dbt_job on: workflow_dispatch: schedule: # run at 7AM every single day # https://crontab.guru <-- for generating CRON expression - cron: "0 7 * * *" jobs: schedule_dbt_job: name: schedule_dbt_job runs-on: ubuntu-latest step
Google re:Work - ガイド: イノベーションが生まれる職場環境をつくる
イノベーションとは、新しいアイデアを取り入れて形にし、それを試して実装するプロセスです。新しいアイデアを生み出すために発揮するのが創造性で、イノベーションと創造性は異なります。創造性はイノベーションの重要な要素ですが、プロセスの 1 ステップにすぎません。ある研究では、競争の激しいダイナミックなビジネス環境では、組織のイノベーション力が長期的な成功を測る指標となることが明らかになりました。イノベーションと組織の収益の間に正の相関関係があることを示した調査結果もあります。 近年は技術進化のスピードに伴い、イノベーションに対するプレッシャーもますます高まっています。多くのテクノロジー企業は、組織の業務にイノベーションを組み込むべく意識的に取り組みを行ってきました。3M 社は、従業員が業務時間の 15% を使って独自のアイデアを探求することを許可する「15% カルチャー」プログラムを開始しました
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日々の意思決定の積み重ねを記録するアーキテクチャ・デシジョン・レコード / Architectural Decision Records
