はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DR 原則としてパーティションテーブルを使うが、上位互換ではないため１次保存層にはシャーディングテーブルを使う マサカリください 概要 データ分析を行う際には分析基盤の整備が欠かせません 分析基盤としては様々なプロダクトがありますが、そのなかでBigQueryには下記の利点があります よく使われるため分析者にとって馴染み深い 処理が分散実行されるためとても高速 GCPのフルマネージドであるため運用が楽 ここではデータ加工層(データマート、データウェアハウス)だけでなく、１次保存層(データレイク)としてもBigQueryを用いる場合

はじめに GitHub Actions、便利ですよね ソースコードの変更後、いちいち手元でdocker buildしてpushなんてやってられないですし、 外部CIツールを新たに導入するよりは全部GitHub内で完結してたほうがシンプルです。 しかしながら別のprivate repositoryにある社内用ライブラリを持ってくるのが地味に面倒だったのでやり方を書きます １行で リポジトリsecretsにトークンを入れてBuild-time secretsでコンテナ内に注入 説明 認証方法 GitHub→GitHub内とは言え認証は必要です httpsかsshで認証することになります 権限を細かく絞れるためトークンを介するhttps接続の方が良いと思います https 下記記事のようにトークンを作成し、トークンを用いて認証します この際、個人ユーザのトークンを利用するとアカウント削除時にトー

概要 jupyter notebookで時間がかかる作業をする場合、終わるまで別の作業をすると思いますが、 そちらの作業に没頭してしまい、元の作業が終わっていたことに気づかないことがよくあります 対処法として通知を飛ばしたくなると思います。現時点で僕が一番いいと思った方法をまとめます 通知の要件 同じ悩みを持つ人はたくさんいるので様々なpipのpluginが公開されています。いろいろpipを漁ったのですが、結論を先にいうとslackのwebhook apiをそのまま叩くのが一番シンプルでよさそうということになりました 通知の要件としてはデスクトップ通知で画面に割り込んでくれたり、スマホが振動したりするのが分かりやすくて良いです。slackであれば自分にメンションを飛ばせば通知が飛ぶのでシンプルに実現できます (notify_runというweb pushを使うライブラリがあるのですが、PCと

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 データパイプラインの管理にワークフローエンジンを導入したいのですが、今の要件に対してどれが合っているのか判断しきれない部分があるので整理してみました 最近の導入事例や発表をみるかぎりAirflow, Argo, Digdagあたりが人気なのかなと思います ワークフローエンジンとは ワークフローエンジンとは定期的なバッチ処理をうまく処理できるように、バッチ実行を管理してくれるソフトウェアのことです 古典的な実現方法としては適当なlinuxサーバーの上でcron実行させることが考えられますが、以下のような問題があります ジョブごとの依

はじめに 本記事はAWS SAMを使おうと思っている・使い始めた人向けに SAMを利用したサーバーレスアプリケーションの実装について 会社のスカンクワークを利用して社内サービスを実装したときのハマりポイントを踏まえて書きます AWS SAMとは AWS CloudFormation (以降 CFn) のサーバーレス拡張です CloudFormationでLambdaなどを記述しようとすると記述が複雑になってしまうのですが、 SAM記法を使うと比較的簡潔に記述することができます 同様の仕組みとしてserverless framework( https://serverless.com/ )があります 「AWS公式のエコシステムに乗っておいたほうが、後々のメンテナンスに期待できるため、実務で使うならSAMのほうが信用できる。」 とAWSに詳しい会社の先輩が言っていたので、今回は学習のためにSA