dbt seed で csv ファイルのミスを取り除きながら DWH へ格納させる - Gunosyデータ分析ブログ
はじめに 現状の実装と課題: 不整合データの混入による手戻り 対応方針: PR 時点でデータ不整合を検出する CI 環境で dbt が使えるようになった dbt seed とは 方針 実装 csv ファイルの配置 プロファイル設定 dbt_project に seeds の設定を追加する シードでロードするテーブルの設定を追加する GitHub Actions で dbt seed と test を行う GitHub Actions で各ステップを記述する 導入結果 さいごに 余談: ChatGPT にエラー解析と初心者解説を頼んだらかなり心理負荷が下がった 参考文献 はじめに こんにちは、BI チームの田辺です。この記事はGunosy Advent Calendar 2023の 12 日目の記事です。 前回の記事は UT さんのコスト削減できる箇所をひねり出すでした。 さて、今回は db
Building an Efficient ETL/ELT Process for Data Delivery
“Data is the new oil” — a statement that has underscored our approach to data management over the past decade. We’ve dedicated ourselves to gathering, processing, and analyzing vast volumes of data to fuel our journey towards becoming a data-driven organization. However, with the rise of ChatGPT, collecting over 1 million users in just 5 days, the landscape has shifted. This phenomenon has sparked
データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
スキーマを放棄したデータベース設計 - 『SQLアンチパターン』のEAVについて考察する
（テーブルの構成は『SQLアンチパターン』p53を引用） このテーブルは要望とバグ報告が可能なチケット発行システムで利用されます。バグ報告の場合はseverity（重大さ）とversion_affected（影響のあるバージョン）の属性を含み、要望の場合はsponsor（要望元スポンサー）を含みます。そのほかの属性（date_reported, reporter, riority, status）は共通のものです。（以降、共通の属性を基底、issue_type別の属性をサブタイプなどと呼びます。） このような設計が取られる背景には、リレーショナルデータベースがそもそも拡張性に乏しく、その反面で開発者には少ない工数でシステムを拡張する柔軟性が求められるという点が挙げられます。ただ、RDB本来の責務である「データを守ること」に立ち返ったとき、この拡張性の乏しさは堅牢性の裏返しであり、基本的にメ
SQLチューニングとは宣言型言語でリファクタリングをするということ
これはなに ども、レバテック開発部のもりたです。 タイトルの通りなんですが、SQLチューニングってつまり宣言型言語でリファクタリングするってことだよね、というのを書きます。なお具体的なリファクタの方法とか実行計画の読み方とかはスコープ外です（別で書く予定）。 SQLチューニングはリファクタリング まずSQLチューニングというと、パフォーマンス改善みたいな意味合いが強いと思います。ただ、SQLチューニングは本質的にはリファクタリング的な行為であるはずです。リファクタリングの定義を確認すると、 リファクタリングとは、ソフトウェアの外部の振る舞いを保ったままで、内部の構造を改善していく作業を指します。 引用元: 『リファクタリング 既存のコードを安全に改善する 第2版』 雑にいえば、結果を変えないでコードを改善することです。ここでいう改善とは内部品質を向上させることで、例えば保守容易性であったり
サブクエリの書き方を2万文字弱かけてすべて解説する
これはなに ども、レバテック開発部のもりたです。 今回はSQLのサブクエリについてまとめます。仕事でクエリを書く際、サブクエリは頻出の構文だと思うんですが、同時にサブクエリの書き方を完全に理解しているよという人は案外少ないのではないでしょうか？[1] 実際、MySQLの公式ドキュメントを見ると12ページくらいを割かれており、意外と奥深いのがサブクエリです。使いこなせると便利ですし、何よりちょっとSQLのコツみたいなのがわかって面白いよ、ということで記事にしてみました。 前提 この記事は以下の前提を含んでいます。 環境 MySQL8.0系 読者の知識 なんとなくサブクエリが書ける けど相関サブクエリとかになると「あーっ」つってGoogle meetを閉じてしまうくらいのレベル感 記事のボリューム 18,000文字 おれの卒論が20,000文字だった マサカリ 間違ってたら投げてくれ〜〜 それ
[2024-04] 人事評価やピープルマネジメントがないUbieでエンジニアの仕事は実際どうなのか｜hamakn
このページの概要Ubieに転職して2年4ヶ月が経った。たまにはpublicに何か書いた方がよいよねということで、タイトルの件について書くのがこのページ 知り合いやコミュニティ、あるいはカジュアル面談でよく聞かれるtopicになる 最近読んだ「エンジニアリングマネージャのしごと」（以下、EM本）と関連する部分が多いのでところどころで引用する ちなみに自分はこの辺の制度設計にはほぼ関わってはいない（アンケートに答えたぐらい） Ubieについて会社紹介 → Ubie株式会社_会社紹介資料 症状検索エンジン「ユビー」を運営する医療系スタートアップです お前誰よhamaknのresume（public公開版） サーバサイド寄りのエンジニアです 最近は、症状検索エンジン「ユビー」の、個人の健康データを用いたパーソナライズの仕組みや、ユーザへの通知の開発や運用をしています 過去のUbie関連の記事 [2
![[2024-04] 人事評価やピープルマネジメントがないUbieでエンジニアの仕事は実際どうなのか｜hamakn](https://cdn-ak-scissors.b.st-hatena.com/image/square/c18c47d62400b8ee2cf55a787d826465aa095e64/height=288;version=1;width=512/https%3A%2F%2Fd2l930y2yx77uc.cloudfront.net%2Fproduction%2Fsocial_images%2Fe6aa1556aa79a03fcc0f5682d9acef95d4879516.png)
最速で成果を出す方法｜Go Kiritani / Chatwork 執行役員
これは何か最速で成果を出す為にはどうすれば良いか？という質問をよくもらうのでその回答をするものです。良い感じのものが見当たらなかったので過去に自分が教えてもらった事をまとめました。せっかくまとめたので公開します。 4つのタイプの人がいるそれっぽい図1①思考先行型 思考力は高いけど,行動力が低い人。 考えてばかりで,なかなか行動に動けず成果が出ない。頭が良い人ほどこのタイプになってしまうので気をつけないといけない。 ②思考/行動 併用型 思考力も行動力も高い人。 思考と行動のバランスが良く,行動した結果を思考する事で正しい行動に繋がるサイクルが回っている。この人が1番早く成果が出る。 ③指示待ち型 思考力も行動力も低い人。 何をすれば良いか分からない状態で,動くこともできない。新しい環境に行くと,意外とこの状態の人も多いのでは。 ④行動先行型 思考力は低いけど,行動力が高い人。 何が正しいか
円はなぜこれほど弱いのか、日本経済への影響は－QuickTake
円は対ドルで約34年ぶりの水準に落ち込んでいる。日本の金利が米国を含むその他の国・地域よりもはるかに低い水準にあり、相対的に円の魅力が薄れていることが主因だ。日本の当局者が口先介入による円安阻止を何度も試みたものの効果はなく、４月29日には通貨当局が、より強い措置として2022年以来となる円買い介入に踏み切ったとみられている。 １. なぜ円はこれほど弱いのか？円は年初から対ドルで最もパフォーマンスが悪い主要通貨の一つとなっており、下落率は10％を超える。その主な要因は、日米の金利差が大きいことにある。日本銀行は政策金利である無担保コール翌日物金利の誘導目標を０－0.1％に維持しており、先進国の中で最も低い。米金融当局はフェデラルファンド（ＦＦ）金利の誘導目標を5.25－5.5％のレンジに据え置き、米国向け投資、ひいてはドルに有利に働きやすい大幅な金利格差が生じている。米国の予想以上に力強い
OKRをツリーにする前に言っておきたいことがある｜dora_e_m
「OKRはツリーではない」から約1年半以前、「OKRはツリーではない」というタイトルで登壇したことがあります。OKRを採用している多くの現場で、組織レベルのOKRから個人レベルのOKRまでをツリーでつなげる「OKRツリー」で運用しているけれど、OKRはツリーじゃなくてもいいんだよということを伝えたい発表でした。 「ツリーじゃなきゃいけないと思っていたけど、ツリーじゃなくてもいいんですね！」など、様々な反響をいただきました。 それから1年半。「OKR」というキーワードを入れてGoogleで画像検索すると、OKRをツリーで捉えた画像がたくさんでてきます。この状況は1年半前とあまり変わっていません。それだけ、目標を組織全体で連携させていくことは重要だということの表れです。 ツリーで扱うときに気をつけておきたいことOKRをツリーで扱うことは、組織ーチームー個人の目標をアラインメントさせるという点に
#透明書店 の中で書店オープンします｜lacolaco
プログラミングと哲学の書店蔵前の駅から近いので、もし近辺にいらした方は透明書店に立ち寄ってみてください。僕の棚以外にも他の棚主さんの書店も個性があって面白いです。副店長のくらげもかわいいです。 今後も棚の運営についてnoteにぼちぼち書いていくつもりです。よろしくお願いします。
On Purpose: Collectively Defining Our Team’s Mission Statement
Firefox illustration by UX designer Gabrielle LussierLike many people who work at Mozilla, I’m inspired by the organization’s mission: to ensure the Internet is a global public resource, open and accessible to all. In thinking about the team I belong to, though, what’s our piece of this bigger puzzle? The Firefox User Research team tackled this question early last year. We gathered in person for a
2023年に観た面白かった映画 - whkr’s diary
2023年はコロナ禍の反動か大作映画も数多く公開され、この記事に入らなかったものも含めて全体的にクオリティも高く、豊作だったと思う。 2024年もその傾向が続いているようで、ついでに面白い近作も紹介したいと思いながら記事を書くのを先延ばしにしていたらどんどん分量が増えてしまったので、できるだけ早く別建てで紹介したい。 という訳で、とりあえず2023年のベスト3と面白かった作品を挙げる。 第1位 『リバー、流れないでよ』 （公式サイト） 温泉街の老舗旅館が2分間のループに囚われる話。 持論だが、ループ物は観客から時間の感覚を切り離す反面、場面に繰り返し映し出される場所の魅力が問われる構造なのではないだろうか。 この作品では、老舗旅館のお勝手、ロビー、客間、別館という適度に非日常的な場所を通じ、複数のスタッフや宿泊客が関わることで、繰り返しを飽きずに楽しめる。 そしてなにより、裏手の小川で恋人
『みんなで小さく区切ってやる』ガイド｜kawanotron
『みんなで小さく区切ってやる』とは『みんなで小さく区切ってやる』は複雑な問題を解決するためにみんな（チーム）で一緒になって改善していくためのやり方です。 『みんなで小さく区切ってやる』で大事な考え方は『経験から学ぶ』と『ちょっとずつ進める』です。小さく区切ることで、ちょっとやってみて、それから学び、またちょっとやってみる。それを繰り返しながら進みます。 『みんなで小さく区切ってやる』を上手にするには『見える化』『チェック』『改善』の3つが重要です。これにより『経験から学ぶ』効果を高めます。 機会を作る『見える化』『チェック』『改善』を取り入れるために5つの機会を設けましょう。これらの機会は毎回同じ時間に行うことでリズムが生まれいい感じになります。 『区切り』があることで立ち止まれます。立ち止まることで落ち着いて『チェック』し『改善』することができます。この『区切り』は1週間もしくは2週間に
同期的なコミュニケーションでチーム内の距離を縮める - Sansan Tech Blog
研究開発部 Architectグループ ML PlatformチームのKAZYこと新井です。 名古屋の中部支店に所属しています。 普段はCircuitというアプリケーション基盤を作っています。 先日、チームメンバーと同じ会議室に集まり、業務とワークショップを行いました。 関西支店に集う 私たちのチームは現在5人です。 東京の本社所属が3人、中部支店が1人、関西支店が1人です*1。 各々が所属拠点に出社することはあれど、実際に顔を合わせて業務を行う機会はほとんどありません。 直近では、新しいメンバーの加入と数ヶ月に渡る育休から復帰*2という2つのイベントがありました。 少しでも早くチームに馴染んでもらえたら、という気持ちで1つの拠点に集まって業務を行う日を作りました。 表参道本社、関西支店、福岡支店、中部支店、Sansan神山ラボ...といくつかオフィスがあります。 今回選ばれたのは関西支店
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Avoid these 8 Data-related Mistakes on Data Projects - insideBIGDATA
プロダクトの価値を最大化する「言語化筋トレ」のすすめ / "Verbalizing muscle training” to maximize the value of products
https://x.com/maxwell_110/status/1786925025809015227?s=12&t=BQyvwIbEpWHmQQ2WrI4qEw
MLOpsの「壁」を乗り越える、LINEヤフーの Data Quality as Code
LLMの現在 - Speaker Deck
