タグ

yuzutas0のブックマーク (2,368)

  • dataformのSCDパッケージとdbtのsnapshot機能を比較してみた

    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 こんにちは、風音屋 データエンジニアの妹尾です。 記事ではdataform の SCD パッケージと dbt の snapshot 機能を比較検証した内容をご紹介します。この記事は、BigQuery Advent Calendar 2023 の 15 日目の記事です。 dataform の SCD パッケージと dbt の snapshot 機能について 両者とも、 SCD(Slowly Changing Dimension) Type2 というデータの変更履歴を取得するための手法に則って実装されています。 データ分析をする上で、

    dataformのSCDパッケージとdbtのsnapshot機能を比較してみた
    yuzutas0
    yuzutas0 2023/12/27
  • GoogleスプレッドシートとGASで作る請求書作成・提出システム

    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 この記事は Google Apps Script Advent Calendar 2023の 20 日目の記事です。 風音屋の兼業エンジニアの樋口(@toiroakr)です。 風音屋は主にデータにまつわるコンサルティングを提供していますが、それに伴った業務効率化の支援も行っています。 そのため、社内での業務改善にも積極的に取り組んでいます。 この記事では、業務委託メンバーの請求作業とその支払フローの改善についての取り組みを紹介します。 課題 風音屋代表の yuzutas0 からある日飛んできた依頼 上の画像の依頼に加えてヒアリングを

    GoogleスプレッドシートとGASで作る請求書作成・提出システム
    yuzutas0
    yuzutas0 2023/12/21
  • データ品質の5つの分類と品質管理プロセス

    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋(@kazaneya_PR)アドバイザーの笹川です。 稿は datatech-jp Advent Calendar 2023 14日目の記事です。 稿では、データ活用において重要な概念である「データ品質」の分類と管理プロセスについて紹介します。 関係者がデータ品質の全体像を把握できる分類方法(「データ品質の5つの分類」) 5つの分類に沿ってデータ品質担保に向けた活動(テスト / 監視など)を整理するためのテンプレート データ品質の現状を把握し、継続的に改善するためのプロセス 一方、改善方法の具体例については、個別の事例やツ

    データ品質の5つの分類と品質管理プロセス
    yuzutas0
    yuzutas0 2023/12/18
    既存のドキュメントや解説記事だと「データ品質」をMECEに分類できていないように思いまして、改めて風音屋で全体像を整理してみました。
  • ディメンショナルモデリングでアクセス分析のファクトテーブルをどう設計するか

    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 こんにちは、風音屋 データエンジニアの妹尾です。 この記事は、datatech-jp Advent Calendar 2023 15 日目の記事です。 ディメンショナルモデリングを採用する場合、アクセスログやGA4のファクトテーブルは、どのように設計すれば良いのでしょうか。 この疑問について風音屋でディスカッションをしました。 記事では、ディスカッションした内容をご紹介します。 社内ディスカッションの様子 ディスカッションの様子 アドバイザーの皆様の協力もあり、課題を整理し、対応方針を洗い出すことができました。 @tvtg_24さ

    ディメンショナルモデリングでアクセス分析のファクトテーブルをどう設計するか
    yuzutas0
    yuzutas0 2023/12/17
  • Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う

    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 兼業エンジニアの “宮地克弥”(@int_tt) です。 データ分析基盤を構築するのに必要な不可欠なものとしてデータレイクが挙げられます。AWS を利用して構築する際には Amazon S3 の利用が推奨されています。 【公式参照】AWS 上でのデータレイク - Amazon S3 データレイクでデータサイロを排し、大規模で簡単な分析を可能にする Amazon S3 はデータレイク以外にも静的コンテンツ置き場として幅広い用途で利用されています。 安価かつ簡単に利用することが出来る一方、設定を 1 つ間違えると情報流出に繋がる

    Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う
    yuzutas0
    yuzutas0 2023/12/17
  • Snowparkとは何か? Snowpark for Pythonができること、できないこと

    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋アドバイザーの渡部徹太郎(@fetarodc) です。 Snowflakeを触っていると「Snowpark」という単語にちょくちょく遭遇することでしょう。 風音屋の社長も、取引先から「Snowparkって何なの?」「Snowparkってどうなの?」と聞かれることが増えているそうです。 このブログではSnowpark for Pythonができること、できないことを具体的に紹介することで、 皆さんのSnowparkに対する漠然としたイメージをシャープにします。 Snowparkとはなにか Snowparkはプログラミング言語の開

    Snowparkとは何か? Snowpark for Pythonができること、できないこと
    yuzutas0
    yuzutas0 2023/12/17
  • データ分析者の今後のキャリアと経済学の可能性|風音屋(かざねや)

    風音屋(@kazaneya_PR)の横山(@yuzutas0)です。先日「東京大学の特任研究員に就任した」というリリースを掲載したところ、各所からご連絡やご質問が寄せられました。データ分析を支援する風音屋にとって、今回の取り組みがどういう意味を持つのかご紹介できればと思います。 なお、この記事ではデータ分析を担う人材を総称してデータ分析者(データアナリスト)と呼ぶことにします。会社によってはデータサイエンティストやコンサルタントと呼ぶほうが適切な場合もあるでしょう。データを集計・加工・可視化するだけなら「分析」とは呼ばないといった意見もあるでしょう。各自で好きな名前に置き換えて読んでください。 データアナリストを取り巻く脅威便利なテクノロジーが日々台頭しており「他の人より少しだけBIツールに慣れている」「他部門のメンバーよりデータ集計に慣れている」というだけのジュニアなデータアナリストでは

    データ分析者の今後のキャリアと経済学の可能性|風音屋(かざねや)
    yuzutas0
    yuzutas0 2023/12/17
    書きました!
  • 2023サンフランシスコ出張報告 〜ダッシュボードが自動生成される時代に、 データ人材に求められる働き方を考える〜 #DataEngineeringStudy / 20231212

    Data Engineering Study #22 の登壇資料です。 https://forkwell.connpass.com/event/299633/ <採用・カジュアル面談> https://kazaneya.com/recruit <サービス提供> https://kazaneya.com/service

    2023サンフランシスコ出張報告 〜ダッシュボードが自動生成される時代に、 データ人材に求められる働き方を考える〜 #DataEngineeringStudy / 20231212
    yuzutas0
    yuzutas0 2023/12/13
    登壇資料を公開しました!
  • データ職種の課題図書リストを作りたい - 下町柚子黄昏記 by @yuzutas0

    この記事は datatech-jp Advent Calendar 2023 3日目の記事です。 背景・趣旨 筆者(@yuzutas0)は風音屋(@Kazaneya_PR)という会社を経営しており、データ職種の採用・育成に関心を持っています。 複数企業で少ない専門家を奪い合って疲弊するような採用活動ではなく、マーケット全体がより豊かになるような動き方はできないだろうかと模索しています。 1つの実験として、MENTAで「第2新卒が3ヶ月でデータ職種への転職を目指す講座」というトレーニングを提供し、ありがたいことに30名以上の方々に受講いただきました。 ちなみにこの講座は今では風音屋の社内研修になっています。 MENTAの受講者が30名を突破しました🎉 卒業生が風音屋に入社したり、スキルアップして「社内で提案が通るようになった」「現職で活躍できるようになった」という感想もいただいています。

    データ職種の課題図書リストを作りたい - 下町柚子黄昏記 by @yuzutas0
  • 統計学習の指導のために(先生向け)

    PDF形式のファイルをご覧いただく場合には、Adobe Readerが必要です。 Adobe Readerをお持ちでない方は、バナーのリンク先から無料ダウンロードしてください。

    yuzutas0
    yuzutas0 2023/12/03
  • Courses

    yuzutas0
    yuzutas0 2023/12/03
  • 「エンジニアのための「データ可視化」入門」 Data Engineering Study #12

    ▍プログラム 0:00 〜 待ち時間 9:06 〜 オープニング primeNumber 小林 寛和 / Forkwell 重 / ゆずたそ氏 16:03 〜 講演 ヤフー株式会社 データ統括部/サイエンス統括部/CDO管掌 駒宮 大己氏 「データをデザインすること」 38:47 〜 質疑応答 駒宮 大己氏 × ゆずたそ氏 52:38 〜 スポンサーLT Forkwell 森 1:04:40 〜 講演 Tableau Zen Master/日航空 我如古 聡志氏 「『Pre-Attentive Attribute』『ゲシュタルト法則』で考えるデータ視覚化と、その魅力」 1:28:05 〜 質疑応答 我如古 聡志氏 × ゆずたそ氏 1:38:25 〜 スポンサーLT primeNumber 小林 寛和 1:49:41 〜 講演 デジタル庁 / Digital Agency of Ja

    「エンジニアのための「データ可視化」入門」 Data Engineering Study #12
    yuzutas0
    yuzutas0 2023/12/03
  • 月30万円でデータ分析組織を立ち上げる支援パッケージ「Kazaneya Virtual Data Team」のベータ提供を開始します - 風音屋

    風音屋では、書籍『実践的データ基盤への処方箋』や『データマネジメントが30分でわかる』の著者である「ゆずたそ」(@yuzutas0)監修のもと、データ分析組織の立ち上げ・運用支援パッケージ「Kazaneya Virtual Data Team」のベータ提供を開始します。 Kazaneya Virtural Tea

    月30万円でデータ分析組織を立ち上げる支援パッケージ「Kazaneya Virtual Data Team」のベータ提供を開始します - 風音屋
    yuzutas0
    yuzutas0 2023/11/10
    100社のデータ経営を実現すべく、新規サービスを立ち上げます!
  • データ経営をスローガンで終わらせない──風音屋の7つのメソッド|風音屋(かざねや)

    風音屋(かざねや)広報です 最近、事業拡大に伴って採用活動を進めるなかで「会社の目指す方向性について聞きたい」という質問をたくさんもらうようになりました。そんな疑問に答えるために、改めて「100社のデータ経営を実現する」というビジョンや、そのために用いる「方法論」(メソッド)について書いてみたいと思います。 新入社員向けのオリエンテーションで話している内容をもとにしているので、風音屋に興味のある方にぜひとも読んでいただきたいです。また、自社でデータ経営を実現したい人にとっても、なにかしらヒントを持ち帰っていただけると幸いです。 データ経営の実現さて、企業現場で掲げられるコンセプトをいろいろ見てみると、「世界を変えるような製品を作る」、「抜的なイノベーションを生み出す」といった大上段のスローガンのような言葉が目立ちます。 もちろん革新的なアイデアも大切ですが、それと同じくらい「データを見て

    データ経営をスローガンで終わらせない──風音屋の7つのメソッド|風音屋(かざねや)
    yuzutas0
    yuzutas0 2023/11/02
    風音屋の目指す方向性として「100社のデータ経営を実現する」というビジョンや、そのために用いる方法論(メソッド)について紹介しています!
  • データ人材としてのキャリア像が見つかる? 風音屋の実践課題「K-DEC」の振り返り|風音屋(かざねや)

    こんにちは。風音屋データエンジニアの妹尾です。この記事では、風音屋の入社後の研修課題であるK-DECについて、私自身が取り組んだ経験を基に振り返りながらご紹介いたします。 想定読者風音屋の採用候補者の方 データ領域の人材で自分のキャリアに不安や悩みのある方 研修でどんなことをするのか、何を学べるのかイメージをつけていただければ幸いです。 K-DECは、実務を想定した課題でデータ領域を体系的に学べる内容なので、データ領域の人材として自分の目指すべき姿を見つけるヒントがたくさん詰まっています。自分のキャリアに不安や悩みのある方は、ぜひご一読いただいて、興味を持っていただけたらカジュアル面談へご応募いただけると嬉しいです。 K-DECについてまず、風音屋におけるK-DECの位置付けが、現在と私が取り組んだ時点とで違いがありますので、その補足説明をさせていただきます(詳しくはこちら)。 現在:入社

    データ人材としてのキャリア像が見つかる? 風音屋の実践課題「K-DEC」の振り返り|風音屋(かざねや)
    yuzutas0
    yuzutas0 2023/11/02
    風音屋の研修「K-DEC」の受講体験記です!
  • 風音屋の実践課題「K-DEC」を通してデータエンジニアとして成長した5ヶ月を振り返る|風音屋(かざねや)

    こんにちは、風音屋 データエンジニアの @hrkhjp です。 私は風音屋 代表 ゆずたそ(@yuzutas0)がMENTAで募集していた「第二新卒が3ヶ月でデータエンジニアへの転職を目指す講座」を受講し、これがきっかけで風音屋に入社しました。 そこで、講座の題材であった「K-DEC」について、各課題の内容と学びを振り返る形でご紹介したいと思います。 K-DECとMENTA講座についてK-DEC (Kazaneya Data Engineering Criterion) とは、風音屋によるデータエンジニアリングの実践課題です。K−DECは演習課題・ケース面談・インタビューの3つの課題で総合的なデータエンジニアリングの実力をはかる構成になっています。 K-DECは、過去には 入社時の選考課題 MENTA講座「第二新卒が3ヶ月でデータエンジニアへの転職を目指す講座」の題材 として位置付けられて

    風音屋の実践課題「K-DEC」を通してデータエンジニアとして成長した5ヶ月を振り返る|風音屋(かざねや)
    yuzutas0
    yuzutas0 2023/10/20
    風音屋の研修「K-DEC」の受講体験記を書いてもらいました!
  • データエンジニアリングの未来像を考える - Google Cloud Next '23 参加レポート(セッション紹介〜Recapディスカッション編)|風音屋(かざねや)

    風音屋(@Kazaneya_PR)のデータエンジニア 濱田(@hrkhjp) 、森岡、妹尾です。前回に引き続き、Google Cloud Next '23 の参加レポートをお送りします。 サンフランシスコの雰囲気などについては、前回の「Google Cloud Next '23 参加レポート(渡航準備〜現地報告編)」でご紹介しています。ご興味のある方はぜひこちらもご覧ください! 記事の前半では「セッション編」として、各自が参加したセッションから一部をピックアップしてご紹介します。後半では「Recapディスカッション編」として、Google Cloud Innovators Champion の1人 “ゆずたそ”(@yuzutas0)がプライベート勉強会で話した内容をお届けします。 【セッションピックアップ】<Day 1>What's new with BigQuery [1人目] "Wh

    データエンジニアリングの未来像を考える - Google Cloud Next '23 参加レポート(セッション紹介〜Recapディスカッション編)|風音屋(かざねや)
    yuzutas0
    yuzutas0 2023/10/08
    GenAIがダッシュボードを自動生成できるようになったときに、次の3年でデータ人材やデータテクノロジーが果たす役割について議論しました
  • 担当者の退職で Looker Studio のレポートが壊れてしまう問題への対処法

    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋の兼業データアナリスト、星野(@mochigenmai)です。 Google Workspace 利用者であれば、BI ツールとして Looker Studio を使う機会も増えてきたのではないでしょうか。 無料で簡単に利用でき、社内外に共有できる Looker Studio は、組織内の誰かが使い出すと、いつの間にか色々な場所で見かけるようになっています。 しかし、Looker Studio を大規模に利用していくと様々な問題に出くわします。 例えば、Looker Studio を利用していく中で「作成者の退職でレポートが壊

    担当者の退職で Looker Studio のレポートが壊れてしまう問題への対処法
    yuzutas0
    yuzutas0 2023/10/08
    LookerStudioの運用を改善するには!?ということで、風音屋TechBlogを久々に更新しました
  • Lookerライクな新興BIツールの比較検討

    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。 Looker の LookML は便利ですよね。LookML はデータモデリングを抽象化してコードによる管理を可能にし、利便性を向上させました。 LookML については Google Cloud の LookMLの紹介 で次のように説明されています。 LookML は SQL データベース内のディメンション、集計、計算、データの関係を記述するための言語です。Looker は LookML で記述されたモデルを使用して、特定のデータベースに対する SQL

    Lookerライクな新興BIツールの比較検討
    yuzutas0
    yuzutas0 2023/10/08
    Lookerのようにコード管理やデータモデリングを武器とするBIツールが次々と出てきているようなので風音屋でのリサーチ結果を公開しています
  • 風音屋TechTalk#4 ChatGPTを業務利用しているデータエンジニア3名の座談会 #kazaneya / 20230426

    風音屋TechTalk #4「ChatGPTを業務利用しているデータエンジニア3名の座談会」の登壇資料です。 https://kazaneya.connpass.com/event/281108/ 風音屋TechTalkは、風音屋(@kazaneya_PR)のクライアントや社員が気になっているテーマについて有識者から話を聞いたり、最近の取り組みやテクノロジーについてカジュアルに話す勉強会です。 第4弾となる今回は、風音屋のクライアントであるNE株式会社の熱田様、風音屋アドバイザーとして翻訳プロジェクトをリードしている打出さん、風音屋代表の横山(ゆずたそ)の3名でChatGPTの業務利用について話します。

    風音屋TechTalk#4 ChatGPTを業務利用しているデータエンジニア3名の座談会 #kazaneya / 20230426
    yuzutas0
    yuzutas0 2023/10/08
    風音屋のクライアントやアドバイザーをお招きして、LLMによるデータエンジニアリング活用の話と、Azureのシステム構成について話しました