dbt 開発で使える SQL スタイルガイドを導入した話
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 兼業データアナリストの星野（@mochigenmai）です。 この記事では dbt 開発で使える SQL スタイルガイドを導入した話について紹介します。 SQL スタイルガイドを導入した背景 現在 dbt を利用したデータパイプライン開発が活発になってきています。 データパイプラインは「信頼性の高い分析」を効率的かつ迅速に実現するために構築します。 そのため、データの信頼性を担保する仕組みは積極的に導入したほうが良いと考えられます。 今回は以下のような点でデータの信頼性を担保できると考え、 dbt 開発環境に SQLFluff (L
BigQueryのセキュリティ対策手順
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋アドバイザーの山田雄（@nii_yan）です。 データ活用においてセキュリティ対策が最重要トピックであることは言うまでもありません。 風音屋でBigQueryの導入支援を行うにあたって、どのようなセキュリティ対策を行っているのかをご紹介します。 この記事の全体像 この記事は2つのパートに分かれています。 最初に、BigQuery導入プロジェクトを始めるにあたって、セキュリティ観点でどのようなコミュニケーションが必要になるかを説明します。 次に、一般的な情報セキュリティ対策である「抑止」「予防」「検知」「回復」の4つの観点にもと
データマネジメント・データエンジニアリング特化の「技術顧問」サービスを提供開始
合同会社風音屋（本社：東京都中央区、代表社員：横山翔）は、データ活用やDX推進に関わる方々を対象に、データマネジメントやデータエンジニアリングに特化した「技術顧問」サービスの一般提供を開始します。 ■背景と目的 データ活用やDXが注目されている一方で、実際にプロジェクトを進めようとすると「必要なデータが入力されていない」「用途を実現できるほどデータ品質が高くない」「具体的にどのようにデータを連携するのか分からない」といった課題が次々と浮上します。 さらに、データ整備に投資をしても「コンサルティング会社や開発ベンダーに任せたがデータ更新が遅延してばかりで改善の兆しがない」「フリーランスのデータエンジニアにシステム構築をお願いしたが、作り逃げされてしまって、残されたシステムの運用に困っている」「内製エンジニア部隊を立ち上げたが、社内にスキルを評価できる管理職がいない」といった組織課題が次々と浮
Looker活用によるバイモーダルITの実現 - 下町柚子黄昏記 by @yuzutas0
Looker Advent Calendar 2020 2日目の記事です。 この記事ではLookerの活用例を紹介します。 免責事項 正確にはLookerそのものに関する話ではなく「Lookerを含めて様々なツールを組み合わせることでビジネスを加速させようぜ！」という話です。 本稿は筆者個人の見解であり、所属組織を代表するものではありません。不適切・考慮不足だと感じさせてしまう点があれば、それは筆者個人の責任によるものですので、どうぞ筆者個人宛てにご指摘のコメントをいただけますと幸いです。 ランチ返上の突貫執筆なので気が向いたときに手直しします。 誰？ はじめまして。 ゆずたそ (@yuzutas0) と申します。 『データマネジメントが30分でわかる本』 という本の著者です。 筆者が関わっているFinTechベンチャーでは「金融事業としての品質」「ベンチャーとしてのスピード」の両立が求め
「DWH・BIツールのこれまでとこれから」Data Engineering Study #1イベントレポート | TROCCO®(トロッコ)
データ基盤人材への需要が年々増えていることからも、企業のデータ活用はより注目を集めています。しかしゆずたそ氏によると、そこには「そもそもどのような基盤を作ればいいのか分からない」「基盤を作ったのに全然使われない」という2つの落とし穴があるそうです。そこで、実際に使われるデータ基盤の構築について、「使われるデータ基盤」構築の勘所を学ぶことをゴールに「なぜ作るのか（Why）」「どんな要素が必要なのか（What）」「どのように実現するのか（How）」の3つに分けて語られました。 ゆずたそ氏：「まずなぜ作るのか、この答えの1つは『お客様』のためです。特にレコメンドやAI活用が増えていく中でデータを活用すること自体が顧客の価値提供になっていきます。もう1つは『現場で働く人』のためです。しっかりとデータを見ながら現場の改善活動によって、業務が磨かれていきます。そして『経営』のためです。しっかり会社全体
Data Engineering Study #1「DWH・BIツールのこれまでとこれから」 (2020/07/15 19:30〜)
参加方法 今回のオンライン勉強会は YouTube Live を使用してライブ配信いたします。 また、コメントや感想は Twitter、講演内容に関する質問は Slido へお願いいたします。 下記、各種URLよりご参加くださいませ！ ▍イベント視聴用 YouTube Live URL - https://youtu.be/hFYNuuAaiTg ▍質疑応答用 Slido URL - https://sli.do/DataEngineeringStudy ▍ギフト券プレゼントキャンペーン参加用Tweetリンク - https://twitter.com/intent/tweet?hashtags=DataEngineeringStudy,今一番気になっているDWH・BIツール ライブ配信終了後、アーカイブ動画の公開を予定しております。 当日の開催時間にライブ参加できない方も、こちらのページ
【TROCCO®︎体験記 第1回】TROCCO®︎を使ってみた by yuzutas0（ゆずたそ）
以前 DLG Cross というイベントで「データマネジメントなき経営は、破綻する」という講演を行ったところ、とある企業様から「法人営業部のDX（デジタルトランスフォーメーション）を手伝ってほしい」と相談を受け、業務フローの見直しやデータ整備を支援しています。 営業データはこれまで十分に使えていなかったため、新規のデータ連携になります。同社のソフトウェアエンジニア（A氏）に社内調整を進めていただきました。本番データにいきなりアクセスするのは怖いので、トライアル的に行いましょうという会話になりました。 なお、今回の作業を進めるに当たって、primeNumberのCPOである小林さん（@hiro_koba_jp）とembulk-input-kintone開発者である@giwaさんにサポートいただきました。 kintoneの準備 TROCCOの画面を開く前に、kintoneでダミーAppを作成し
データ基盤を改善するアルバイトを募集中です - 下町柚子黄昏記 by @yuzutas0
データ基盤を改善するSREのアルバイトを募集中です。 春休みにひと稼ぎしたい・腕試しをしたい学生さんなど、お知り合いにいましたらぜひご紹介頂けると有難いです。 <仕事の魅力> こちらのエントリーをご参照ください！ yuzutas0.hatenablog.com <募集概要> 【想定対象】 データ基盤に興味のある学生エンジニア 【テーマ】 課題発見・解決型（SRE） 【仕事の流れ】 データ基盤チームの抱えるシステム課題（Problemチケット）から挑戦したいものを1つ選ぶ（もしくは起案する） 関係者ヒアリングや技術調査を行い、改善案・設計の叩き台を作る ホワイトボードで設計ディスカッション → TODOを洗い出す TODOを捌いてProblemを解決する 成果をまとめて社内勉強会でプレゼンテーションする（可能であれば外部登壇などもご相談） 【技術環境】 開発言語: Python, Node.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ基盤を支える民主化とサービスレベル #shinjukugl // Speaker Deck