はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤（@i_125）です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。 目次 はじめに 目次 背景 課題 データマートの乱立 集計定義のばらつき 依存関係の洗い出しが困難 データモデリングツールの比較検討 データ変換に関する要件 データモデリングツールの選定 レイヤリングによる責務の分離 実装方針 今後の展望 dbtモデルを開発する上で工夫したこと 環境の分離 背景 工夫したこと ダミーデータセットの生成 背景 工夫したこと SQLFluffを使ったフォーマット統一 依存モデルを含むテスト dbt Doc

小学校小6～中学1年まで極度に勉強ができなかった。 テストの問題文の理解ができなかったり、問題文の日本語は読めるが表現が気になってその所を何度も確認して先に進めず1問目以降白紙などもあった。 このような状態だと学校や集団塾では改善はしないだろうと感じたので、自分が勉強につきっきりになることにした。 幸い、私はある程度勉強はでき、中学レベルなら英国数ならほぼ満点はとれる。 まず、問題文を読んで頭がパンクしてしまうことに関しては、深く考えるとパンクしてしまうということなので、そのパンクの兆候がでたらその問題から離れる訓練をした。 日々の家庭学習で問題集をとかせ、それが発生しそうなら知らせてスキップする。 テストのときでも、損切して0点を防ぐ効果がでた。 そのあと、問題文でパンクする問題を一緒に説いて、問題文は何を求めているのか2人でじっくり考えるようにした。 そうすることで、問題文の表現のパタ

はじめに 34 歳のとき、勤めていた会社の経営が傾き早期退職を促されたのを契機に独立しました。その後、41 歳で Authleteオースリート 社を設立しました。諸般の事情で現在も Authlete 社の代表取締役という肩書きを持っていますが、経営者的な仕事は他の人に任せ (参照: シリコンバレーのプロフェッショナル CEO を迎えて米国市場に挑戦する日本のスタートアップの話)、50 歳目前の現在もプログラマとしてコードを書き続けています。 Authlete 社設立 (2015 年 9 月) から 8 年半弱経過したものの、まだまだ小さな会社で道半ばであるため、起業家として何か語るのは時期尚早ではあるものの、軽い体調不良が長引く中、『自分のエンジニアとしてキャリアを振り返ろう！』という記事投稿キャンペーンを見かけ、生きているうちに子供世代のエンジニアの方々に何か書き残しておこうと思い、文章

ケーブルが全部Type-Cだと！？　マネフォの「情シスが作ったオフィス」、実際に行ってきた【動画あり】：写真で見るITオフィス戦略【動画あり特別版】（1/3 ページ） コロナ禍が以前より落ち着きを見せ、出社を増やす企業も増えてきた。出社とリモートワークを使い分ける「ハイブリッドワーク」も普及し、IT業界の働き方は以前より柔軟になりつつある。しかし、オフィスの最適化が間に合わず「備品が足りない」「Web会議スペースが足りない」といった問題につながるなど、柔軟な働き方に対応し切れない企業も少なからず見られる。 一方で「総務ではなく、情シスに相当する部門がオフィス作りを手掛ける」という、一風変わった手によって、働き方の向上を目指す企業も存在する。マネーフォワードだ。同社は2023年3月にオフィスを増床。改築を手掛けたのは、総務ではなく情報システム部に当たる「CIO室」だ。 高野蓉功（ようこう）C

どんな企業にとってもデータは「資産」ですが、ユーザーとクライアントのマッチングを軸に事業を展開するリクルートにとっては、ビジネスを支える存在の一つです。 リクルートではサービスに関わるデータを収集・蓄積するデータ基盤を構築し、マッチングの精度向上を含むプロダクト改善などに活用してきました。例えばWebサイトの回遊状況を元にユーザーの興味や関心を推測してリコメンデーションを行ったり、検索結果を提供したりするなど、ユーザーとクライアント、双方が満足できるマッチング機会の創出に取り組んでいます。 このような取り組みにおいて、新しく生まれた価値のある情報を、より素早く活用していく「データの鮮度」は大事な要素になります。データの鮮度とは、すなわちリアルタイム性のこと。多様かつ膨大な量のデータを取り扱うビジネスでは、このリアルタイム性をいかに高められるかが、意思決定の精度や速度に直結します。 リクルー

子供の中学受験が終わった。結果的には子供の人生を良い方向に導く結果になったと感じているものの、それでもなお「何だったのか」と感じてしまう謎の儀式であった。 ほんとうに、中学受験とは何だったのか。 受験、それはいつのまにかやってくる そもそも僕も妻も地方の田んぼの隙間で育った田舎者であり、小学生で受験をするという発想すらなかった。むしろ小さな子供を受験勉強に追い込むことに愚かしさを感じていて、正直その気持ちは最後まで消えなかった。 なのになんで受験をすることになったかというと、もとを辿れば小2のときである。うちの近所には大手の受験塾が一つしかなく受験期から入ろうとしても満員で入れないというので、選択肢を残す意味で子供を入れた。この時点で入塾はあくまで「判断は保留」の意図だったわけだが、見落としていたことが一つあった。環境が人を作るのである。 ３年後、「受験で良い結果を残す！」という決意に満ち

ボードゲームやアクションゲーム、各種ツールやシミュレーションなどさまざまなソフトが100日間に作られた いままで数えきれないほどのプログラマーに会ってインタビューもさせてもらってきたが、久しぶりに若いプログラマーの話を聞いてきた。ここ1、2年では U22グランプリの男子中学生や全国小中学生プログラミング大会の受賞者たちだが、今回は、ChatGPTを使ってプログラムを書きまくった女子大生である。 彼女は X（Twitter）の自分のアカウントで1日1本のソフトを100日間連続で作るというイベントをやっていて「おっ、頑張っているな！」と思って応援していた。「こんなゲームを作ってほしい」などとリクエストを出したりもしていたのだが、どうも私が想像していたものと内容もやり方も違っていたようである。 目下、ソフトウェア産業の最大のテーマは「我々は人間の言葉でプログラムを書くようになるだろうか」というこ

ありがたいことに年末にメルカリの小泉さんとランチをご一緒させてもらいました。 CTO(@yutadayo)が作成した過去の失敗スライドに、リプライをいただいのがきっかけだったのですが、長らく競合事業(現ラクマ)をやっていたこともあり、きちんとお話ししたことがなく、とても学びが深かったので、ご本人に許可をいただいて、メモした内容と学びをシェアさせていただきます。 なんでメルカリに？噂ではフリルにも入社してもらえる可能性もあったとか？2007年よりミクシィに入社し、2012年の退任までCFOを務めていた その後、1年以上は他の会社の社外取締役をしたりフリーランスをしていた フリルは2012年夏リリース、メルカリは2013年春リリース 小泉さんは2013年冬にメルカリ入社 フリルのことは入社前から知っていて、2012年冬のIVSでコミュニティファクトリーの松本さんに「フリル知ってる？紹介してよ」

ドメインの変更は26日に実施。旧URLへアクセスしても自動的に新URLへ転送されるという。会社情報やサポートページなどは旧URLのままで、変更はないとしている。 関連記事 任天堂、「Newニンテンドー3DS」など3製品の修理受付を終了へ　部品は在庫限り 任天堂は13日、携帯ゲーム機「ニンテンドー2DS」「Newニンテンドー3DS」「Newニンテンドー3DS LL」の本体について、現在保有している部品在庫がなくなり次第、修理サービスを終了すると発表した。 3DSとWii U、オンラインプレイは4月9日で終了へ 任天堂は、ニンテンドー3DSとWii Uのソフトでのオンラインプレイなどのサービスを4月9日で終了すると発表した。 任天堂、被災した製品の無償修理を発表　保証書の有無問わず 任天堂は16日、令和6年能登半島地震により被災したゲーム機などの任天堂製品を無償修理すると発表した。 ゆうちょ銀

毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こうしたかというと、平たく言って 「初級＆中級向け」推薦書籍リストは定番化していて毎年あまり変更点がない 逆に直近のホットトピックスに関するテキストは毎年入れ替わりが激し過ぎて網羅しづらい という課題があり、特に2点目についてはあまりにもデータサイエンス関連書籍の新規刊行が多過ぎる＆僕自身がその流れについていけておらず完全に浦島太郎状態ですので、万人向けに等しくウケるようなリストを作るのは今回をもって完全に諦めたというのが実態です。 その上で、前回まで踏襲されていた定番書籍リストはバルクで提示すると

変化の激しい社会で成長を続けるため、新規事業の立ち上げに乗り出す企業が増えています。そんな中、タスクの進捗管理・日程調整・社内外との交渉など、多岐にわたる仕事を抱え、責任者としての重圧に悩んでいるプロジェクト担当者も多いのではないでしょうか。本記事では、DXサービスの新規事業を立ち上げた、エン・ジャパン株式会社の高橋淳也氏がゲストに登場。業務改善のためゼロからDXを勉強し、最終的にサービス化するまでに至った高橋氏が、プロジェクトマネジメントの課題を解決するヒントをお届けします。前編は、プロマネの仕事にまつわる誤解や、プロジェクトにおけるチームの重要性について語られました。 サイボウズ社員の4人に1人が受けた、人気のプロマネ勉強会 小林悠氏（以下、小林）：それではみなさま、こんにちは。「なぜプロジェクトは難しいのか ーチームで旅するプロジェクトマネジメントー」という40分間のセッションを始め

株式会社はてな フロントエンドエキスパート mizdra 1997年生まれ。2020年3月に電気通信大学情報理工学域Ⅰ類を卒業、4月に株式会社はてなに入社。2022年2月にフロントエンドエキスパートに就任し、チームの開発をリードしながらはてな社全体でのフロントエンド啓蒙活動を担う。HNの読みは「みずどら」。 X（Twitter） SpeakerDeck mizdra’s blog 技術や業界など仕事についての情報収集の基盤として多くのエンジニアを支えていたTwitter（現X）が、以前とは異なる姿となってゆく今、必要な情報を過不足なく収集しインプットする方法に悩みを持つ人も少なくありません。 「アフターTwitter時代の情報収集」と題したこの連載では、業界をリードする方々に、Twitterの変化によって普段の情報収集の方法がどう変わったか、欲しい情報を効率よく集めるために何をしているのか

職業柄、昔から人の「説明」を聞くことがとても多かった。 会社の現状、技術的な見解、商品のスペック、あるいは人の経歴についての話もあった。 そして、説明がとても上手な人もいれば、下手な人もいることを知った。 例えば、こんな具合だ。 「では、御社の事業説明をお願いします」 「わかりました、こちらが会社案内です」 「では、始めてください。」 「はい、では1ページ目をご覧ください。弊社の主要な株主は……全国に展開しており……事業所は……」 ……５分経過 「では次は、弊社の主要な事業です。おもに３つあり……」 「（退屈だな……後ろのページでも見ているか）」 ……５分経過 「次に今回お問い合わせの商品についてです……こちらの……」 「（その話はもうサイトで見たからいいよ……話ながいな……内職でもするか）」 ……５分経過 「以上となりますが、なにかご質問はありますか？」 「………いえ。」 例えば上のよう

はじめに この記事について 以下の記事を読んでわりと「うんうんわかるわかる」と思いながら読みましたが、50歳に至るまでの間にもうひとつ別の景色も見えてきていたので、そのあたりを一度言語化してみようという試みです。 note.com フルスタックとは 上記記事へのブコメには「フルスタック」と書きましたが、自分としてはあまりフルスタックと名乗りたくない、という気持ちはありまして、普段は「ウェブアプリケーションエンジニア」と自称しています。 ただ、今回は、元の記事に合わせるために本記事における「フルスタック」の定義を定めておきます。 以下の領域の技術を理解し使える インフラ アプリケーションが動作するサーバや協調するミドルウェア バックエンド サーバーサイドのアプリケーションに用いる言語やライブラリ フロントエンド クライアントサイドのアプリケーションに用いる言語やライブラリ すべてを理解してい

データモデリングでドメインを駆動する──分散／疎結合な基幹系システムに向けて 作者:杉本 啓技術評論社Amazon 著者の杉本啓様より献本いただきました。 「基幹システム」……よく考えると最近だんだんと聞く機会の減ってきたキーワードです。たまにメインフレーム上で動くCOBOLで組まれた基幹システムが負債になっている、といった比較的後ろ向きな話題の文脈で出てきて、あまり「攻めた」話題の文脈では出てこないイメージがあります。 本書は、この「そもそも基幹システムとは何か？」、その基幹システムの中心にある「帳簿」とはどんな役割を果たすのか？それらを支える「データモデル」はどのようなもので、どのような設計になるのか？といったことが、長年経営管理システムを作ってきた経験に裏打ちされた知識をもとに分かりやすく解説されます。 この手の、業務システムの設計の考え方、「要件に沿って設計する」以上の解説がなかな

業務効率化に一役買ってくれると話題の「ChatGPT」。 今や「大学生の4人に1人が就活でChatGPTを使っている」といったデータもあり、リリース当初はあまり興味のなかった方でも、最近は「自分の仕事でうまく使えたりしないかな？」なんて考える機会も増えてきたのではないでしょうか？ ただ、ChatGPTが作業をどこまで効率化してくれるのかはまだまだ未知数です。時間を食う資料の作成やExcelの集計作業などをまるっとお任せできたらうれしいけど、思うようなアウトプットが得られず手間が増えたら、本末転倒な気もしますよね。 それに、ChatGPTの生成データをめぐっては、権利関係や内容の中立性・正確性などの側面で一部懸念の声も挙がっています。業務内での利用を禁止する企業や、自身のコンテンツを「学習・流用」されないよう自衛措置を講じるクリエイターも存在します。使用にあたってのルールも、完全に整っている

今やる挑戦じゃねーだろってツッコミすき

はじめに 先日、AI系で日本で一番有名と言っても過言ではない、東京大学の松尾研究室のLLM 大規模言語モデル講座の資料が、非商用利用での二次利用可能という条件で無料公開された。