STEP2. アウトプットを実現するために必要なデータソースを書き出す アウトプットの整理ができたら、今度はインプットとなるデータソースの整理を行いましょう。 必要なデータソースは要件から読み解くことができます。 今回は「10代のユーザーの月間視聴数（性別 / 動画カテゴリごと）の推移をグラフで見たい」という要件です。 ここから、この分析に必要なエンティティ（実体）とその属性、集計値を抽出しましょう。 エンティティと属性 ユーザー 性別 年代 動画 カテゴリ 集計値 視聴数 これらのデータを管理するテーブルを、調査やヒアリングを実施して探します。 今回は以下のテーブルを使用することとします。 user：ユーザー登録に必須な入力項目を管理するテーブル user_profile：ユーザーが登録後に設定できる任意の入力項目を管理するテーブル video：ユーザーが投稿した動画を管理するテーブル

はじめに DMO（Data Management Office）でデータプラットフォームセクションを担当しています東條です。データプラットフォームセクションはOisixを中心としたデータ基盤の構築・整備を担当しています。このデータ基盤にはSnowflakeとdbtを使用しています。今回dbt-core v1.8.0で追加されたUnit testsを導入してわかったことを紹介していきます。 dbtのUnit testsとは まずは簡単にdbtのUnit testsを紹介します。dbtのUnit testsはソフトウェア開発において実施されるユニットテストをdbtでも実現できるようにしたものです。dbtの1つのmodelをソフトウェアの最小単位としてとらえて、入力データと期待されるデータを準備します。入力データをテスト対象のmodelが処理し、その出力結果と期待されるデータを比較し検証すること

軍事スパイと言えば、多くの人が容姿端麗なイケメンか、もしくはアニメ『ルパン三世』の峰不二子のような、才気あふれる美女を思い浮かべるだろうか。 華麗な社交術で人をリードし惹きつける、魅力的な紳士淑女だ。 ジェームス・ボンドで知られる映画007（ダブルオーセブン）ではまさにそんな世界が繰り広げられるが、しかしそんなイメージはもちろん虚構でしかない。 隠密に活動しなければならない存在なのに、華やかに目立ってしまっては仕事にならないのだから当然だろう。 無能な凡人を装い、敵から警戒すらされない存在になることが求められる。 それでいて洞察力、敵味方を見分ける嗅覚、恐怖を克服する胆力など、あらゆる能力に秀でていなければならない。 超人的に優秀でありながら、虚栄心を抑え込む心の強さが必要ということである。 そしてそんな凄いスパイが、日露戦争（1904－1905年）の時の日本にもいた。明石元二郎という。

Bill One Entry*1の秋山です。 本題へ入る前にお知らせです。12/23、TypeScript を活用した型安全なチーム開発をテーマにイベントを開催します。弊社社員のうち、TypeScript を日々の開発で活用しているメンバーが登壇します。ぜひお気軽にご参加ください。 sansan.connpass.com はじめに モジュラーモノリスとは 保守性が低いとビジネスに悪影響を与える 技術的負債と開発生産性 コード品質とビジネス影響 モジュール分割の方針 方針１：モジュールにDBテーブルを専有させる 補遺：モジュラーモノリスとNoSQL 方針２：モジュール内をレイヤードアーキテクチャとして構成する 方針３：ESLint ルールによって実現する TypeScript 開発にモジュラーモノリスを持ち込む ステップ１：単一のエイリアスを設定する ステップ２：ESLint ルールを設定す

先日、9月末の株主総会にて、4年半勤めたスターフェスティバルの取締役CTOを任期満了で退任し、3度目のCTOキャリアを終えました。 (直接ご挨拶できていない方もたくさんいるのですが… この場を借りてご報告させていただきます… スタフェスCTOとして大変お世話になりました。引き続きよろしくお願いします。) n回目、みたいな話に関しては、別に多い方が良いみたいなことではないので(むしろ1つの会社でCTOをやり続けている先輩などは、めちゃくちゃ尊敬している)、それ自体がどうって話ではないのだけれど、昨年 P2BCTO の LT で話した通り、様々なタイプの組織でCTOを経験をすることによって得られるものや自分自身に積み上がるものを実感したので、今日時点での自分の考えをアウトプットしておくことにしました。 なお、ver.2015 はコレで、まあ、あれから10年弱たったところ、という感じなのですが、

Find unused files, dependencies and exports in JavaScript and TypeScript projects

この記事では、「アジャイルはウォーターフォール時代の何を反省するのか」「アジャイルで何が改善するのか」について、個人的な考えを説明します 極端なことを言っている部分はあるので、誤解している箇所や異論があれば、やさしくコメントで教えていただければ幸いです 言いたいこと 「ウォーターフォール＝諸悪の根源」というのは誤解で、問題は請負契約にある 請負契約で「顧客の真の要望が実現されない」のは当然、インセンティブ設計がおかしい 日本版のアジャイルソフトウェア開発宣言には「外注よりも内製を」と書くべき 競争に勝つためには内製化は進む(でも内製化はとても難しい) ベンダーへ「君はアジャイルをやるか迷える立場じゃないよ」 目次 用語 ウォーターフォールは本当に諸悪の根源か？ 「ウォーターフォール＝諸悪の根源」という誤解 問題の原因は請負契約 なぜ請負契約は失敗しやすいのか？ ベンダーは「システム開発だけ

はじめに こんにちは、ソーシャルベッティング事業本部 海外ベッティング事業部の山崎です。 本記事では、Effective GoやGoogle のスタイルガイド、Code Review Commentsといった公式資料、Future Architectの記事などを参考に、Go を初めて触る開発者を対象にした汎用的なレビューコメントの 20 選を紹介します。 大きく以下の４つのセクションに分けました 言語仕様に関わる内容 標準パッケージの使い方 エラーの扱い方 単体テスト Linter の活用について 可能な限り lint で自動化して人の手が加わる前に静的解析でできればベターです。 特にこの記事で紹介するような汎用的なコメントについてはいくつか反映できる lint もあると認知しております。 そのような設定の lint config サンプルをまとめようとも思いましたが、実際に運用まで至って

SREチームの長田です。 皆さんは操作するAWSアカウントを取り違えたことはありますか？ 私はあります。 カヤックのSREは複数のプロダクトを担当することも多く、 ひとつのプロダクトでも環境(本番、ステージング、開発、etc.)ごとにAWSアカウントを分ける場合があり、 扱わなければならないAWSアカウントが多くなる傾向にあります *1。 今回はうっかり別のアカウントのリソースを削除してしまったーといったオペレーションミスを減らすために個人的に行っている、 「気をつける」以外の対策を紹介します。 間違いに気づくための対策 対象のアカウントが操作の対象として正しいかどうかは、結局は操作している本人にしか分かりません *2。 そのため、「アカウント取り違え自体をなくす」のではなく、 「アカウントを取り違えていることに気づきやすくする」ための対策をしています。 AWSコンソール用の対策 AWSコ

成人発達理論というジャンルがある。ここ半年くらいハマって調べていた。ここ数年の自分の変遷にピタリと当てはまっていてずいぶんと面白かった。 この「発達段階」というものがいわゆる「視座」にかなり近い概念なのではないかと思い、今日は紹介してみる。スライドも作ったのでスライドが好きな人はコチラもどうぞ 視野・視座・視点ずっといまいち意味がわからなかったのだが、成人発達理論を学んだ結果、「視座」という単語の意味が自然と理解できるようになった。 学んだ結果として得られた言葉の意味は「自身の価値観から離れ、より広い対象を主語にして見る俯瞰的な観点」という非常にメタなものであった。視座が上がるとは ✕ : 「見えるものが広がる」というシンプルな変化 ◯: 不可逆な思考パラダイムの遷移 であり、「前の自分を失う」ような要素を含むのではないかと思う。抽象的すぎるので詳しく見ていこう。 成人発達理論とは簡単にい

こんにちは。ダイニーのPM @takashi です。 みなさんは、社内からのプロダクト仕様質問などが多くて困っているなどはないでしょうか？ ダイニーでは、日々、顧客からの質問も含めて、プロダクトに関する詳細な仕様質問や、データ不備や不具合の調査依頼など様々な質問が寄せられています。 また、ダイニーは、導入店舗数が増えたり、新入社員が増えた時、営業が商談・サクセス活動のために顧客と接触を増やした時など、事業が大きくなるほど質問が増える構造となっており、対応が大変になっています。 基本的には、PMが回答する仕組みにしているのですが、件数が多く時間を取られてしまい、本来の企画等に割ける時間が減ってしまっている課題があったので、改善に取り組みました。 前提ダイニーでは、Slackに気軽にプロダクト関連の質問をできるチャンネルがあり、Slack Workflow を使って、フォームから質問できるよう

エンジニアの評価シートは、業績やスキルを正確に測定し、エンジニアの成長を促すための重要な資料です。技術スキルだけでなく、プロジェクトへの貢献度や問題解決能力など、多角的な視点で評価することが求められます。 一方、評価基準が多岐にわたることから「エンジニア向けの評価シートの作成方法がわからない」「そもそも評価制度が確立しておらず、ゼロから制度を見直したい」と悩む方も多いのではないでしょうか。 本記事では、エンジニア向け評価シートの無料サンプルを配布します。加えて、評価制度の構築手順や評価シートの書き方も詳しく解説するので、ぜひ最後までお読みください。 エンジニアの評価シートを簡単に作れるツール「NotePM」 【基礎知識まとめ】エンジニアの評価制度とは？ エンジニアの評価制度とは、エンジニアの業績や能力を体系的に測定・評価するシステムのことです。この制度では、技術スキルやプロジェクトでの貢献

Wi-Fiの電波を可視化して「波」にして表示し、ルーターからどれくらいの距離まで電波が届くのかをシミュレートする「Wifi Solver」が公開されていたのでシミュレートしてみました。 WiFi Solver | WiFi Solver https://help.wifi-solver.com/ WiFi Solverの元になった理論は2014年に考案されていて、2015年には理論を元に構築したアプリ「WiFi Solver FDTD」が登場していました。今回登場したWiFi SolverはWiFi Solver FDTDを再構築してブラウザに移植したものです。 自宅でWi-Fiの電波がどのように拡散していくのかをシミュレーションできる「WiFi Solver FDTD」レビュー - GIGAZINE WiFi SolverはWebGPU APIをベースに作られているため、WebGPU A

こんにちは、Platform Team の荒引 (@a_bicky) です。前回は続・何でも屋になっている SRE 的なチームから責務を分離するまでの道のり 〜新設チームでオンコール体制を構築するまで〜という話を書いたんですが、今回は Repro の運用に 7 年以上携わる中で私が遭遇して印象的だった Aurora MySQL 絡みのトラブルについて紹介します。 Aurora MySQL が詰まってデータ処理のスループットが下がるとか、API のレスポンスが遅くなるとか、ALTER TABLE する度にアプリケーションエラーが発生するとか、胃が痛くなる胸が熱くなる話が多いので、Aurora MySQL を利用していなくても楽しんでいただけるのではないかと思います。Aurora MySQL を利用している方であれば参考になる情報もあるでしょうし、通常の MySQL にも適用可能な話もあります

ちょっぴりDiveDeepするAWSの時間 AWS Dev Day 2023 Tokyo 延長戦 実践データ移行 〜はてなダイアリーや魔法のiらんどの事例と共に〜

8つのデータ系ツール「BigQuery」「Databricks」「dbt」「Fivetran」「Lightdash」「Looker」「Snowflake」「TROCCOⓇ」に39社からご寄稿頂いたレビューから、各社のデータアーキテクチャをまとめた記事です。各社の技術選定の背景や工夫などの知見を得ていただく場となれば幸いです。 ※ツール名・ご寄稿企業名共にアルファベット順で掲載しております BigQueryBigQuery は、Google Cloud の費用対効果に優れたフルマネージド型の分析データ ウェアハウスです。ペタバイト規模に対応しており、膨大な量のデータに対してほぼリアルタイムで分析を行うことができます。 ▼BigQueryとは？機能や特徴・製品の概要まとめページはこちら https://findy-tools.io/products/bigquery/49 ▼Findy Too

この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint" の 60 週目の記事です！2年間連続達成まで 残り 46 週 となりました！ 「モジュラーモノリス」はここ数年で広く普及してきました。実際にモジュラーモノリスを取り入れた開発事例を多く見かけるようになりました。当記事では改めてモジュラーモノリスの起源を遡り、また、さらにその先に進むためにどのような準備をしておくべきかを軽くまとめてみます。 モジュラーモノリスとは モジュラーモノリスの起源は 2018 年頃 「モジュラーモノリス」という言葉の正確な起源は把握していませんが、Simon Brown が GOTO Conference 2018 で行った講演がその起源の一つかもしれません。この講演は、モジュラーモノリスの概念をわかりやすく説明しており、その後、多くの企業がこれに注目するきっかけとなりま

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「MoGG」という手法について、ざっくり理解します。 この記事は何 この記事は、社内用語が多く含まれるドキュメントでもRAGの性能を高くするための手法「MoGG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー MoGG（Mix-of-Granularity-Graph）は、RAGの精度を上げるための、新しいチャンク分割の手法です。MoGGでは、チャンクとグラフ構造を上手く組み合わせることで、専門用語・社内用語が多いドキュメントでも回答精度を向上させることができます。上海人工知能研究所と北京航空

はじめに こんばんは！ 皆さんは以下のようなすぐ消えてしまう要素をDevToolsで確認したいときはどうしますか？ 常に表示されるようにわざわざコードを修正してから、DevToolsで要素を確認したりしていませんか？DevToolsをうまく使うことで、わざわざコードの修正をせずとも簡単に要素の確認をできるのでそのちょっとしたTipsのご紹介です！ ① CSSイベントでの確認方法 まずはCSSイベントで要素の表示制御を行っているパターンでの確認方法です。以下のようにCSSイベントのhoverで表示制御をしている要素を例にDevToolsで確認する方法を見ていきましょう！ import "./style.css"; export const Index = () => { return ( <div> <button className="myButton">Button</button> <

たますけ @HUTACHAN_twins ただ毎日を楽しく過ごしたいだけの人｜週１映画｜３年後🇺🇸｜英語 | ジェスドロ | 俳句 | INFP-T ｜ALPHAZ instagram.com/tamasuke_365?i… たますけ @HUTACHAN_twins 子を持つ親なら、絶対に読んでおいたほうがいい気がして、手に取ってみたら、めっちゃ良書だったんだが…！ 子どもに言ってはいけない言葉、またはその逆の言葉をまとめた本は山ほどあるけど、犯罪事例を切り口にしている点が新しすぎる。 この本では、問題のある言葉をかけられた子どもが→ pic.x.com/y0h2eqcfjg