LLM-Ready なデータ基盤を高速に構築するための FlyWheel（改善サイクル） - pixiv inside
はじめに こんにちは。ucchi- です。普段は広告のデータを整えつつ、全社横断のデータ整備も行っています。 この記事では、以下 3 つのテーマについて紹介します。 データ分析を自律的に行う「LLM Agent」 LLM Agent の能力を最大限に引き出す「LLM-Ready なデータ基盤」 LLM-Ready なデータ基盤を高速に構築するための「FlyWheel（改善サイクル）」 LLM Agent は対話を通じてデータ分析を行う まず、この記事における「LLM Agent」を定義します。これはデータ分析を自律的に行う大規模言語モデルであり、以下のように動作します。 LLM Agent に問いを投げかける LLM Agent は問いを解釈し、SQLクエリの生成、実行、結果の可視化、解釈を行う そこから自律的に分析を深掘りしたり、追加のフィードバックを求めたりする 参考）Google C
A guide to ETL Testing
Get started with ETL Testing using this blog which is written based on real-world industry case studies and experience. Even though the above diagram is a bit of simplification, this is how most ETL workflows may look like. To put simply, ETL is an automated process to move data from source systems to target systems, involving various stages for Extract, Transform and Load sub-processes, without d
タイミーのデータモデリング事例と今後のチャレンジ
Data Modeling Night -「今」だからできる理論の実践事例 -(https://pixiv.connpass.com/event/358285/) の登壇資料
30分でわかる『アジャイルデータモデリング』
2025年2月14日 Forkwell Library #81 の登壇資料です https://forkwell.connpass.com/event/343084/
BigQueryでJSON文字列を攻略する関数たち - ドワンゴ教育サービス開発者ブログ
はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 ドワンゴ教育事業におけるデータアナリストは企画開発組織の一員としてKPI可視化やレポーティングなどをメイン業務としています。個人的には新たなサービスが生まれる瞬間のお仕事が一番好きで、「何の指標をみていくのか」「どんなデータが流れてくるのか」など少し上流の工程からデータの取り扱いを検討するとともに、既存のダッシュボードをバージョンアップする良い機会にしたり、新たなステークホルダーに対して良いデータ分析の提供を考えたりと、楽しい日々が続きます。 私たちドワンゴ教育事業では大学開学やR高の開校など大きなサービスリリースが予定されていますので、サービス環境の変化を楽しみながらやりがいをポジティブなパワーに変えていきたいと思っています！ 課題について（導入に代えて） 昨今、分析対象としてJSON文字列を取り扱うことが増えてきま
Stanで動かすベイズ的機械学習 ~医療費データの分析例~ - ENGINEERING BLOG ドコモ開発者ブログ
本記事は、ドコモアドベントカレンダー2024 19日目の記事です🎄 こんにちは！NTTドコモ クロステック開発部の畑元です。業務ではヘルスケア領域におけるデータ分析やAI開発を行っています。 この記事ではベイズ推論による機械学習とRStanを用いた分析例をご紹介します。データサイエンス分野の方には馴染みのある話かもしれませんが、私はよく忘れてしまうので頭の整理も兼ねて書いていこうと思います。 ※数式が崩れる方は、数式の上で右クリックして、Math Settings > Math Renderer > Common HTMLへ設定をご変更ください 1. はじめに 2. ベイズ推論について ベイズの定理 ベイズ推論 ベイズ的機械学習 3. 実際に動かしてみる 準備 探索的データ分析 ベイズ線形回帰 階層モデル 4. おわりに 参考書籍 1. はじめに 近年、AIに関する研究は急速に進歩し、あ
OSSなPython製ETLライブラリ「dlt」の紹介
dbt アドベントカレンダー 2024 11日目の記事です。 前置き 普段はdbt Cloudを使っていて、Google Cloud に BigQueryとLookerStudio な技術スタックで社内のデータ基盤を構築・運用しています。 データ基盤で扱うSourceの拡充をするため、ETL/ELT ツールをいくつも試してたどり着いたのが、dltというツールです。 世間では非エンジニアでも画面上でポチポチ設定をしていくだけで、簡単にELT パイプラインが構築できるサービスを使われている話をよく聞きます。エンジニアのいない組織でも、すぐに各種データを収集して分析を始められる点では重宝されるのでしょう。しかしながら、チームメンバーがエンジニア主体の我々にとって、コスト感覚がマッチしなかった、というのが正直なところです。(私だけ？) 各種SaaSのAPIやDB接続をイチから用意してELTパイプラ
いま、データに必要な解像度
Introduction of Mercari BI team and Case Studies of Analytics for Service in US
【dbt Best Practice】How we structure our dbt projects 2024年12月版
【dbt Best Practice】How we structure our dbt projects 2024年12月版 ハッピバースデートゥミ〜〜〜♪ハッピバースデートゥミ〜〜〜♪、ハッピバースデーディアわたし〜♪ ハッピバースデートゥミ〜〜〜♪ がく＠ちゅらデータ（50）です。 ついに天命を知ることになりました。天命ナニソレオイシイノ？ 昨年は、【dbt Best Practice】改めて、dbt Style Guide を読んでみる という記事を投稿しました。 今年は、また別のBest Practiceについて読んでみようと思いました。 この記事は、dbtアドベントカレンダー2024の12日目の記事です。 How we structure our dbt projects（dbtプロジェクトの構造） dbtプロジェクトの構造がなぜ重要なのか 人間が協働するためには、「一貫性があり
DagsterでTimeoutが起きた時に自動でリトライさせて面倒を減らした話 - RAKSUL TechBlog
この記事は ノバセル Advent Calendar 20日目です。 はじめに こんにちは。ノバセルでデータエンジニアをしている小川です。 DagsterのSensorを使ってTimeout時の自動リトライ機能を作成したためサンプルコードでその実装方法と利点を解説しようと思います。 背景 ノバセルでは、顧客が求めるデータ（リクエスト）に応じて、dbtで定義したデータモデルをDagster上でマテリアライズ（データ生成・変換・格納）しています。このフロー全体をDagsterで管理することで、スケジュール実行や状態管理、リトライ制御などを一元的に行っています。 大まかな処理は以下の流れです。 flowchart LR A([dbtでリクエストデータを表すモデルを作成]) --> B[リクエストデータ] C[外部データ] --> D([Dagster Jobで処理]) B --> D D -->
Evidence - Business Intelligence as Code
Professional Design Publication-quality visualizations designed for all device sizes Superior Performance Sub-second interaction time, even on millions of records Modern Dev Experience Build dashboards & reports in markdown, backed by version control and testing Professional Design Build polished data products Combine interactive data viz components to build responsive data products. Publish inter
DuckDB+Evidenceを駆使してISUCON14で21位になった話 - Gマイナー志向
2024年12月8日に開催されたISUCON14に「ウー馬場ーイーツ・ザ・ファイナル」として参加しました。最終スコアは29,386でした。実装言語はGoです。 こんなPostをしてましたがRustは採用しませんでした（今回は余裕がなかった）。 講談社サイエンティフィク様からのご厚意で書籍「RustによるWebアプリケーション開発」をご恵贈いただきました。早速読み進めてます。今年のISUCONはRustで決まりかー！？ #PR https://t.co/sOAcWEqE8P pic.twitter.com/cK7V6lPMQk— matsuu (@matsuu) 2024年10月8日 今年のチャレンジについて 我らがチームはISUCON開催のたびに新たなチャレンジ*1をしてるのですが、今回は以下の4つにチャレンジしました。 ログ解析の見直し 生成AIの導入 rustlsの導入 bpftune
センスの良いSQLを書く技術 達人エンジニアが実践している３５の原則
【どうすれば達人のようなコードが書けるのか？】 著書累計20万部超、データベース界の達人・ミック氏が、 「センスの良いSQLを書く技術」を身につけるための思考法や勉強法を大公開！ コーディングや設計を行う上で知っていると一生役に立つ、 SQLやRDBの理論や哲学をわかりやすく解説しています。 【達人が考えるセンスの良いSQLとは？】 目指すのは、無駄がなく、可読性が高いエレガントなSQLです。 メンテのしやすさ、パフォーマンスの良さにつながるからです。 本書では、エレガントでかつハイパフォーマンスなSQLを実現する技術として、 ・SQLの書きやすい順序 ・効率的なクエリの書き方 ・保守しやすいコード ・適切なインデックス戦略 ・実行計画の重要性 ・無限のスケーラビリティ 等を解説しています。 【本書の特徴】 １テーマごとに、まずサマリー＋イメージイラストで おおまかな内容を直感的につかめる
Ubieのデータ利活用を支えるデータ分析基盤
こんにちは、 Ubie でソフトウェアエンジニアをしている syu_cream です。 最近は社内のデータ分析基盤のリードなどをやっております。 本記事では、まさにそのデータ分析基盤について概要と技術的構成、今後について、最近の事情を踏まえながら紹介します。社内データ基盤に関わる開発・運用に関わるソフトウェアエンジニアの方や、分析ユースケースで利用するデータアナリストなど、社内のデータ分析環境に関わる人々にとって何か参考になる記事となれば幸いです。 Ubie のデータ分析基盤とは Ubie はデータの会社です。それは勝手に僕がそう名乗っている訳ではなく、社内でもそうした認識があり、事業を支えるコアにデータの蓄積と利活用があります。データ利活用のシーンとしては、データに基づく事業やプロダクトの方向性付けもありますし、もっと Ubie 特有事情で言うと「患者のジャーニーをデータで捉え、製薬企業
生成AIはデータサイエンティストの仕事を奪うか？ - NTT docomo Business Engineers' Blog
こんにちは。NTTコミュニケーションズでエバンジェリストをやっている西塚です。今日が10年目の結婚記念日です。 この記事は、NTT Communications Advent Calendar 2024 6日目の記事です。 情報通信白書によると、デジタルデータの活用が企業経営に対して効果があると複数の先行研究で明らかにされています。 ビッグデータを活用している企業はそうでない企業に比べて、イノベーションの創出が統計学的に有意な差で多いと言われています。 私自身もNTTコミュニケーションズにおいて全社データ基盤を立ち上げて、社内システムからデータを収集し、 データサイエンティストと協力しながら、蓄積された膨大なデータを活用してビジネス価値を生み出す取り組みを行ってきました。 さて、近年の生成AIブームに乗り、データサイエンティスト達は従来の機械学習・AI技術に加えて生成AIをデータ活用に利用
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Data Engineering Summitのアーカイブ一覧
Data Engineering Guide 2025 #data_summit_findy by @Kazaneya_PR / 20251106
30分でわかるデータ分析者のためのディメンショナルモデリング #datatechjp / 20250120
DuckDBを使ったシンプルで安価なデータマネジメント
[登壇レポート]Data Engineering Study # 27で2024年のModern Data Stackのアップデート情報を振り返ってきました #DataEngineeringStudy #01pN | DevelopersIO![[登壇レポート]Data Engineering Study # 27で2024年のModern Data Stackのアップデート情報を振り返ってきました #DataEngineeringStudy #01pN | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/037c7dab0c8618b98218ec468411269842ab8cd4/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2024-media.developers.io%2Fimage%2Fupload%2Fv1733788557%2Fuser-gen-eyecatch%2Flqsqdzdv4bla8iv9whhq.png)
