神戸市さん、データ利活用しすぎ……またまたやってくれました！ 無料で誰でも使える「統計ダッシュボード」拡充。新たに「日本の地域別将来推計人口」と「住民基本台帳人口移動報告」を公開【地図と位置情報】
Dive deep into security management: The Data on EKS Platform | Amazon Web Services
AWS Big Data Blog Dive deep into security management: The Data on EKS Platform The construction of big data applications based on open source software has become increasingly uncomplicated since the advent of projects like Data on EKS, an open source project from AWS to provide blueprints for building data and machine learning (ML) applications on Amazon Elastic Kubernetes Service (Amazon EKS). In
dbt 入門
dbt（data build tool）というアナリティクスエンジニアがデータ変換をデータウェアハウス（DW）でかんたんに行うためのツールについての本です。 dbt はいわゆる ELT（Extract, Load, Transform）の T を担当するツールで、データがすでに DW にロードされてる状況で使います。 いわゆるモダンデータスタック（MDS）を構成する技術スタックの一部に挙げられることが多くなってきています。 また dbt はアドホックなコードでカオスに陥ってしまいがちなアナリティクスエンジニアが、バージョン管理や CI などのメリットを享受しソフトウェアエンジニアのように働くための一助にもなり得るツールです。
『LeanとDevOpsの科学』をきちんと解読する 〜Four Keys だけじゃ絶対もったいなくなる話〜
スクラムフェス福岡2024での講演資料です。 --- 皆さん、職場でFour Keysを導入していますか？ Yesと答えた皆さん、『LeanとDevOpsの科学』は読みましたか？ あくまで僕の周囲のみの観測で語るのですが、Four Keysを職場で導入しているという人はとても多いのですが、そのうち、出典である『LeanとDevOpsの科学』をきちんと読んだ人はかなり少ないようです。 そして、ここで敢えて強めの主張をするのですが 『LeanとDevOpsの科学』を読まずにFour Keysをきちんと利用することはほぼ不可能です。 Forsgrenらは徹底した研究の結果として4つのメトリクス（指標）を見出すのですが、その裏には彼女らの沢山の思いが詰まっています。その思いや彼女らの思考を理解し、彼女らの考えをきちんとトレースして始めて、Four Keysは意味を持ちます。 そして『LeanとDe
[レポート] 『Data Engineering Study #23 Data orchestration 特集』 #DataEngineeringStudy | DevelopersIO
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 データ分析に於いて、「データオーケストレーション(Data orchestration)」という分野、カテゴリが存在します。端的に言うと「サイロ化されたデータを複数のストレージから一元化されたリポジトリに移動させ、そこで結合、クリーニング、エンリッチ化し、アクティブ化（ビジネス・インテリジェンス・ツールでのレポート作成など）するプロセス」(端的じゃなかった...) という定義となるのですが、2024年03月05日(火)に開催された『Data Engineering Study #23』にてこの「データオーケストレーション(Data orchestration)」を特集するということでイベントに参加(オンライン視聴)しました。 当エントリでは、その参加(視聴)内容についてざっくりではありますがレポ
![[レポート] 『Data Engineering Study #23 Data orchestration 特集』 #DataEngineeringStudy | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5b3b596d5f14f08f5d17d2a8dc9e2fa0dc0823d5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F03%2Fdata-engineering-study-23_1200x630.jpeg)
ワークフローオーケストレーション入門
「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/
dbt導入によるデータマート整備 - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤（@i_125）です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。 目次 はじめに 目次 背景 課題 データマートの乱立 集計定義のばらつき 依存関係の洗い出しが困難 データモデリングツールの比較検討 データ変換に関する要件 データモデリングツールの選定 レイヤリングによる責務の分離 実装方針 今後の展望 dbtモデルを開発する上で工夫したこと 環境の分離 背景 工夫したこと ダミーデータセットの生成 背景 工夫したこと SQLFluffを使ったフォーマット統一 依存モデルを含むテスト dbt Doc
24時間365日動き続けるデータシステムの設計手法 : 「データ指向アプリケーションデザイン」実践編
「データ指向アプリケーションデザイン」をベースに、24時間365日動き続けるデータシステムを実装する際に必要となる技術や考え方を紹介します。 この資料は、2023年大阪大学大学院 情報科学科 マルテメディア工学特別講義で使われた資料を一般用に修正して公開しています。 参考： 「30分でわかるデータベースデザイン」https://speakerdeck.com/xerial/30fen-dewakarudetazhi-xiang-apurikesiyondezain-data-engineering-study-number-18
日本の空き家問題を考える 2040年 空き家数全国予測マップ - 住まいの問題 - NHK みんなでプラス
日本の空き家問題は新たなフェーズに突入しようとしています。 これまで人口減少が続く「地方の過疎地」の問題とされてきましたが、近年は県庁所在地などの都市部や大都市圏でも空き家が急増。そして団塊世代が平均寿命を超過し、多くの相続問題が発生する2040年に向けては、更に拍車がかかるといわれています。 今回NHKでは、明治大学の野澤千絵教授に協力を依頼。「2040年空き家数予測マップ」を作成し空き家問題の未来を可視化しました。分かってきたのは、いわゆる「人気の町」「人気のエリア」であっても空き家問題からは逃れられないという深刻な現実。 あなたの町、あなたの実家のある町は大丈夫ですか!? 必見のデータマップです。 野澤千絵さん / 明治大学政治経済学部教授 国土交通省の審議会委員 現場を訪ねデータ解析も用いて空き家や土地政策を研究 マップを見るポイント ―今回の2040年空き家予測マップの特筆すべき
Four Keysだけじゃない開発者生産性フレームワーク
本記事は株式会社ログラス Productチーム Advent Calendar 2022の20日目の記事になります。 昨日はtkamaiさんのto B SaaS企業を2社経験して感じた、プロダクトマネージャーに大切なことでした。 はじめに 昨今、開発生産性や開発者体験、Four Keys(DORA Metrics)にDeveloper Productivity Engineering(DPE)などの言葉を耳にする機会が少しづつ増えてきたように思います。 生産性可視化・改善の動きは弊社でも強まってきており、先月11月からログラス開発組織初のnot フィーチャーチーム、チームトポロジーで言う所のイネーブルメントチームが誕生しました。 私は上述のイネーブルメントチームの中で、特に開発生産性・体験の向上を役割として持つことになったため、開発生産性は個人的にもホットトピックです。 様々な企業の取り組
Four Keysを用いた改善活動のアンチパターンと、本質的な改善のために必要な「なぜ？」 - Agile Journey
Agile Journeyをご覧のみなさん、はじめまして。株式会社リンクアンドモチベーションの川津（@KawatsuYusuke）です。こちらの記事では主に私たちがFour Keys メトリクスを元に、開発生産性向上を目指した活動に関する話題についてお伝えします。 と言っても、『LeanとDevOpsの科学』をはじめ、Four Keysの運用に関するトピックはすでに多く語られています。また、Four Keysは便利なメトリクスであるがゆえに、ときに「Four Keysを改善する」という手段が目的化してしまうことがあります。本稿では主にこれから開発生産性向上に取り組もうとしている方に向けて、私たちの取り組みと、体験したアンチパターンをもとに、「Four Keys改善の取り組みには "なぜ？" が大事」についてお伝えします。 私たちの開発生産性向上のはじまりと、目指すべき状態の設定 Four
キャンベルの法則： 指標への執着がもたらす負の側面
組織が他のすべてを犠牲にして指標の最適化を行うと、自らを指標不正の危険にさらすことになる。そして、最終的には、Facebookのスキャンダルが示すように、ユーザーを裏切り、ビジネス目標を達成できなくなる恐れがある。 Campbell’s Law: The Dark Side of Metric Fixation by Page Laubheimer and Kate Moran on November 7, 2021 日本語版2022年5月17日公開 ビジネスで最も誤って引用される言葉の1つに、「測定できないものは管理できない」というものがある。この言葉（およびその言い換え）は、何かを改善するためには、それをとらえる正確な指標が1つ必要であり、改善のための努力が効果的かどうかを知るためにその指標を追跡する必要がある、という意味であることが多い。 興味深いのは、この「引用」が実際には元の言葉
メルカリ社員、男女の賃金に37%の格差。職種・グレード同じ男女に｢説明できない｣差が生じた理由
平均賃金に男女で37.5%の差があるということは、女性社員の収入は男性の約6割ということだ。 その要因の｢一例｣としてメルカリCHROの木下達夫氏は、給与水準が高いエンジニア職に男性が多いこと、また、女性が多い職種であるカスタマーサービスは福岡県など地方に拠点があり、東京基準ではなく現地で競争力がある報酬水準に設定しているためだと説明した。 メルカリの女性管理職比率は20.4%だが、管理職手当を出していないため女性管理職の少なさは平均賃金の差には関係ないとする一方で、｢高いグレード（等級）に女性が少なく、課題に思っている｣（木下さん）と話す。 国が定める男女の賃金格差の開示義務は、｢男性労働者の平均賃金に対する、女性労働者の平均賃金を割合（パーセント）で示す｣こと、｢全労働者・正規雇用労働者・非正規雇用労働者の区分で公表すること｣の2点だが、 ｢この算出法（平均値）では職種や等級による報酬
チームではじめるアジャイルメトリクス｜Sota Yamaguchi
こんにちは！back check でスクラムマスターをやっている山口です。 先日PHP勉強会@東京で5分LTをやらせていただいたので、そこで話しきれなかったことを含めまとめたいと思います。 ちなみにお写真は撮り忘れましたが、今回の会場はGMOさんのコミュニケーションスペース、GMO Yours フクラスにてオフライン開催しました。 とてもきれいなスペースで感動しました！ あと大人数の集まる勉強会での登壇は初めてだったので、めちゃめちゃ緊張しました。暖かく受け入れていただいた皆さんには本当に感謝です。 さて、本題にはいりますが基本的にはスライドにある内容については概要のみ触れます。 概要back check ではチームの分割をきっかけに、自分たちの行動が良くなっていそうだけど定量的に可視化できない？ということで開発に着手してからリリースReadyになるまでのリードタイムを計測し始めました。
「業務スーパー」の値上げ記録
https://b.hatena.ne.jp/entry/s/togetter.com/li/2210130に添えて 神奈川県内某店舗での買い物メモより 全て税抜き セール価格除く PB品品種品名19年4月19年12月20年4月20年9月21年3月21年8月22年2月22年3月22年5月22年6月22年7月22年8月22年10月23年2月23年3月23年4月23年5月23年7月マーガリン400gなめらかママソフト148円-138円--148円----169円-178円-----食パン1斤朝の輝き67円-----71円----77円-----82円水2l甲州のおいしい水53円--------55円----62円---素麺800gそうめん127円--139円------158円------185円オレンジマーマレード770g(ブルガリア産)-278円-----------338円348円---
総務省統計局 データサイエンス・オンライン講座 社会人のためのデータサイエンス入門
統計データを用いた分析事例を知り、 統計リテラシーを学ぶ ・大人がデータサイエンスを学ぶべき理由 ・統計データからわかること① ・統計データからわかること② ・統計データからわかること③ ・統計リテラシーの重要性 ・統計を利用する際の注意点 データ分析に必要な統計学の基礎を学ぶ ・データの種類 ・代表値～平均・中央・最頻値 ・ヒストグラムと相対度数 ・四分位・パーセンタイル・箱ひげ図 ・分散・標準偏差 ・相関関係 ・回帰分析 ・標本分布 ・信頼区間 データの見方と 適切なグラフの選び方を学ぶ ・統計表の見方 ・比率の見方①－クロスセクションデータ－ ・比率の見方②－使い方と注意点－ ・時系列データの見方① ・時系列データの見方② ・グラフの選び方① ・グラフの選び方② ・グラフを作る時・読む時の注意点 誰もが使える公的統計データの取得方法と 使い方を学ぶ ・公的統計とは ・公的データの入手
「推測するな、計測せよ」 〜小さく始める生産性可視化と分析〜
2023/05/30に開催された「開発生産性を高める 〜ソウゾウ、Voicyの挑戦と苦労〜」( https://offers.connpass.com/event/283434/ )で発表した資料です。
LookerStudioでDevOpsのレポーティングを自動化する - ZOZO TECH BLOG
はじめに こんにちは。ZOZOTOWN開発本部アプリ部バックエンドの髙井です。普段は筋肉のビルドが趣味のエンジニアをやっています。私のチームではZOZOTOWNアプリのバックエンド全般の開発から運用までを行っています。 突然ですが、皆さんご存知でしょうか？ ZOZOTOWNはカスタマーサポートセンターの運営管理や従業員のマネジメント等を総合的に評価する「HDI五つ星認証プログラム」にて、五つ星認証を4回連続で取得しています。これは、CS（カスタマーサポート）対応をする弊社社員の皆さんの愛あるサポートの賜物で、同じサービスに携わる身としてもとても誇らしい気持ちです。 そんなCS対応ですが、問い合わせによっては原因調査をエンジニアが行っています。本記事では、CSからエンジニアに来たお問い合わせ（以後、CS問い合わせと呼ぶ）をまとめたレポート作成の自動化についての事例を紹介します。運用コストを抑
データオーケストレーションツールDagsterの紹介
データオーケストレーションとは データオーケストレーションという言葉をご存知でしょうか？日本ではまだ耳慣れない言葉ですが、data orchestrationでgoogle検索すると実に3000万件以上ヒットし、世界的には十分に市民権を得ている言葉です。Databricksではデータオーケストレーションを以下のように説明しています。 データオーケストレーションとは データオーケストレーションとは、複数のストレージからサイロ化したデータを取り出し、組み合わせて整理し、分析に利用できるようにするための自動化されたプロセスです。 このプロセスでは、レガシーシステム、クラウドベースのツール、データレイクといったあらゆるデータセンターが接続されます。データは標準形式に変換されるため、理解しやすく、容易に意思決定に利用できます。 オーケストレーションとは、コンピュータシステム、アプリケーション、および
chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話
先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
