dbt導入によるデータマート整備 - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤（@i_125）です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。 目次 はじめに 目次 背景 課題 データマートの乱立 集計定義のばらつき 依存関係の洗い出しが困難 データモデリングツールの比較検討 データ変換に関する要件 データモデリングツールの選定 レイヤリングによる責務の分離 実装方針 今後の展望 dbtモデルを開発する上で工夫したこと 環境の分離 背景 工夫したこと ダミーデータセットの生成 背景 工夫したこと SQLFluffを使ったフォーマット統一 依存モデルを含むテスト dbt Doc
AWS、他社クラウドなどへの移行時にはデータ転送料金を無料にすると発表
AWSはこれまで、外部へのデータ転送料金の高さを競合ベンダから何度か非難されてきました。AWSにデータを蓄積すればするほど他社クラウドへ移行する際のデータ転送料金が高額になるため、顧客のデータを人質にしていると指摘されていました。 そのAWSが今日、他社のクラウドへ移行する際にはインターネットへのデータ転送料金を無料にすると発表しました。 ブログ「Free data transfer out to internet when moving out of AWS」（AWSから移行する際にはインターネットへの転送料金を無料にします）では、AWSは幅広いサービスを提供しており顧客はそれらを自由に選べるが、その選択肢には他社のサービスも含まれるべきだとして、次のようにデータ転送量の無料化を発表しました。 That’s why, starting today, we’re waiving data
楽しいヒエログリフ入門| 話題の本 | 草思社
この本は、2001年に紀伊國屋書店から刊行された『クリスチャン・ジャックのヒエログリフ入門』の改題・新装版です。原題はLE PETIT CHAMPOLLION ILLUSTRÉ（図説プチ・シャンポリオン）、シャンポリオンが閉ざされていたヒエログリフの世界の扉を開いてくれたように、読者を謎めいたヒエログリフの世界へと導く一冊です。 著者のクリスチャン・ジャック（Christian Jacq）は1947年、パリ生まれ。フランスを代表するベストセラー作家の一人で、エジプト学に通暁している研究者としても名高い存在です。『太陽の王ラムセス』をはじめ古代エジプトを舞台にした壮大な歴史小説で人気を博し、その作品は世界30カ国以上で翻訳出版され、世界での売上げは累計2700万部以上、世界でもっとも読まれている現代フランス人作家とも評されています。 「ヒエログリフを学びたいという人は増えているが、誰に聞いて
トランプ氏、１２州制す 共和の指名確実な情勢―スーパーチューズデー・米大統領選：時事ドットコム
トランプ氏、１２州制す 共和の指名確実な情勢―スーパーチューズデー・米大統領選 2024年03月06日13時24分配信 トランプ前米大統領＝２日、南部バージニア州リッチモンド（ＥＰＡ時事） 【ワシントン時事】１１月の米大統領選の民主、共和各党候補の指名争いで、１６州・地域の予備選などが集中するスーパーチューズデーが５日実施された。米メディアの開票速報によると、共和党で独走状態のトランプ前大統領（７７）がヘイリー元国連大使（５２）に対して１２州を制し、指名獲得が確実な情勢となった。 意中の候補に期待、懸念も 各地で有権者が一票―米大統領選 トランプ氏は５日夜（日本時間６日昼）、南部フロリダ州の私邸で支持者らを前に演説し「これほど決定的なことはない。われわれは長い間、誰もできなかったことを成し遂げようとしている」と勝利宣言した。 共和党は１５州で予備選・党員集会を行った。トランプ氏は南部の大票
マチ★アソビ問題 なぜこんな事態に？ 唐突な開催見送り、反発招く｜政治・行政｜徳島ニュース｜徳島新聞デジタル
徳島ニュース 一覧 事件・事故 社会 政治・行政 選挙 経済 健康・医療 教育 文化・芸能 気象・防災 号外 市町村別 一覧 徳島市 鳴門市 小松島市 吉野川市 阿波市 勝浦町 上勝町 佐那河内村 石井町 神山町 松茂町 北島町 藍住町 板野町 上板町 阿南市 那賀町 牟岐町 美波町 海陽町 美馬市 つるぎ町 三好市 東みよし町 スポーツ 一覧 ヴォルティス ガンバロウズ インディゴ 高校野球 高校スポーツ 高校総体 中学スポーツ 中学総体 小学スポーツ 大学・一般 FC徳島 とくしまマラソン 徳島駅伝 あわースポーツ 連載・特集 一覧 政治・行政 経済 地域 社会 文化 スポーツ 暮らし オピニオン その他 デジタル限定 一覧 連載 コラム 経済 ライフ エンタメ スポーツ 全国・海外 プライム アートエンタメ 時事通信 深掘り オリコン 主要 経済 政治 国際 社会 スポーツ 写真・動
JPXがデータレイク「J-LAKE」を構築へ、AWS活用でコスト3割減
日本取引所グループ（JPX）はAmazon Web Services（AWS）上にデータレイク「J-LAKE」を構築する。傘下のJPX総研が構築を担い、2024年度中の稼働を予定する。 J-LAKEによってJPXが保有する株式の取引情報や適時開示情報などのデータを一元管理し、社内でのデータ分析に加え、社外向けのデータ配信を正確かつ効率的にする。JPX総研の西端恭一ITビジネス部デジタライゼーション部長は「データを一元管理することで、分析や加工の手間を減らせる」と説明する。 構築にはAWSのコンテナ基盤サービス「Amazon EKS」を活用する。西端部長によると、AWSを活用することで「オンプレミス（自社所有）環境で構築するのと比べて、約3割のコスト低減が見込める」という。構築自体は2024年5月には終える予定で、「オンプレミスだと1年半から2年半くらいかかる規模のため、開発期間の短縮効果も
財政破綻の英バーミンガム、21%増税 市民にしわ寄せ - 日本経済新聞
【ロンドン=江渕智弘】財政破綻した英国第2の都市バーミンガムの市議会は5日、カウンシル税（住居に対する固定資産税）の21%増税などを盛り込んだ再建策を決めた。3億ポンド（約570億円）の歳出削減も実施する。失政のしわ寄せが市民生活にいく。英メディアが一斉に伝えた。バーミンガムは首都ロンドンに次ぐ都市で、114万の人口を抱える。市議会は2023年9月、事実上の財政破綻を宣言した。社会的弱者の保護
そのデータいくら GDPで資本扱い、新国際基準に備える - 日本経済新聞
企業が抱える顧客データなどの価値はいくらだろうか。国連が2025年にもまとめる国内総生産（GDP）推計の新たな国際基準では、データを「資産」と位置づける方向だ。内閣府はその新基準をにらんで23年5月に試算をまとめた。データを資産として「資本化」内閣府の経済社会総合研究所によると20年の国内におけるデータ産出額は6兆7500億円という。「データを記録する作業」がこれに当たる。それを「整理」す
死因の人類史| 話題の本 | 草思社
有史以来のさまざまな死因とその変化の実相を 科学的・歴史的・社会的視点から検証した壮大な “死” の人類史。 14世紀イタリア・シエナ、黒死病が覆いつくす（本文より） 1347年、当時、シエナは中央イタリアでも屈指の豊かさを誇った都市国家のひとつで、町の繁栄は金融業と羊毛業、そして強固な軍隊によって支えられていた。 靴職人で徴税人でもあったアニョーロ・ディ・トゥーラは、1300年から1351年にかけてシエナの町で何が起きていたのかを記した年代記を書き残している。 1348年1月、ピサの港からイタリア中部のトスカーナ地方に波及した黒死病（ペスト）は、2カ月後にはピサからフィレンツェに伝わり、そこから南下してシエナにまで広がった。ディ・トゥーラは次のように書いている。 「5月になると、シエナでも大勢の人間が亡くなった。凄惨を極めた恐ろしい光景だった。犠牲者は即死と思えるほどあっという間に死んで
プロ野球選手会、プライバシー尊重求め声明 報道やＳＮＳ投稿過熱「安心して生活」
近年は選手の私生活に関する報道や交流サイト（ＳＮＳ）への投稿が過熱しているとし「スポーツ選手であることを理由に、交際相手や結婚相手などの私生活や家族に関することまでもが際限なく暴露されてしまう状況では、安心して生活していくことができません」などと訴えた。
タブレット端末の議場持ち込み、自民・共産が反対「品位欠ける」 ペーパーレス化は合意
衆院議院運営委員会の与野党各会派代表者は５日、国会のデジタル化を目指す検討会の第２回会合を国会内で開き、請願内容を議員に周知する文書と各委員会の議事経過報告書をペーパーレス化する方針を確認した。年間約１２００万円の印刷費削減につながると試算している。一方、タブレット端末の本会議場での使用などは合意に至らず、引き続き協議する。 ５日の検討会では文書のペーパーレス化に加え、委員会の海外視察に関し、安全確保に支障がない範囲で行き先や目的などを衆院ホームページで事前に公開することでも一致した。 検討会はこのほか、本会議場でのタブレット端末やスマートフォンの使用解禁、オンラインでの参考人質疑も検討しているが、５日は結論を持ち越した。本会議場での通信機器使用に関しては、自民党が「品位」などを理由に否定的な立場を示し、共産党も慎重姿勢を崩さなかった。オンラインでの参考人質疑は、共産が難色を示した。 国会
どのレイヤー（層）でトランザクションを実装すべきか
このように、層ごとに関心事の分離を行うことで、保守性の高い（変更容易性や再利用性等）アプリケーションを実現できます。 しかし、「トランザクション」においてはどうでしょうか。 トランザクションはビジネス領域においても、技術領域においても関心事がある内容です。 そういう曖昧なものは「ひとまず usecase 層に入れてしまえ」という方針になりがちです。 ですが、DB 固有の知識を usecase 層の関心事にしてしまっては、関心事の分離をするメリットが得られません。 そのため、関心事の分離を実現しつつトランザクション実装をする方法を模索してみました。 前提 1. クリーンアーキテクチャを採用している（オニオンアーキテクチャやレイヤードアーキテクチャも含む） そもそもビジネス知識と技術知識を分離していないアーキテクチャを採用している場合、メリットは得られません。 そのため、オニオンアーキテクチャ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ロシア、月に原発の設置「真剣に検討」 中国と協力 約１０年後の実現目指す
App Store、Spotify、そして欧州の活気あるデジタル音楽市場
EUの包装規制、日本酒を除外 食品フィルムは対象 - 日本経済新聞
日本維新の会、高齢者医療3割負担を提言 社会保障財源で - 日本経済新聞
ゆる～と - 全国日帰り温泉・銭湯マップ