[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO
さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました！ たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 おまけ：当イベントの応募者数 このイベントですが、なんと
![[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f9486832be1a42a11ac2d244e8c51de11a34ab7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F11%2F2022-11-08_19h35_04.jpg)
An image of a factory from https://unsplash.com/photos/6xeDIZgoPawはじめにこんにちは, FinatextグループのNowcastでデータエンジニア/データサイエンティストをやっている隅田(@yummydum)と申します. データパイプラインを開発していると, データベースからデータを取り出し, 加工し, 結果を再度データベースに格納するという操作を(時には複雑なSQL等を通じて)行うことがよくあると思います. パイプラインの品質を高めるためにこれらの操作はしっかりテストされるべきです. テストの際にプロダクション環境のデータベースを使う訳にはいかないので, プロダクション環境に似せたテスト用のデータベースにテストデータを格納しておき, これをテストに用いれば良さそうです. しかし, テストデータはうまく管理しないと保守性や可
如何お過ごしですですか？ 3回連続10cmです。 当ブログにお越しいただきありがとうございます。 いつも本当にありがとうございます。 注）この記事は2018年7月5日に投稿したものを、一部加筆修正して再投稿したものです。 台風8号が終わったと思ったらまたすぐに9号ですね。 不謹慎で申し訳ありませんが、 台風の事をちょっと書きます。 注)本記事の引用や画像は全て気象庁のHPからです。 日本にやって来る台風たち。 台風には名前がついている。 台風の名前の付け方には法則があります。 台風の名前です。 台風経路図。 台風列島日本。 編集後記 日本にやって来る台風たち。 毎年毎年飽きもせずに日本を襲ってくる台風たち。 年間平均 発生26個、接近11個、上陸3個だそうです。 30年間（1981～2010年）の平均では、年間で約26個の台風が発生し、約11個の台風が日本から300km以内に接近し、約３個
ロシアがウクライナに侵攻してから２週間で、戦争がロシア経済に強いた犠牲は20年以上に及ぶプーチン政権下で最悪の景気低迷と既に肩を並べている。 国際的な制裁が足かせとなり、２年連続で拡大軌道を進んでいたロシア経済はわずか数日で反転した。ブルームバーグ・エコノミクスのナウキャストはロシアの経済生産が約２％減少したことを示唆。この落ち込みは新型コロナウイルス禍にあった2020年通年の景気縮小に並ぶ。 昨年の金額に基づくと、これはロシアの国内総生産（ＧＤＰ）が300億ドル（約３兆5000億円）余り消失したことを意味する。ブルームバーグ・エコノミクスの暫定予測によれば、2022年のロシアＧＤＰは約９％のマイナスとなる。 プーチン大統領は11日、旧ソ連は制裁下にあっても成長し「巨大な成功を収めた」と主張。国民を安心させようと努めた。 しかしウクライナでの戦争が長期化し、追加制裁が発動された場合、こうし
日経平均株価が30年ぶりの高値となっている。もっとも、それにふさわしい高揚感はみられない。新型コロナの感染が続き、景気の先行きが見通せない中で株価だけがどんどん上がっていくことには、不安や違和感を感じる人も少なくないだろう。株式市場がその時々の経済の姿を写す鏡でなくなってしまったことを嘆く声もある。 もっとも、このような違和感の中にこそ、今後の経済の道行きを考えるうえで有益なヒントがあるかもしれない。以下ではこの観点から、最新のデータをもとに日本経済の「今」をながめてみることとしよう。 今の株価はバブルなのか？これは誰もが知りたいことだ。だが、残念ながらこれは誰にもわからない。株価のファンダメンタルズ（企業や経済の実力に見合う株価）は現在から将来にわたる企業収益と金利の見通しをもとに決まるが、いかなる株価が適正な水準なのかは、これらの見通しのいかんによって大きく異なるからだ。「バブルは崩壊
わたなべ・つとむ／東京大学経済学部卒業。日本銀行、一橋大学経済研究所教授等を経て、現在東京大学大学院経済学研究科教授。ナウキャスト創業者・技術顧問。 渡辺努 物価の教室 われわれの生活に直結する物価は、経済全体の動きを知る上でも重要だ。物価研究の泰斗である渡辺努・東京大学大学院教授が、初心者からプロまで楽しめる最先端の「物価の教室」をお届けしよう。 バックナンバー一覧 3月にも日本銀行がマイナス金利政策を解除するとの見方が浮上している。政策判断を左右するのはサービス価格の動向だが、統計局の統計を再推計してみると、インフレが減速している可能性も見えてきた。マイナス金利解除は時期尚早の可能性もある。（東京大学大学院経済学研究科教授 渡辺 努） 異常に高い価格上昇率への違和感 日本銀行がマイナス金利政策を終わらせる日が近いと市場ではうわさされている。 その背景にあるのはもちろん賃金と物価の好循環
NHKで災害担当デスクをつとめています、金森大輔です。生まれも育ちも伊豆大島です。 10歳のころに体験した、伊豆大島の噴火災害と全島避難の鮮烈な記憶について以前こんなnoteを書きまして、たくさんのお便りをいただきました。 私たち災害報道の担当者の目的は、 報道によって命を救うこと、被害を減らすこと です。 だから台風！豪雨！暴風！地震！噴火！大雪！などの大規模な災害が起きたとき、私たちは「いま何が起きているか」だけでなく、必ず「命を守るためにみなさんにどう行動してほしいか」を伝えます。 一方で私たち報道機関がテレビやラジオ、ネットなどを通じて「避難してください」と呼びかけても、どうしても届かないところがある、限界があるということも常に感じています。 ご家族や知人からも「すぐ逃げなきゃだめだよ！」と呼びかけてもらえたら、より確実に命を守ることにつなげられます。 そう考えると、実は気象災害に
昨今の経済に関する話題といえば、やっぱり物価です。米国の株式不調は、物価高＝インフレに対抗するためにFRBが利上げを始めたからですし、そのせいで利上げできない日本では円安が加速してしまいました。 でも、この「物価」という代物はたいへん難しい。そう思っていたときに知人に勧められたのが『物価とは何か』です。著者渡辺努氏は、日銀勤務を経て一橋大学教授、東大教授として物価研究を進めてきた人物。さらにPOSデータを元に物価動向を分析する「JCB消費NOW」を手掛けるナウキャストの創業者でもあります。 物価とは何か (講談社選書メチエ) 作者:渡辺努 講談社 Amazon 携帯電話料金値下げは物価を押し下げたのか？ 現金の魅力はどこから来るのか？ 貨幣の魅力は徴税権 携帯電話料金値下げは物価を押し下げたのか？ 昨今のインフレに関してメディアなどでよく出てくるのは、「21年春の携帯料金値下げの効果が剥が
コロナで5月の倒産件数過去最少の“異常事態” これから始まる大倒産時代 | 週刊ダイヤモンドの見どころ | 週刊ダイヤモンド
『週刊ダイヤモンド』6月20日号の第1特集は「コロナ倒産連鎖 衣・食・泊 存亡ランキング」。新型コロナウイルスに関連する倒産が200件を超えました。消費の＂蒸発＂に加え、固定費率の高いビジネスの構造で、「衣・食・泊」の業界にコロナ倒産の嵐が吹き荒れています。 200件を超えた「コロナ倒産」 5月は倒産全体の3分の1を占めるまでに 「社会が機能停止している〝異常事態〟だ。新型コロナウイルスの影響により、倒産の手続きすら進められなくなっている」──。 帝国データバンク東京支社情報部の綴木猛氏は、こう驚きをあらわにする。同社によれば、5月の倒産件数は前年同月比56％減の288件。5月の数字としては同社が統計を取り始めた1964年以降、過去最少となった。月間の倒産件数が300件を下回ったのも55年ぶりだ。 この少なさはもちろん、景気の好調を意味しない。コロナによる緊急事態宣言の影響で、倒産などの法
2020年は新型コロナウイルスの感染拡大に翻弄される1年になりました。経済評論家の加谷珪一さんは「消費低迷はまだ続くものの、投資や副業にはチャンスがある」と言います。その注目分野とは。 感染の再拡大で再び消費が落ち込む可能性が高い 冬に入って新型コロナウイルスの感染が再拡大したことで、仕事や生活に不安を抱えている人も多いと思います。2021年の経済はどのように推移し、私たちはどう対応すればよいのでしょうか。 2020年の前半は、これまで経験したことのない出来事が続き、多くの人が職場や私生活において対応を余儀なくされました。外食産業や観光産業など影響が大きかった業界で働いている人はもちろん、コロナとは直接関係ない業界であっても、売上高の縮小などから、ボーナス削減や減給に直面しているという人も少なくないでしょう。 年後半は、コロナにも多少慣れたせいか、大きな混乱こそ発生しませんでしたが、経済状
わたなべ・つとむ／東京大学経済学部卒業。日本銀行、一橋大学経済研究所教授等を経て、現在東京大学大学院経済学研究科教授。ナウキャスト創業者・技術顧問。 渡辺努 物価の教室 われわれの生活に直結する物価は、経済全体の動きを知る上でも重要だ。物価研究の泰斗である渡辺努・東京大学大学院教授が、初心者からプロまで楽しめる最先端の「物価の教室」をお届けしよう。 バックナンバー一覧 アベノミクスで掲げた物価目標「2％」の見直しが議論されている。タスク管理アプリや歯医者を例に考えると、内容を理解しやすくなる。（東京大学大学院経済学研究科教授 渡辺 努） 2％物価目標の見直し議論 タスク管理アプリと同じ 政府・日本銀行が2013年に出した共同声明（アコード）を、日銀総裁の交代のタイミングで見直すべきと議論されている。 焦点は物価目標の扱いだ。13年のアコードでは2％という目標値を明示するとともに、それを「で
中国の公式国内総生産（ＧＤＰ）統計の正確性に対する長年の疑念は、政府統計とは別の独自推計の取りまとめに拍車をかけてきた。今週、当局発表の2023年の経済成長率が政府の年間目標である５％前後と一致したことで、こうした動きが活発化している。 昨年の成長については、新型コロナウイルスのパンデミック（世界的大流行）に伴う制限解除で消費が回復したことが後押ししたというのがコンセンサスだ。そのことは、中国国家統計局以外がまとめた国内便の発着数や消費関連企業の売り上げの伸びなどのデータからも容易に読み取ることができる。 地方財政の逼迫（ひっぱく）と輸出減少に加え、不動産建設の急激な落ち込みが下押し圧力になったという点でも、公式発表と非公式の独自推計は一致している。 両者の相違は主に投資を巡るもので、公式統計では製造業とインフラ投資の急増が不動産部門での落ち込みを上回っている。これには異論もある。ロジウム
経済・物価情勢の展望（2023年７月）
経済・物価情勢の展望 2023 年７月 公表時間 7 月 31 日（月）14 時 00 分 本稿の内容について、 商用目的で転載・複製を行う場合 （引用は含まれません） は、予め日本銀行政策委員会室までご相談ください。 引用・転載・複製を行う場合は、出所を明記してください。 1 経済・物価情勢の展望（2023 年７月） 【基本的見解】 1 ＜概要＞ 1 本基本的見解は、 ７月27、 28 日開催の政策委員会 ・ 金融政策決定会合で決定されたものである。 日本経済の先行きを展望すると、当面は、海外経済の回復ペース鈍化による下押し圧力 を受けるものの、ペントアップ需要の顕在化などに支えられて、緩やかな回復を続ける とみられる。その後は、所得から支出への前向きの循環メカニズムが徐々に強まるもと で、潜在成長率を上回る成長を続けると考えられる。 物価の先行きを展望すると、消費者物価（除く生
3月10日、シリコンバレー銀行の破綻が衝撃を呼びました。何が起こって、どこに影響があるのでしょうか。 何が起こったのか 長短金利差で儲ける銀行のビジネスモデル これからどうなる？ ステーブルコインに波及も 何が起こったのか シリコンバレー銀行の破綻は、総資産28兆円規模でリーマンショック以来の規模だといいます。しかし、破綻の原因は比較的シンプルでした。いわゆる、古典的な取り付け騒ぎです。 まず背景として、昨今の金利上昇があります。これが引き起こしたのは、グロース株の下落でした。グロース株は将来利益が高株価を支えています。金利が上昇すると割引率が上昇し、それが将来利益を減少させることでバリュエーションが下がりました。 これはグロース株だけの下落にとどまりません。同様のロジックで、未上場のスタートアップの評価額も減少しました。これは、資金調達が難しくなることを意味します。前回の評価額よりも低い
わたなべ・つとむ／東京大学経済学部卒業。日本銀行、一橋大学経済研究所教授等を経て、現在東京大学大学院経済学研究科教授。ナウキャスト創業者・技術顧問。 政策・マーケットラボ 日々起きている政治・マクロ経済・マーケットの動きを、専門家の執筆陣が鋭く分析する。投資や事業運営の方針を立てる上で役立つ「深い知見」を身に付けよう。 バックナンバー一覧 日本銀行が国債の大量購入を迫られていることから、「固定された長期金利を市場に委ねよ」という定番の主張がある。実はここには、見逃されているもう一つの極めて重要な市場がある。日銀は“二兎”を追うが故に、不均衡から逃れられないのだ。（東京大学大学院経済学研究科教授 渡辺 努） 国債大量購入は長期金利固定が元凶？ 定番の説明に足りないもう一つの市場 2022年の12月末以降、10年物国債金利に上昇圧力が加わり、日銀は国債を大量に購入せざるを得ない状況が続いている
データに付加価値を与える技術
はじめに株式会社ナウキャストでデータエンジニアをしている沼尻です。 この記事では、私が担当している「マッピング」という業務についてご紹介したいと思います。マッピングと言われてもピンと来ないと思いますが、あまり語られることのない（それがゆえに何と呼称したらよいかさえ定かではない）データエンジニアリングの重要な一領域だと思っていて、他社さんにも類似する業務が存在するのではないかと思っています。この記事をきっかけにして、他社さんと情報交換や技術交流などができたら嬉しいですし、ひいては、将来的なマッピング（ないしその類似業務）に関する知識の体系化につながれば幸いです。 マネージャーやエンジニアの募集もしていますので、ご興味を持っていただけたら、この記事の最後に掲載している求人をご確認いただければと思います。 マッピングとは何かナウキャストでは、パートナーから様々なオルタナティブデータ（POSデータ
安宅 和人（あたか かずと） マッキンゼーにて11年間、幅広い商品・事業開発、ブランド再生に携わった後、 2008年からヤフー、2012年より10年間CSOを務め、2022年よりZホールディングス （現LINEヤフー株式会社）シニアストラテジスト。2016年より慶應義塾SFCで教え、2018年秋より環境情報学部教授。データサイエンティスト協会理事・スキル定義委員長（発起メンバー）。一般社団法人 残すに値する未来 代表。科学技術及びデータ×ＡＩに関する公的検討に多く携わる。イェール大学脳神経科学PhD。著書に『イシューからはじめよ』（英治出版）、『シン・ニホン』（NewsPicks）、『ビッグデータ探偵団』（講談社現代新書）など。 ビッグデータレポートがスタートした経緯 ――安宅さん率いるチームがビッグデータレポートを出すことになった経緯とは？ ヤフーがCEO宮坂さん（現東京都副知事）・CO
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Factory patternでデータベースのテストを効率化する
台風にも名前が付いちゃってる件。 - おっさんのblogというブログ。
ロシア経済、類いまれなスピードで悪化－侵攻からわずか２週間で
「不況下の株高」と巣ごもり消費――データをもとに考える/中里透 - SYNODOS
マイナス金利解除は時期尚早か、「大混乱統計」の再推計でインフレ減速懸念が浮上
NHK災害報道のベテラン金森デスクが多くの人に知ってほしい「命を守るための災害データの見方」｜NHK取材ノート
え？物価ってそういうことだったの『物価とは何か』 - FIRE: 投資でセミリタイアする九条日記
給料 投資 持ち家 アフターコロナの考え方 - 会社の代表 経験学び
日銀の物価目標“長期化”で何が変わる？タスク管理の「いつかやる」と同じだ
中国の5.2％成長は本当か－公式統計への疑念で独自推計まとめる動き
シリコンバレー銀行破綻の原因とメカニズム USDCにも波及 - FIRE: 投資でセミリタイアする九条日記
日銀が追っていた「もう一匹の兎」の正体…渡辺努・東大教授が徹底解説【前編】
安宅和人が語るAI×データ活用の過去と未来 ビジネスパーソンに求められるマインドとは？｜LINEヤフー株式会社