こんにちは、データプラットフォームチームでデータエンジニアをやっている滑川(@tomoyanamekawa)です。 以前紹介したデータ分析基盤であるソクラテスの改善のためにCloud Composer(Airflow)で行っている処理のdbtへの置き換えを検討しましたが、導入を見送りました。 調べてみてdbtに対するわかりみも深まったので、その供養のために検討内容を公開します。 同じように検討している方の参考になれば幸いです。 dbtとは DWH(Data Ware House)でのquery管理やデータの品質、データリネージの問題を解決してくれるツールです。 すでに先人たちがいろいろな記事を公開してくれているので、詳細は説明しませんがこちらの文がdbtをよく表しています。 ELTの「T」を担当するツール データの前処理における作業をELT（Extract、Load、Transform）と

グリーンランドの氷床を流れる水。氷が溶けて低地に向かって流れている＝２００７年/Uriel Sinai/Getty Images （ＣＮＮ） 標高３０００メートルを超すグリーンランドの山頂で、１４日に降雨が観測された。雪ではなく雨が降ったのは、観測史上初めてだった。 山頂の気温は先の週末にかけ、氷点下を超えて上昇した。氷点下を上回ったのはこの１０年足らずで３度目。同地は暖気の影響で豪雨に見舞われ、氷床の上に７０億トンもの水が降り注いでいた。 米国立雪氷データセンターによると、降雨量は１９５０年に記録を取り始めて以来、最も多く、１５日に失われた氷の質量は平年の１日平均の７倍に上った。 米国立雪氷データセンターの研究員テッド・スカンボス氏はＣＮＮに対し、この現象はグリーンランドの温暖化が急速に進んでいる証しだと述べ、「これは単純に気候パターンが変動する中で１０年か２０年温かさが続くといった現象

POPなポイントを3行で 福井県立図書館「覚え違いタイトル集」書籍化 『100万回死んだねこ 覚え違いタイトル集』 タイトルや著者名のうろ覚えをアーカイブ 福井県立図書館が、実際にレファレンスサービスに寄せられた「こういう本を探している」という本のタイトルや著者名の“覚え違い”をWebサイトにまとめた「覚え違いタイトル集」。 SNSなどでも注目を集めた「覚え違いタイトル集」が、講談社より『100万回死んだねこ 覚え違いタイトル集』として書籍化されることが明らかとなった（外部リンク）。 発売日は10月20日（水）、定価は1,300円（税別）を予定している。 司書のあるあるをエンタメに「覚え違いタイトル集」 クイズ王・古川洋平さん率いるクイズ法人カプリティオが公式YouTubeチャンネルで題材として取り上げるなど、各所で話題になる福井県立図書館の「覚え違いタイトル集」。 2009年、国立国会図

MemoryDB はElastiCache の約1.5倍、Aurora の約1.2倍と若干高価です。 耐久性を重視するMemoryDBはElastiCacheで言うところの「クラスターモード」しか存在しないため、{シャード数} x {ノード数/シャード} x {インスタンス利用費} 分の利用費が発生する点にもご注意ください。 最後に Redisを永続的なデータストアとしても使える Amazon MemoryDB for Redis が爆誕しました。 データ耐久性のトレードオフとして書き込み速度は低下したものの、読み取りの速さはまさにRedisです。 クライアントはRedisコマンドを投げるだけで、MemoryDBが良しなにやってくれるため、使い勝手が良さそうです。 今後はDynamodB+DAXの代替として検討したり、RDB+キャッシュRedisなシステムを MemoryDB に集約すると

茂木フル @mogilongsleeper 実を言うと大学のサークル文化はもうだめです。突然こんなこと言ってごめんね。 でも本当です。2、3年後にコロナ以前の大学を知る学生は全員卒業します。それが終わりの合図です。 程なく大きめのサークルすら消滅するので気をつけて それがやんだら、少しだけ間を置いて新たな若者文化が始まります。

※本文後に追記あります。 湯沢町ではないが、新潟県内の若者の一人の気持ちだ。この一年と数ヶ月ずっと真面目に我慢していた。それが馬鹿みたいだ。友人との飲み会やおでかけもしていない。今まではライブだ舞台だテーマパークだとしょっちゅう行っていた県外へも一度も行っていない。祭りやイベントもない。あっても行っていない。県外に暮らしている友人が帰省してきても会っていない。今までの楽しかったこと、生き甲斐のような気持ちでいたもののほとんどを我慢して生活していた。 それでも、世間やテレビのニュースに影響された中高年たちには若者のせいで感染が広まっている、若者はコロナなんか気にせず出歩いている、と言われ続けてきた。そういう人たちも確かにいるけどそれは若者だからではなくてどの世代にもいる、と訂正しつつも受け流してきた。 それでも国内、県内の感染者は増えている。でも、はやくこの時代を終わらせるためにと努力と我慢

俳優の千葉真一さんが１９日午後５時２６分、千葉県君津市内の病院で亡くなった。８２歳。新型コロナウイルスに感染し、入院していたという。 所属事務所は「肺炎が悪化したため８日から入院。酸素吸入を続けている状況だったが回復に至りませんでした」と発表した。 生前、千葉さんは日本の映画界を憂いていた。 「日本の映画製作が衰退したのは事業仕分けが原因だ！」 日本の映画業界はアジアの中でも中国、韓国におくれを取っていると言われている。国家事業で映画製作に取り組んでいて、文化芸術を「不要不急」とする日本とは雲泥の差だ。千葉さんはそんな日本の映画業界の衰退を１０年前から見抜いていた。 かつて取材に応じた千葉さんは「最近の日本映画はまったくダメになってしまった。それも麻生（太郎）政権から民主党政権になり、映画制作費が減ってしまったからなんだよ。麻生政権は漫画やアニメなど、コンテンツ制作の支援を訴えていた。それ

東京都の小池百合子知事は１９日、政府の新型コロナウイルス感染症対策分科会の尾身茂会長が東京パラリンピックで、児童や生徒に観戦機会を提供する「学校連携観戦プログラム」を行うことに慎重な姿勢を見せていることについて、都庁で報道陣の取材に応じた。小池氏は「尾身会長からは、オリンピックの際も、同様のご指摘もいただいていたかと思いますが、安全、安心な大会としてやり切った」と述べ、尾身氏の指摘は当たらないとの考えを示した。 東京ではこの日も新たに過去２番目となる５５３４人の新型コロナウイルスの感染者が確認され、感染の高止まりが続いている。尾身氏は１９日の参院内閣委員会閉会中審査で、東京パラリンピックでの「学校連携観戦プログラム」の実施について「（五輪開催時と比べ）今の感染状況はかなり悪い。そういう中で考えていただければ、当然の結論になると思う」と述べ、慎重な考えを示した。 これに対し、小池氏は「尾身会

フジロック出演を辞退しました。近隣の医療機関の状況や、新潟市内の音楽教室でマスクをしていた子供たちにクラスターが発生したこと、抗原検査がPCR検査で陽性となる患者の59％（米疾病対策センター）〜42％（NFL所属医師らの調査）を見… https://t.co/aaE2Hc37kr

えええ！レーザーで雑草を1時間に10万個の植物をやっつける(笑)やってみたい(笑) https://t.co/fyiHmx4nt2

","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"

文藝春秋編集長に就任した新谷学さん（撮影・遠崎智宏）この記事の写真をすべて見る 「DXは究極的には社内政治」と言い切り、ガラケーを愛用する新谷さん（撮影・遠崎智宏） 「文春砲」という言葉を世に知らしめた前週刊文春編集長の新谷学さん（56）。2018年から週刊文春局長として「スクープを獲る」から「稼ぐ」にシフトチェンジし、スクープをブランディング（看板化）すべく、局内のデジタル・トランスフォーメーション（DX）化に取り組んだ。今年7月からは月刊「文藝春秋」の局長兼編集長に就任し、現場の最前線に再び、立った。新谷さんが目指す文藝春秋のブランディングとは――？ 【写真】「DXは究極的には社内政治」と言い切り、ガラケーを愛用する新谷さん ――月刊文藝春秋の編集長として9月号を久しぶりに校了し、手応えはどうでしたか。 新谷：台湾・蔡英文総統単独インタビュー、高市早苗元総務相の総裁選出馬宣言などタイム

事務所によると、千葉さんは8月8日より新型コロナによる肺炎が悪化したため入院。酸素吸入を続けている状態だったが、回復に至らず息を引き取ったという。 千葉さんは1939年生まれ、福岡県出身。1968年、TBS系ドラマ『キイハンター』で人気を得る。その他、映画『キル・ビル』、『ワイルド・スピードX3 TOKYO DRIFT』、フジテレビ系ドラマ『影の軍団』シリーズ、NHK大河ドラマ『風林火山』などに出演。日本を代表するアクションスターとして海外でも人気を獲得し、「サニー千葉」の名で知られた。 私生活では1973年、女優・野際陽子さんと結婚し、1994年に離婚。娘は女優の真瀬樹里（46）。その後に再婚。息子は俳優の新田真剣佑（24）、眞栄田郷敦（21）。

（前編から続く） 前編では、この刑事事件の発端となった当日のことから、逮捕、報道、略式起訴を経て、公判請求を決意するまでの経緯をお話ししました。後編では、私の診断のこと、地裁公判がどう進行したのか、判決そして控訴についてお話ししたいと思います。 なお、本稿は前後編ともに弁護人および担当精神科医によるレビューのもと公開されています。 診断 公判の準備を整えながら、私は唐澤検事の言葉を反芻していました。 「20歳そこそこの子供ならともかく、35歳のいい大人が」 「頭がいいはずのあなたが」 「投稿の結果どうなるか分からなかったなんて、常識的に考えてあり得ない」 取調室で投げかけられたこれらの言葉は、ぐうの音も出ない正論でした。私は捜査機関の手続きは不当だったと考えていますが、私の問題のある行動が、彼らに故意を誤認させる原因になったことは確かでした。 私はなぜ、そうとは思わずに非常識な行動に出てし