ザコ園芸家の3月
3月。園芸を趣味とする人びとが待ちわびた季節。 柔らかな日差しに誘われて、国道沿いのホームセンターにカチコチに乾燥した水苔を買いに園芸趣味者たちが群がる季節。 大小さまざまな植物の即売イベントがいたる場所で開催されて、奇妙な蘭に、雄々しいユーフォルビアに、グルメな食虫植物に、大いなる眠りから目覚めた塊根植物に、それから…なんだかよくわからない多肉植物にも、冬の間に貯めこんだ札束が飛び交う季節。 園芸趣味者のXを見れば氷漬けだった2月の頃が嘘のような狂乱騒ぎが繰り広げられている。 だがタイムラインの百花繚乱をよそに、ザコ園芸趣味者はボサッとしていた。ザコ園芸趣味者だからだ。 ザコ園芸趣味者の朝は遅い。 起きたらベランダの窓を開け、曇天の続く空をギラリと睨みつけ、空気の匂いを疑わし気に嗅いだあと「まだ寒い」と一言つぶやいて窓から顔を引っ込め、布団に再び潜り込む。 たしかに、背後ではいよいよ植え
iTermをやめてVSCodeのターミナルに寄せる - yasuhisa's blog
背景 担保したいこと 1: ホットキーで一撃で呼び出せる 2: ウィンドウを透過させてターミナルと他のウィンドウを同時に眺められること 調査したこと & 解決方法 ホットキーで呼び出せるか => hammerspoonで割り当てで対応 ターミナルの透過 => 無理そうなので、代替手段で対応 メモ: ターミナル関係のキーバインド tmuxっぽくしたい その他キーバインド 背景 iTermをずいぶん長く使ってきたけど*1、VSCodeのターミナルが急速に進化しているので、乗り換えを検討した。 VSCodeが色々便利になってきた 自分が使っている範囲だと、vimキーバインドも特に問題ない*2 普段のコーディングはVSCode、コマンド操作くらいしかiTermは使っていない 特にCopilot系の進化は目覚ましい、長い物には巻かれろというか長期的にはエコシステムに乗っておきたい エディタだけでなく
もはや稀少種だけど根強い人気の16：10ディスプレー、選ぶなら2万円台でUSB Type-C給電対応のコレ (1/5)
現在発売している液晶ディスプレーの多くは、解像度が1920×1080ドットや3840×2160ドットなどのアスペクト比16：9のモデル。これは動画やゲームといったコンテンツの多くがその比率であることが多く、それに呼応する形で液晶ディスプレーも増えてきたからだ。 しかし、動画やゲーム以外の用途では、16：9が最適と感じないこともある。例えば、オフィスアプリケーションで、画面の縦方向が少し足りないと感じたことはないだろうか。その不満にこたえてくれる製品が、今回紹介するJAPANNEXTの24型ディスプレー「JN-IPS24WUXGAR-C65W-HSP」だ。 駆動方式はIPSを応用したADS、sRGBカバー率は99％ JN-IPS24WUXGAR-C65W-HSPは光沢のない、いわゆるノングレアタイプで、アスペクト比は16：10、解像度は1920×1200ドットとなる。駆動方式はIPSだが、正
dbtで見やすいER図を生成する - yasuhisa's blog
背景: dbtを使っていてもER図は欲しい! どうやってER図を生成するか どうやってER図を見やすくするか まとめ 背景: dbtを使っていてもER図は欲しい! dbtはモデル間のリネージなど可視化が得意なツールではありますが、万能なわけではありません。モデルの生成過程などはリネージで担保できますが、分析時に「どれとどのモデルがJOINできて、JOINする際のキーはこれを使って」というER図で扱うような可視化はディフォルトではできません。 DWHを作っている側からすると「このテーブルはあの辺のテーブルと一緒に使うと便利で、いつもあのキーでJOINして」というのが頭の中に入っていることが多いため、ER図がなくてもどうにかなることも多いでしょう。しかし、分析に慣れていない人や分析に慣れている人であっても、普段と異なるドメインのテーブルを触るときはER図が提供してくれる情報は有用です。ちなみに
BigQueryとDocumentAIを使ってスタバのレシートを読み取ってカロリー計算してみた話 - Qiita
これを元にフィールドを作成すると以下のようになります。 ここでitemというラベルの配下にamount〜priceまでありますが、1つの親フィールドに対して、複数の子フィールドを関係付けることができます。これにより、データ項目をまとめて扱うことができるようです。 2. データセットの作成・アノテーション 次にCloud Storageから画像をデータセットとして扱えるようにDocumentAI側にインポートします。 今回はあらかじめ写真で撮っておいたレシートの画像をCloud Storageに配置してあります。 DocumentAIの左のタブの「ビルド」を押すと以下のような画面に遷移します。 青ボタンの「ドキュメントをインポート」を押すとインポートする際の条件を指定することができます。 事前に用意したバケットを指定します。この段階ではデータ分割（トレーニング用データかテスト用データか）の選
検索エンジン最適化（SEO）スターター ガイド
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 検索エンジン最適化（SEO）スターター ガイド ウェブサイトの構築時には、ユーザーを念頭に置き、見つけやすく閲覧しやすいサイトになるよう工夫するのが普通です。検索エンジンもユーザーの一種ですが、コンテンツを見つけるためにユーザーの手助けをします。SEO（検索エンジン最適化）では、検索エンジンにコンテンツを理解させることで、ユーザーが検索エンジンからサイトを見つけてアクセスすべきかどうかを判断できるようにします。 検索の基本事項では、ウェブサイトが Google 検索の表示対象となるために特に重要となる事項を説明しています。Google のインデックスに確実に登録される方法はありませんが、検索の基本事項に沿って作成したサイトは Google の検索結果に表示されやすくなります。SEO とは
小売のベイシアGはなぜエンジニアが採用できる？年収アップよりも大切だったこと
1985年、福島県生まれ。慶應義塾大学文学部卒業。IT系ニュースサイトを運営するアイティメディアで情報システム部に在籍し、エンタープライズIT領域において年間60本ほどのイベントを企画。2018年10月、フリーに転向。現在は記者、広報、イベント企画、ブランドアンバサダー、マネージャーとして、行政から民間まで幅広く記事執筆、企画運営に奔走している。著書『ルポ 日本のDX最前線』（集英社インターナショナル） Twitter：https://twitter.com/sakaisaketen 酒井真弓のDX最前線 2018年に経済産業省のレポートが「DXの壁」を指摘したように、日本では、DX（デジタルトランスフォーメーション）が遅れているとよく言われている。また、「日本はもはやIT後進国」「なぜアメリカのGAFAや中国のBATHと渡り合える企業が日本では生まれないのか」などの悲観的な意見もしばしば
dbtのモデルとLooker Studioのレポートの依存関係をexposureで表現して、データ管理を効率的に行なおう - yasuhisa's blog
シリーズの第三弾です。読者の宿題にしてたけど、誰も書いてくれなさそうだったので結局自分で書きました。 背景 Looker StudioはGoogle Workspaceを使っていれば基本的に無料で使えますし*1、権限管理にGoogle Groupとも連携できるので、人気のBIの一つだと思います。私が初めて触ったBIもLooker Studioだったので、(API強化して欲しいとか不満は山のようにありつつも)何だかんだで憎めないし、さっとダッシュボード作りたいときはLooker Studioを使うことが多いです。会社によっては社内の公式のダッシュボードをLooker Studioで作っているところもあると思います。 dbtで作ったテーブルがConnected Sheetsから参照されている場合、一定程度利用されているスプレッドシートからのテーブルの参照状況はデータ基盤を管理する人間としては把
My Predictions for Data Engineering in 2024
My prediction for 2024 and data engineering is this… Who cares! Seriously. You can’t control what happens, so instead of worrying about what will happen, focus on the things you can control. Like… Photo by Xan Griffin on Unsplash1. Building a Learning Habit.This year, make learning a priority. Try your hardest to establish a solid learning habit. If you don’t have time for it, MAKE TIME! No one el
What is Analytics Engineering?
Claire Carroll As the sole analyst of a fast-growing Sydney startup, Claire experienced the pain of the traditional analyst workflow—stuck on a hamster wheel, an ever-growing backlog, and numbers that never quite matched up. So she taught herself dbt, the command line, version control and brought all the rigor of analytics engineering to her team. Along the way, she fell so in love with dbt that s
Analytics Engineeringチームの目標管理
発表した場所: https://timeedev.connpass.com/event/299088/ 発表者: https://twitter.com/__hiza__
Snowflakeの力を引き出すためのdbtを活用したデータ基盤開発の全貌 - CARTA TECH BLOG
当記事は、dbtのカレンダー | Advent Calendar 2023 - Qiita の23日目の記事です。 こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804です。データエンジニアリングのほか、組織運営やデータエンジニア育成にも携わっています。 本記事では、Snowflakeを中心とした当社のデータ基盤「Vision」と、その中核であるdbtの利用について深掘りします。dbtを活用することで、SQLのみでデータパイプラインを効率的に構築し、作業の効率化を図っています。 dbt導入の詳しい導入背景は以下のスライドでご覧いただけます：広告レポーティング基盤に、dbtを導入したら別物になった話 / tokyo-dbt-meetup-4 - Speaker Deck。 私たちのチームでは、ビジネスに直接価値を提供しているdbtモデルの開発はプロ
友人が「感情を率直に扱えたら論理的」と言っていた話。 - フジイユウジ::ドットネット
ある程度、矛盾なく一貫性ある説明として通っていると考えていることをAさんがBさんに伝えたところ、Bさんはちょっとイラついた態度で「なんとなく違う気がする」と返してきた。Aさんは「その違う気とはなんなんのか説明してくれ。論理的ではない」と切り替えした…… これ、Aさん気の毒だなあと思いましたよね。 もちろん僕もそうなのですが、先日ある分野の研究者をやっている友人とご飯を食べたときに「感情を率直に扱えたら論理的」というようなことを言っていました。 ニンゲンなのだから誰しも感情はあるのに、感情が動くことに対して「論理的ではない」と悪いことであるような指摘をするような人や論調があるが、あれは良くない。 こんな感じの話からスタートして出てきた言葉だったと思います。 たぶん。ちゃんと覚えてないけど。 ご飯を食べながらの雑談での会話なので、この話に出てくる「論理」が厳密な意味での「論理」であるかは置いて
dbtで管理しているデータの可用性をelementaryで分析する - yasuhisa's blog
データの可用性を可視化したい データの可用性の解像度を上げたい: elementary-data elementaryによる細かい可視化 大雑把にデータセット単位で可用性を可視化したい まとめ データの可用性を可視化したい データ品質は正確性や最新性など様々な項目に分解することができますが、可用性(Availability)はその中でも基礎的な項目です。使いたいときにデータが使えないと困るので。 自分が所属しているチームはdbt(cli)およびdbt cloudを使っていますが、可用性を考えるのであれば cli: dbt runの実行結果 dbt cloud: Jobsの実行結果 をそれぞれ確認したり、こけているようであればアラートを飛ばすという運用が多いと思います。これだけだと「いつこけた」しか分からないので、Datadogを使って「いつこけた」「いつ復旧した」「こけて落ちていた時間はど
Data Developer Platform
Home Data Developer Platform¶ A Data Platform Specification, open for adoption by any data platform developer. A modern way to run data engineering teams¶ Data teams are drained from continuously plumbing integrations and fragile pipelines, which leaves little to no time to focus on the real deal - data and data applications. Businesses that have a good grasp on data realise that today data makes
GitHub - Hiflylabs/awesome-dbt: A curated list of awesome dbt resources
Courses from where you can get started with Analytics Engineering. The Ultimate Guide to dbt - A comprehensive canvas guide to dbt, from the basics to advanced topics. dbt in a real world scenario, A Beginner dbt tutorial - A beginner tutorial to understand dbt with a real world example. Mastering dbt: Beginner to Pro - Paid Udemy course that covers theory, building a dbt project from scratch, and
Data quality dimensions: Tackling data quality with intentionality | dbt Labs
Blog Data quality dimensions: Tackling data quality with intentionality If you’re reading this page, you’re looking to improve the data quality within your organization. You know there’s room for improvement, and you want to learn the secret sauce that makes for higher data quality. This is where we take a step back and take a good, hard look at our industry: there is no secret sauce for higher qu
データカタログの本格導入に向けたdbt-osmosisへの貢献について紹介します - 10X Product Blog
Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ管理の仕事をしています。 最近、データカタログの本格導入の準備を進めていて、それに向けた補助ツールとしてdbt-osmosisもゴリゴリと使い倒すようになってきました。その中で「10Xでの運用を考えるとこういうケースで困るし、前職までの経験を踏まえると解決できると他社でも役に立ちそう」「この挙動は普通にバグっぽいな...」というものがあったので、立て続けにPull Requestを送りました。ありがたいことに全部マージしてもらえましたが、せっかくなのでデータカタログの導入に向けてdbt-osmosisを採用した背景やどういったPull Requestを送ったか紹介します。 データカタログ導入の必要性 メタデータをいかに効率よく入力するか: dbt-osmosisの導入 取り込
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Data ROI Pyramid: A Method for Measuring & Maximizing Your Data Team
シュア、XLRマイクをUSB-C接続にする小型オーディオインターフェイス
