BigQueryとDocumentAIを使ってスタバのレシートを読み取ってカロリー計算してみた話 - Qiita
これを元にフィールドを作成すると以下のようになります。 ここでitemというラベルの配下にamount〜priceまでありますが、1つの親フィールドに対して、複数の子フィールドを関係付けることができます。これにより、データ項目をまとめて扱うことができるようです。 2. データセットの作成・アノテーション 次にCloud Storageから画像をデータセットとして扱えるようにDocumentAI側にインポートします。 今回はあらかじめ写真で撮っておいたレシートの画像をCloud Storageに配置してあります。 DocumentAIの左のタブの「ビルド」を押すと以下のような画面に遷移します。 青ボタンの「ドキュメントをインポート」を押すとインポートする際の条件を指定することができます。 事前に用意したバケットを指定します。この段階ではデータ分割（トレーニング用データかテスト用データか）の選
検索エンジン最適化（SEO）スターター ガイド
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 検索エンジン最適化（SEO）スターター ガイド ウェブサイトの構築時には、ユーザーを念頭に置き、見つけやすく閲覧しやすいサイトになるよう工夫するのが普通です。検索エンジンもユーザーの一種ですが、コンテンツを見つけるためにユーザーの手助けをします。SEO（検索エンジン最適化）では、検索エンジンにコンテンツを理解させることで、ユーザーが検索エンジンからサイトを見つけてアクセスすべきかどうかを判断できるようにします。 検索の基本事項では、ウェブサイトが Google 検索の表示対象となるために特に重要となる事項を説明しています。Google のインデックスに確実に登録される方法はありませんが、検索の基本事項に沿って作成したサイトは Google の検索結果に表示されやすくなります。SEO とは
小売のベイシアGはなぜエンジニアが採用できる？年収アップよりも大切だったこと
1985年、福島県生まれ。慶應義塾大学文学部卒業。IT系ニュースサイトを運営するアイティメディアで情報システム部に在籍し、エンタープライズIT領域において年間60本ほどのイベントを企画。2018年10月、フリーに転向。現在は記者、広報、イベント企画、ブランドアンバサダー、マネージャーとして、行政から民間まで幅広く記事執筆、企画運営に奔走している。著書『ルポ 日本のDX最前線』（集英社インターナショナル） Twitter：https://twitter.com/sakaisaketen 酒井真弓のDX最前線 2018年に経済産業省のレポートが「DXの壁」を指摘したように、日本では、DX（デジタルトランスフォーメーション）が遅れているとよく言われている。また、「日本はもはやIT後進国」「なぜアメリカのGAFAや中国のBATHと渡り合える企業が日本では生まれないのか」などの悲観的な意見もしばしば
dbtのモデルとLooker Studioのレポートの依存関係をexposureで表現して、データ管理を効率的に行なおう - yasuhisa's blog
シリーズの第三弾です。読者の宿題にしてたけど、誰も書いてくれなさそうだったので結局自分で書きました。 背景 Looker StudioはGoogle Workspaceを使っていれば基本的に無料で使えますし*1、権限管理にGoogle Groupとも連携できるので、人気のBIの一つだと思います。私が初めて触ったBIもLooker Studioだったので、(API強化して欲しいとか不満は山のようにありつつも)何だかんだで憎めないし、さっとダッシュボード作りたいときはLooker Studioを使うことが多いです。会社によっては社内の公式のダッシュボードをLooker Studioで作っているところもあると思います。 dbtで作ったテーブルがConnected Sheetsから参照されている場合、一定程度利用されているスプレッドシートからのテーブルの参照状況はデータ基盤を管理する人間としては把
My Predictions for Data Engineering in 2024
My prediction for 2024 and data engineering is this… Who cares! Seriously. You can’t control what happens, so instead of worrying about what will happen, focus on the things you can control. Like… Photo by Xan Griffin on Unsplash1. Building a Learning Habit.This year, make learning a priority. Try your hardest to establish a solid learning habit. If you don’t have time for it, MAKE TIME! No one el
What is Analytics Engineering?
Claire Carroll As the sole analyst of a fast-growing Sydney startup, Claire experienced the pain of the traditional analyst workflow—stuck on a hamster wheel, an ever-growing backlog, and numbers that never quite matched up. So she taught herself dbt, the command line, version control and brought all the rigor of analytics engineering to her team. Along the way, she fell so in love with dbt that s
Analytics Engineeringチームの目標管理
発表した場所: https://timeedev.connpass.com/event/299088/ 発表者: https://twitter.com/__hiza__
Snowflakeの力を引き出すためのdbtを活用したデータ基盤開発の全貌 - CARTA TECH BLOG
当記事は、dbtのカレンダー | Advent Calendar 2023 - Qiita の23日目の記事です。 こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804です。データエンジニアリングのほか、組織運営やデータエンジニア育成にも携わっています。 本記事では、Snowflakeを中心とした当社のデータ基盤「Vision」と、その中核であるdbtの利用について深掘りします。dbtを活用することで、SQLのみでデータパイプラインを効率的に構築し、作業の効率化を図っています。 dbt導入の詳しい導入背景は以下のスライドでご覧いただけます：広告レポーティング基盤に、dbtを導入したら別物になった話 / tokyo-dbt-meetup-4 - Speaker Deck。 私たちのチームでは、ビジネスに直接価値を提供しているdbtモデルの開発はプロ
友人が「感情を率直に扱えたら論理的」と言っていた話。 - フジイユウジ::ドットネット
ある程度、矛盾なく一貫性ある説明として通っていると考えていることをAさんがBさんに伝えたところ、Bさんはちょっとイラついた態度で「なんとなく違う気がする」と返してきた。Aさんは「その違う気とはなんなんのか説明してくれ。論理的ではない」と切り替えした…… これ、Aさん気の毒だなあと思いましたよね。 もちろん僕もそうなのですが、先日ある分野の研究者をやっている友人とご飯を食べたときに「感情を率直に扱えたら論理的」というようなことを言っていました。 ニンゲンなのだから誰しも感情はあるのに、感情が動くことに対して「論理的ではない」と悪いことであるような指摘をするような人や論調があるが、あれは良くない。 こんな感じの話からスタートして出てきた言葉だったと思います。 たぶん。ちゃんと覚えてないけど。 ご飯を食べながらの雑談での会話なので、この話に出てくる「論理」が厳密な意味での「論理」であるかは置いて
dbtで管理しているデータの可用性をelementaryで分析する - yasuhisa's blog
データの可用性を可視化したい データの可用性の解像度を上げたい: elementary-data elementaryによる細かい可視化 大雑把にデータセット単位で可用性を可視化したい まとめ データの可用性を可視化したい データ品質は正確性や最新性など様々な項目に分解することができますが、可用性(Availability)はその中でも基礎的な項目です。使いたいときにデータが使えないと困るので。 自分が所属しているチームはdbt(cli)およびdbt cloudを使っていますが、可用性を考えるのであれば cli: dbt runの実行結果 dbt cloud: Jobsの実行結果 をそれぞれ確認したり、こけているようであればアラートを飛ばすという運用が多いと思います。これだけだと「いつこけた」しか分からないので、Datadogを使って「いつこけた」「いつ復旧した」「こけて落ちていた時間はど
Data Developer Platform
Home Data Developer Platform¶ A Data Platform Specification, open for adoption by any data platform developer. A modern way to run data engineering teams¶ Data teams are drained from continuously plumbing integrations and fragile pipelines, which leaves little to no time to focus on the real deal - data and data applications. Businesses that have a good grasp on data realise that today data makes
GitHub - Hiflylabs/awesome-dbt: A curated list of awesome dbt resources
Courses from where you can get started with Analytics Engineering. The Ultimate Guide to dbt - A comprehensive canvas guide to dbt, from the basics to advanced topics. dbt in a real world scenario, A Beginner dbt tutorial - A beginner tutorial to understand dbt with a real world example. Mastering dbt: Beginner to Pro - Paid Udemy course that covers theory, building a dbt project from scratch, and
Data quality dimensions: Tackling data quality with intentionality | dbt Labs
Blog Data quality dimensions: Tackling data quality with intentionality If you’re reading this page, you’re looking to improve the data quality within your organization. You know there’s room for improvement, and you want to learn the secret sauce that makes for higher data quality. This is where we take a step back and take a good, hard look at our industry: there is no secret sauce for higher qu
データカタログの本格導入に向けたdbt-osmosisへの貢献について紹介します - 10X Product Blog
Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ管理の仕事をしています。 最近、データカタログの本格導入の準備を進めていて、それに向けた補助ツールとしてdbt-osmosisもゴリゴリと使い倒すようになってきました。その中で「10Xでの運用を考えるとこういうケースで困るし、前職までの経験を踏まえると解決できると他社でも役に立ちそう」「この挙動は普通にバグっぽいな...」というものがあったので、立て続けにPull Requestを送りました。ありがたいことに全部マージしてもらえましたが、せっかくなのでデータカタログの導入に向けてdbt-osmosisを採用した背景やどういったPull Requestを送ったか紹介します。 データカタログ導入の必要性 メタデータをいかに効率よく入力するか: dbt-osmosisの導入 取り込
Data Contract について調べた
データエンジニアリングの領域で少し前から目にするようになった “data contract” という言葉。 なんとなく今の業務で困っている課題の解決になりそうな気がしつつもよくわかっていなかったので調べてみた。 data contract について語られているいくつかのブログ記事などを参考にしている。 Data Contract とは#データの schema というのはナマモノで、いろいろな理由で変更されることがある。 schema を変更する場合、その schema のデータ (table や log) が所属する単一のビジネス機能や application のドメインで行われることになる。 そのドメインの閉じた世界で考える分にはこれで問題ないのだが、DWH や data lake など組織レベルのデータ基盤でデータを流通していた場合はその先のことも考えないといけなくなる。 このようにチ
dbt-osmosisを利用して、なるべくコストを抑えつつ効率的にメタデータ管理を行なう - yasuhisa's blog
3行まとめ ビジネスメタデータはデータ生成者にとってもデータ活用者にとっても重要 しかし、カラムのメタデータを同じ説明をあちこちに書いていくのは大変... dbt-osmosisはビジネスメタデータの管理を省力化したり、自動化できる便利なツール 3行まとめ 背景: メタデータの重要さとメタデータ管理の大変さ 大変さ1: 多段のデータレイヤーにどうメタデータを付与していくか 大変さ2: 継続的な運用をどうするか dbt-osmosisでメタデータ管理を行なう 依存関係を考慮したメタデータの伝播 自動化による継続的な運用 基本的な使い方 使ってみた感想 背景: メタデータの重要さとメタデータ管理の大変さ データマネジメントにおいてメタデータの重要性は今さら説明するまでもないと思います。メタデータは以下の3種類が代表的です。 A: テクニカルメタデータ B: オペレーショナルメタデータ C: ビ
Python(pytest)でテスト書くならfixture,conftest,parametrizeを理解すると世界が一気に変わる
Python(pytest)でテスト書くならfixture,conftest,parametrizeを理解すると世界が一気に変わる 概要 Pythonのテストライブラリといえばpytestが一般的です。 Python標準のuniitestとは異なり、クラスベースではなく関数ベースでテストコードを記述することが一般的ですが、fixture,conftest,parametrizeを理解すると一気に世界が変わり、テスト体験が圧倒的に向上するため、これらの実装方法を紹介します。 リポジトリ 本記事の説明に使用しているサンプルのテスト実装は、以下のリポジトリです。 想定読者 PythonやGitの基本的な使い方を理解している方を想定しているため、基本的な用語説明は省略しています。 環境 エンジニアの利用率の高いmacOSを前提として説明していますので、その他の環境の方は随時読み替えてください。 開
溢れる「ダークパターン」 - 叡智の三猿
スマホアプリや Webサイトを使うとき、利用規約やプライバシーポリシーをきっちり読む人はどのくらいいるのだろう？ 契約に関わる文章は長いうえに、無味乾燥で、真剣に読もうとしても、言葉が頭に入ってこない感じがします。 そんな、無味乾燥な規約でも、アプリの運営側は、利用者に規約への同意を求める必要があります。 アプリの仕組みで利用者に対して、規約のページに強制的に飛ばし、利用者が長い文章をスクロールして、規約の最後にいくと ボタンを表示させたりします。 サイトによっては、 と が並べられ、デフォルトでは、 に が入っていることも多いと思います。運営者は利用者に意識して、 側に を入れさせることで、規約に同意したことを証明させたい意図があります。 利用規約には個人情報の取り扱いが明記されています。個人情報は、利用目的を明確にするという原則があります。個人情報の収集目的を利用者に明確にアナウンスし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
シュア、XLRマイクをUSB-C接続にする小型オーディオインターフェイス
テレビスピーカーとしても使えるELACのHDMI搭載スピーカー「DCB41」レビュー - 価格.comマガジン
