Developers Summit2023 Summer #devsumi での発表資料です https://event.shoeisha.jp/devsumi/20230727/session/4471/ #devsumiC
はじめに Reproで開発を担当しているEdward Fox (edwardkenfox) です。2021年頃から Repro Booster というプロダクトの立ち上げに携わっており、開発を通して得た知見を共有できればと思い立ち筆を取るに至りました。4年ぶりのテックブログ執筆で少しばかり緊張していますが(?)、張り切ってやっていこうと思います。 Repro Boosterとは 2022年11月に正式リリースした、ウェブサイトの表示速度向上を実現するサービスです。「タグを入れたその日から、Webサイトが速くなる」というタグラインのもと、タグ(JavaScript)の設置だけでウェブサイトの表示速度が簡単に実現できるということで、リリース以来多くのお客様・サイトでご利用いただいています。 Repro BoosterではServiceWorkerと呼ばれる技術を最大限活用して多くの機能が実現さ
dbt のテストというとデータそのものの品質などをテストするのが主な目的で、モデルのロジックそのものをテストするにはあまり適していなかったりします。 ロジックテストを良しなにできないか調査したところ dbt-unit-testing というパッケージが良さげだな~と思ったので今回はこちらを触ってみます。 TL;DR dbt-unit-testing はモデルのロジックテストに使えるパッケージ 依存モデルにモックデータを仕込むことができる モックデータは select 文または表形式で定義可能 テスト結果が表形式でわかりやすい モデルの結合テストにも対応 使ってみる dbt のサンプルプロジェクトを使ってユニットテストを実装してみます。 初期設定 packages.yml に以下を追記し、dbt deps を実行します。 packages: - git: "https://github.co
iamlive はクライアント側での AWS API 呼び出しを監視して、 IAM ポリシーを作成してくれるツール https://github.com/iann0036/iamlive の README から引用 セットアップ cd /tmp curl --location https://github.com/iann0036/iamlive/releases/download/v0.10/iamlive-v0.10-darwin-amd64.tar.gz --remote-name tar xzvf iamlive-v0.10-darwin-amd64.tar.gz ./iamlive --set-ini # iamlive を起動しているのとは別のターミナルから AWS CLI で `aws sts get-caller-identity` などを実行し、 IAM ポリシーが表示さ
Data Version Control(DVC)とは? データ分析や機械学習のコードを書いているときに遭遇する以下のような問題を解決してくれるツールです。 データセットの管理がつらい 例えば、Gitのリポジトリで大きい容量のデータセットを管理することは不便になりがち Githubには1ファイルのサイズ上限100MBで、それ以上はpushできない(https://help.github.com/articles/what-is-my-disk-quota/) 実験条件が微妙に異なるときのバージョン管理 ハイパパラメータ、前処理、データセットが異なるときバージョン管理は煩雑になりがち 実験を再現できるようにする工夫が必要 データセット、スクリプト、各種パラメータなどがそろっていないとモデル作成が再現できない 中間生成ファイルが階層的にあり、最終的にモデルが生成されるといった時の再現性の担保
DuckDB is a fast in-process analytical database DuckDB supports a feature-rich SQL dialect complemented with deep integrations into client APIs. DuckDB v1.1.0 was released in September 2024. Installation Documentation -- Get the top-3 busiest train stations SELECT station_name, count(*) AS num_services FROM train_services GROUP BY ALL ORDER BY num_services DESC LIMIT 3;
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データ統括本部でYahoo!広告のデータエンジニアをしている江島です。 本記事では、Yahoo!広告のデータ分析環境であるデータレイク上のデータを、Apache Hudi を用いてレコード単位で削除可能にした事例を紹介します。 Yahoo!広告のデータ分析環境 Yahoo!広告における データマーケティングソリューション では、ヤフーの持つ圧倒的な量と質のデータを活用し、消費者理解や広告効果分析を目的としたさまざまな商品を提供しています。 これらの商品を提供するための裏側には広告に関する膨大なログや多種多様なサービスのログを使ってデータ分析や機械学習を行うためのデータ基盤が必要です。データマーケティングソリューションで
保護者の平日休みに合わせて子どもが学校を休み、家族で活動する機会をつくる新しい制度「ラーケーションの日」について、導入を呼びかけている県と県教委は、名古屋市を除く県内全五十三市町村が導入すると明らかにした。県立の全高校と全特別支援学校、十九市町の全小中学校がモデル事業として九月から取得できる態勢を整える。 ラーケーションの日は県独自の取り組みで、九月から本年度中に二日の休みを取得でき、欠席扱いにならない。授業を受けられなかった子どもは家庭で自習してもらう。保護者と子どもが相談して日取りを決め、事前にメールなどで学校に届け出る。家族で旅行に出かけることもできる。来年度からは年三日に増やす。 モデル事業の実施校では、保護者への制度の周知や学校を休む子どもへの配布物など事務負担増に対応するため、各校に非常勤の校務支援員を配置する。本年度末に保護者や子ども、教員を対象にアンケートを行い課題を検証す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く