A guide to ETL Testing
Get started with ETL Testing using this blog which is written based on real-world industry case studies and experience. Even though the above diagram is a bit of simplification, this is how most ETL workflows may look like. To put simply, ETL is an automated process to move data from source systems to target systems, involving various stages for Extract, Transform and Load sub-processes, without d
pytestを今更ながらまとめてみる
はじめに 今年こそはダイエットを心に決めた、ノベルワークスのりょうちん（ryotech34）です。 cursorを使用してpytestでテストを書かせた際に、知らないデコレータなど知識不足が目についたので改めてpytestについてまとめてみました。 対象読者 pytestにあまり触れたことがない方 cursorで初めてpytestを使うよっていう方 今回話さないこと セットアップと基本的な実行方法 unittestなどの別ライブラリとの比較 pytestとは pythonでテストコードを書く際に用いられる外部ライブラリです。 簡単なコードサンプル集は寺田さんの記事に詳しくまとめられていました。 今回は、 よく使う便利な機能 cursorに改めて指示しないと別のやり方で実行してしまう機能 をピックアップしました。 fixture fixtureとは、テストの前処理や後処理など「テストに必要な
BigQueryエミュレータを使ったETLのインテグレーションテスト - MonotaRO Tech Blog
TL;DR BigQuery Emulator と fake-gcs-server を組み合わせることでbqコマンドでCSVファイルを読み込んでETLのインテグレーションテストができた。 はじめに こんにちは。先日こちらの記事を書いたCTO-Officeの藤本です。そこでは書ききれなかったETLについて書いておきたいと思います。 ビッグデータを扱うETLのテストを行いたい場合に、DBからExtractするEの部分など、ユニットテストやモックでは担保できないところが出てきます。 そのようなインテグレーションテストに、OSSのBigQuery Emulatorを活用できる場合があります。 背景 モノタロウでは、マイクロサービスで実装したGoのロジックをApache Beam Go SDKでラップして、Cloud Dataflowで定期実行することで商品の出荷目安のデータを生成して様々なチャネル
Goによるrsc.io/scriptパッケージを用いた独自スクリプトでテストケースを記述するテスト手法紹介 - Flavor Wheel Engineering
本記事は、はてなエンジニア - Qiita Advent Calendar 2024 - Qiitaの11日目の記事です。昨日は、 id:Windymelt さんの esbuildでScala.jsをビルドして呼べるようにするプラグインを作った話 - Lambdaカクテル でした。 Goでユニットテストを書くときは、Table Driven Tests が頻繁に使われています。Table Driven Test によって一定程度読みやすいテストコードを書くことができますが、入力の数が多かったり比較項目が複雑になるとアサーション部分で条件分岐が起きてしまい書きにくくなることがあります。 そこで柔軟にテストケースを記述できる script-based test cases を導入したテスト手法を紹介したいです。 script-based test cases とは、 research!rsc:
t_wadaさんによる2024年度版TDDワークショップを開催しました - Pepabo Tech Portal
はじめに 技術部プラットフォームグループでSREをしているchiroruです。 ペパボでは、2023年に引き続き今年も日本のTest-Driven Development(TDD) の第一人者である@t_wadaさんをお招きしてTDDワークショップを開催しました。今回は総勢9名で丸っと1日ワークショップに参加してきました。その参加パートナーから開催レポートをお届けします。 昨年のワークショップについては『twadaさんによる2023年度版TDDワークショップを開催しました』をご覧ください。また、なぜTDDワークショップを開催しているのかについては、過去の記事『ふつうの開発と TDD ワークショップ』で詳しく説明しております。 はじめに ワークショップの内容 概要 スケジュール 講義・座学 ワークショップ・1on1コードレビュー 全体レビュー・質疑応答 TDDワークショップに参加した各パート
「Terraformテスト入門」というタイトルでDevelopersIO 2024 Odysseyに登壇しました #cm_odyssey #devio2024 | DevelopersIO
DevelopersIO 2024 Odyssey Day9(7/24)にて、「Terraformテスト入門」というタイトルでお話ししました。 登壇資料 おわりに Terraformのテストについてお話しました。テスト手法もツールも色々あります。 今回の発表で、ざっくりイメージつけてもらえたら幸いです。 今回紹介したほとんどのツールや機能は無料で使えます。 興味を持った方は、実際に機能やツールを触ってみてください。 今回参考にさせていただいた、以下の資料もぜひチェックしてみてください。 書籍: 詳解Terraform(9章) HashiCorp Blog: Testing HashiCorp Terraform 以上、AWS事業本部の佐藤(@chari7311)でした。
テストコードを書く上で個人的に気をつけている5つのこと - Qiita
はじめに エンジニアの皆様、テストコードはちゃんと書けておりますでしょうか？（挨拶） どんな開発言語や開発手法を導入していたとしても、アプリケーションの機能実装とテストは表裏一体であると言えます。場合によっては機能の作り込みよりも時間をかけるべきケースが多いくらい重要である（・・・と信じたい）反面、デッドラインが近づくにつれて真っ先に工数が削られやすく軽視されがちな工程でもあります。 時間に追われてテストコードを書いた結果、テストの体をなしていないコードになっていたり後で見返したときに記述が煩雑すぎてメンテ不能になっていたり・・・といった苦い経験は誰しもがあるかと思います。かくいう自分もそんなことは多々ありました。 そんな今までの経験則を基に「自分がテストコードを書くにあたってどんなことを意識しているのか？」をいくつかピックアップして備忘録も兼ねて紹介したいと思います。 一応注意なのですが
JJUG CCC 2024 Spring：テストコードが根付くチームを立ち上げるために考えたいこと | ドクセル
スライド概要 JJUG CCC 2024 Springでのスポンサーセッション「テストコードが根付くチームを立ち上げるために考えたいこと」の公開資料です。 シンプレクスは1997年の創業以来、メガバンクや大手総合証券を筆頭に、日本を代表する金融機関のテクノロジーパートナーとしてビジネスを展開してきました。現在では、金融領域で培った豊富なノウハウを活用し、金融機関以外の領域でもソリューションを展開しています。2019年3月にはAI企業のDeep Percept株式会社、2021年4月には総合コンサルティングファームのXspear Consulting株式会社がグループに加わり、創業時より付加価値の創造に取り組んできたシンプレクスとワンチームとなって、公的機関や金融機関、各業界をリードする企業のデジタルトランスフォーメーション（DX）の推進を支援しています。
API GatewayのテストをBoto3で行ってみた（AWS SDK for Python） - NRIネットコムBlog
本記事は 基盤デザインウィーク 4日目の記事です。 🌈 3日目 ▶▶ 本記事 ▶▶ 5日目 💻 はじめに pytest・Boto3・API Gatewayについて pytestとは Boto3とは API Gatewayとは やってみた API GatewayでMock作成 作成したMockのテストをBoto3で実施 リソースパスのテスト レスポンス内容のテスト おわりに はじめに はじめまして。基デザウィーク4日目を担当します、入社1年目の深瀬です。昨年8月に基盤デザイン事業部へ配属となり、インフラエンジニアの道を進むことになりました。最初は「インフラ!?うっ…頭が痛い。。」と思っていましたが、いざ配属されるとなんとなく思い描いていたのとは違い、今のところ楽しくインフラエンジニアライフを過ごせています。 本記事では、Amazon API Gateway（以下API Gateway）の
testcontainers-python: pytest 実行時に使い捨て可能な LocalStack を起動する - kakakakakku blog
Testcontainers を使うと，テストコードを実行するときに必要になるデータベース・キャッシュ・キューなどの依存関係をコード上で管理できて，実行後にはコンテナを自動的に消してくれるという使い捨て可能な仕組みを簡単に作れる❗️Testcontainers のサイトに載っている「Test dependencies as code」という表現はピッタリだと思う👌 testcontainers.com Testcontainers は Java / Go / .NET / Rust など多くの言語をサポートしているけど，今回は Python 用の testcontainers-python を試してみた．検証に使ったコードを紹介しつつ，簡単にまとめておく✍ また Testcontainers Cloud もあったりする🌩 testcontainers.com 前提 今回は以下の前提で試
効率的にリファクタリングを進めるための下準備教えます - MonotaRO Tech Blog
はじめに ※ (2024/03/14 16:33) 「インテグレーションテストの気軽な実行・変更ができない」節にて、データのクリーンアップを teardownで行うよう修正 EC開発-B グループの岡崎と EC開発-A グループの菊川です。2人とも普段は MonotaRO の EC サイトの開発に従事しています。 今回は、昨年11月に開催した、テストとリファクタリングのためのワークショップの中で行ったライブコーディングの準備をするにあたって困ったことについて記載します。 ライブコーディングでは、参加者全員の前で実際のプロダクトのソースコードをリファクタリングする、ということにし、それにあたって研修の運営メンバーでリファクタリングに取り組んでみました。ただ闇雲にリファクタリングするのではなく、研修では参加者に「どのような流れや考え方でリファクタリングをするか」を理解してもらえるように、運営メ
[AWS CDK]Seleniumを動かすDockerイメージをLambdaで実行する | DevelopersIO
はじめに 最近 Lambda 上で Selenium を動かしていたのですが、Python3.12 へランタイムを上げたことで動作しなくなってしまいました。 これまでは Lambda レイヤーを使って chromedriver と headless-chromium をレイヤー化する方法を利用していました。 しかし Lambda のランタイムが変わると互換性の関係からうまくいかなくなります。 動作しなくなった原因は Selenium で利用するchromedriverやheadless-chromiumの互換性がないことです。ここが Lambda 上で Selenium を使う上で一番面倒なところで、新しいバージョンを使おうとしても、どのバージョンが正しく動作するのかが分かりません。 そこで、調べていたところdocker-selenium-lambdaという Lambda 上で Selen
![[AWS CDK]Seleniumを動かすDockerイメージをLambdaで実行する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3f047ea142eff06ac03d91ff00ec5d6bf61e4284/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-lambda.png)
テストコードにはテストの意図を込めよう #vstat
リーダブルなテストコードについて考えよう～VeriServe Test Automation Talk No.3～で発表した資料です。 【発表資料中のURL】 ※複数…
龍が如く7のすごいテストをなぜ我々は採用できないのか | フューチャー技術ブログ
僕自身は龍が如くシリーズは、クロヒョウ2、極1、極2、０、3、4、5、6、0とやって、7はRPGだし主人公違うしなぁと思って、買うだけ買って後でやろうと積んでいたところ、CEDECのすごいテストの話を聞いて、（オリジナル版を積んでいたのに)インターナショナル版を買って始めてしまうぐらいインパクトがあり（そして積んでたのを後悔したぐらいよかった）ました。それ以降、維新極、7外伝、8は発売日に買ってプレイしてます。 こちらにその講演の詳細なレポートがこちらにあります。 https://www.famitsu.com/news/202009/11205564.html その8の発売前に龍が如くスタジオの技術責任者の方がXのアカウントを開設して、C++のコードを投稿されていたのですが、それに対してエンプラ開発目線で意見しているようなツイートを見かけて、「いや、システムの特性全然違うから」と思い筆を
Goのテスト安定性向上のためにFlakyなテストを再試行する機能を導入する提案 - Flavor Wheel Engineering
Go言語にFlakyなテストへのサポートを追加する提案が面白かったので紹介します。 概要 Flakyなテストとは、コードに変更がないにもかかわらずテストが成功したり失敗したりと不安定な実行結果になるテストのことです。 テスト結果は本来なら全て成功ならリリース可能、1つでも失敗すればバグがあるのでリリース不可のようにリリースの可否を判断するための情報です。 そのため、不安定なテストは書かないようにすることが大前提です。 しかし、実際にはflakyであるとわかっていても修正が難しかったり、修正するための時間がないのでそのまま残すという判断をすることもあります。 Flakyなテストは削除するというのも手ではありますが不安定であってもテストが無いよりはマシとして残すこともあると思います。 github.com この提案では、Flakyなテストを扱うための機能を追加するものです。 初めの提案内容は、
負荷テストツール「k6」入門
こんにちは。 PharmaX でエンジニアをしている諸岡（@hakoten）です。 この記事の概要 APIの負荷テストツールにGrafana Labs社が開発している「k6」というツールがあります。 k6はオープンソースのCLIツールですが、 「Grafana Cloud k6」というクラウドベースSaaSツールも提供されている便利なツールです。 ローカルのk6は、負荷テストの時に使ったことはあったのですが、真面目に負荷テストの設計をするにあたり、ちゃんと理解したかったため、改めて基本から調べてみました。k6の入門記事としてお役に立てれば嬉しいです。 インストール Macでは、k6を「Homebrew」でインストールすることができます。
t-wadaさんと学ぶレガシーコード改善ワークショップのつくり方～虎の巻～ - Qiita
一例としては、下記のような結果になります。 Must 一日で終わる分量である データベース接続を伴うメソッドへの仕様化テストが書ける Should メソッドやクラス分割などのリファクタリングを試せる程度の複雑さがある Could 学び手にとって、ドメイン知識が理解しやすい 自動テストのサイズダウンが体験できる 題材づくり 実際の製品のコードの中から、設定したゴールを満たすようなコードを探します。選んだコードに対して実際にテストを書いて保護し、内部品質の改善に挑戦していきます。 複数回のモブプログラミングを実施し、t-wadaさんからのナビゲートをいただきながら、作問を進めていきました。作問チームのメンバーにとっては、ここが一番楽しく、スキルアップができるところです。 その結果を作問チームとしての模範解答例としたうえで、当日のワークショップで参加者に手を動かしてもらう範囲を決めます。 施設・
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHPカンファレンス小田原2024
単体テストを書かない技術 #phpcon_odawara
読みやすいテストコードへの一歩、適切なAssertionを使う
