メルカリにおけるA/Bテスト標準化への取り組み｜Mercari Analytics Blog
こんにちは、Analytics Infra チームの @yaginuuun です。主にA/Bテスト周りの改善や Recommendation 関連の分析を担当しています。 当ブログは 2021/07/28 に開催された Retty ✕ Mercari Analyst Talk Night! におけるLT内容を改めて少し補足を加えながらブログの形に書き起こしたものです。 当日の資料はこちらです。 A/Bテストとは A/Bテストは Randomized Controlled Trial (RCT) とも呼ばれる効果検証手法です。最も単純な例をあげると、二つの群を用意し片方の群にのみ何かの変更を加えることでその変更による数値変動を評価します。 A/Bテスト自体は医学や農業の分野など幅広く行われています。特に医学の領域においては Level of Evidence という考え方があるようですが、A
安定したリリースを継続するためのテストとテストレベルの話 - クックパッド開発者ブログ
こんにちは。技術部の松尾(@Kazu_cocoa)です。 安定したリリースを継続して回す為には、開発プロセスや実装も大事ですが、その中でどのような確認、テストを継続して行うかも大切になります。そこで、開発プロセスにおけるテストをどのように切り分けて、構築していくかという考え方に関して少し整理してみようと思います。 これにより、実施されているテストによって検出できる/できない不具合がどのようなものか、それが開発中のどこで防ぐことができるのかを整理できるようになってくると思います。また、安定したリリースを実現するためのボトルネック解消に向けて、どのレベルでテストを充実させると効率的にそれが達成できるかという所も考えることができるようになります。 テストレベルによるテストの区分け テストレベルという言葉にも様々な定義がありますが、ここではざっくりとテスト対象となる範囲や領域を意味することにします
googletestではじめるC++の単体テスト - シリコンの谷のゾンビ
今年度になって初めて単体テストなるものを使うようになったゆとりであるが，人間変われば変わるもので，コードを書いたら一緒にテストを書かないと不安を感じるようになった．それまでprintfデバッグでなんとかしてきたC/C++のコーディングもこのままではまずいと思って，巷で評判のgoogletestなるものを使うことにした． 本家のページから最新版をダウンロード(orレポジトリからチェックアウト)して % ./configure % make % sudo make installすればいいんでしょフフン，と思っていたらmake installで怒られた．どうやらv.1.5あたりからgoogletestのアーカイブファイルをその都度作成することを推奨するようになったらしい．ゆとりは想定外の挙動に大層弱いので，これで一晩費やしたことは秘密．というわけで二晩目に何とか動いたので，作業メモ． さて，こ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
