プロダクトの「負債」を「機能」と呼び直す 〜A/Bテストを用いた"価値"の定量化〜 - スタディサプリ Product Team Blog

Quipper で Web Engineer 兼 Engineering Manager を務める @ohbarye です。スタディサプリの開発、その中でも特に合格特訓コースや決済周りの機能開発・保守が主な業務です。 弊社が開発するプロダクト「スタディサプリ」ではA/Bテストを用いたプロダクトの改善を行っています。Quipper の行動指針の一つに "Fact based" という言葉が含まれており、憶測や独断ではなく計測されたデータや事実に基づいて意思決定することが強く推奨されているためです。 このたびスタディサプリにおいて負債と考えられていた機能を「消してよいかどうか」、A/Bテストを通して判断しました。その際に用いた手法や結果、そこから見えたこと、考えたことをご紹介します。 プロダクトの負債とは プロダクトチームにとって負債と考えられていたのは「キャリア決済」という決済手段でした。そ

[ohbarye]

「推測するな、計測せよ 」の格言はパフォーマンスだけでなくステークホルダーの間でブレやすい "価値"についても適用したいと思っているが、なかなか適切な指標を設定するのが難しいことが多い

[teppeis]

すぐ負債って言いたくなるけど、作った機能の価値を検証できてなかったことが問題なんだよね。いい話

[hoxo_m]

A/Bテストの実例をモチベーション含めここまで詳細に書いてくれてるの非常にありがたい。https://twitter.com/ohbarye/status/1001999186202591232

[taketyan]

いい話。合わせて読みたい: https://twitter.com/kenn/status/1002329385154646016

[dkkoma]

それでもキャリア決済は大変なんですよね…

[a2ikm]

“たとえ瞬間、心重ねたとしても”

[myrkky]

「人は不本意な「機能」をしばしば「負債」と呼ぶ」事実に基づく判断は大切だ

[braitom]

負債だと思っていた機能をきちんとA/Bテストした結果、その機能がビジネスに有益であることが判明したという話。憶測や独断ではなく、データという事実に基づいて判定することが大切という実例

[kiririmode]

キャリア決済はクレカ持たない低年齢層が利用すること多いとされるからそこのデータも見てみたいな/利用してるwebservice知らなかった

[sezemi]

テストした結果、自作を止めて、積極的な延期をしてたらプラットフォーム側の機能で実現出来たことを思い出した

[onody_onody]

時間をかかるしめんどうだけど、それをやるに値すると判断できるようにしている Fact baseという指針がとても良い

[tomiyanx]

ファクトがあれば腹落ちするよなぁ

[Falky]

仮説の時点で「キャリア決済は、他の決済手段が使えない人を救っている」とも考えられたはず。人間の思考なんてバイアスだらけ、当てにならないものだよね。

[pendulum]

キャンペーン等を通して政策的にキャリアやIAPのシェアを抑えてるんだと思ってた。でもそうだとするとこのA/Bテストの意味ないよねえ。

[digitalmatic]

いい

[gfx]

"人は不本意な「機能」をしばしば「負債」と呼ぶ"

[masatomon]

便利ワード(この場合は負債)は危険だなあと改めて / fact basedでちゃんと機能と認識できてよかった

[nisisinjuku]

相対的にできない子をバカ呼ばわりしている状態だったのね。ただ、負債だ機能だって言葉遊びをしている場合でもないよね。マイナスイメージを払拭できるよう高効率化する努力をするかABテストしてみてはどうかな？

[rryu]

まあ、3キャリア対応は昔から実装自体は最初から負債だけど役に立っているから維持せざるを得ない感じだったしなあ。

[teracy_junk]

いい話

[houyhnhm]

仮説１、２、が破れ、実際のシェアもあるわけなのであるけども、これ、「A/Bテスト前に気付けたのではないか」とも思う。新規ユーザにしぼった決済手段を確認しておけば・・・・・・

[side_tana]

いい話だった

[tanaka51]

すごい良い話だ… Fact Based をちゃんとやるのすごい

[katzchang]

“人は不本意な「機能」をしばしば「負債」と呼ぶ”

[wozaki]

負債か機能かで、保守する開発者の納得感は違ってくる