セキュリティやプライバシーのユーザビリティ研究では、その提案手法の効果測定のために実際に人間に提案手法を試してもらい、その行動結果やその前後のインタビュー・ヒアリングを使って効果を測定するのが一般的です。 この効果測定はコツが必要というか作法がきちんとありまして、 セキュリティやプライバシではなくユーザビリティ、もっというとCHI(Computer Human Interaction)の世界での作法に近いようです。 その作法は、人間行動の観測手法や実験の対象となる母集団の特徴の記述といったことに加え、その実験をやるにあたって倫理的問題がないかの考察と倫理審査委員会での承認と、、、など多岐にわたります。 そこにセキュリティやプライバシの技術をずっと研究されてきた人たちがユーザビリティ研究に参入してくると、この作法から外れた評価をしてくるためにせっかくの提案がもったいないということが多々あるそ