myrmecoleonさんの反省文を読んで、率直に情報検索評価研究の勘所だな あと思う部分が含まれていたので、無粋に補足コメントを。 http://d.hatena.ne.jp/myrmecoleon/20071024/1193239434 http://d.hatena.ne.jp/myrmecoleon/20071029/1193665043 そもそも精度・再現率(Precision, Recall)は「数字」による表現だか ら「客観的」(なものだ|のように見える)という誤解は根強いのです。 しかし、これらはそもそもが判定者の主観に頼る数値であるという大前提 があるし、値そのものにも意味はそれほど無いので、要注意。 一般論を言えば、特に文書群が均一でなかったり、対象コンテンツが同一 でないものを比較する場合には、数値的な比較をおこなってはいけません。 私がNTCIRプロジェクトに関わっ