讨论：开集测试、闭集测试；training set, test set, Target set, query set

解应春BW

本次讨论内容为
开集测试、闭集测试；training set, test set, Target set（也叫gallery）, query set（也叫probe set）,holding set，及其他

【大侠】彭玺T-A*STAR
向大家请教个问题  人脸识别里面  测试集里面的样本所属于的类没有出现在训练集里 所以 一般遇到这样的测试样本 系统应该reject而不是分类到最相似的一个类  这种问题叫什么问题？谢谢~~~
【大侠】张睿欣 I 腾讯
昨天廖老师分享里有 可以下载ppt看看  http://valse.mmcheng.net/ftp/20150429/
【大侠】彭玺T-A*STAR(65514349) 10:40:27
好的 谢谢哈  ！

【宗师】山世光T计算所
开集识别
【宗师】山世光T计算所
不过，从概念上说，人脸识别里面说的训练集往往和其他问题里面说的训练集不太一样。用于学习模型的训练集往往不包含需要识别的类别。所以，人脸识别的测试集包括Target set（也叫gallery）和query set（也叫probe set），测试集中的人往往和训练集中的人应该是不同的人群。真正要识别的类别是在target set或gallery中的
【大侠】廖胜才T自动化
山老师说得对，人脸识别可能比其他物体识别问题更细化一些，要考虑两种“开集”情况：一是测试集跟训练集可能完全没有相同的人，因此要考虑方法的泛化能力，不能只在训练集上过学习，没法应用到没见过的类别上。这里说的训练集就是山老师说的训练集概念。二是我昨晚说的，测试集又分查询集和注册集，其中查询集里的样本有可能没在注册集里有对应的人，需要能拒绝。有少部分论文把测试集里的注册集也叫做训练集，要注意区分。

【少侠】杨春宇I海鑫
     生物特征识别都是这样的，没有预分类的。
【少侠】杨春宇I海鑫
闭集测试也都是在算法精度低的时期才做的。现在基本不用这种模式了。

【掌门】刘冰D重大
我看有的论文里还提到过holding set这又是什么集？
【宗师】贾伟T中科院
不多，没关系，关键都是精华啊，确实要把training set, test set, Target set（也叫gallery）, query set（也叫probe set）,holding set 这些搞清楚
【大侠】廖胜才T自动化
贾老师，我在http://www.cbsr.ia.ac.cn/users/scliao/projects/operidv1/OPeRID.pdf这篇论文里解释得多一些，讲了4个集合以及他们的关系，还有个示意图

贾伟中科院合肥

赞应春，谢谢！

韩琥计算所

基于LFW的设计的开集测试，两篇文章应该都共享了测试协议:
[1] L. Best-Rowden, H. Han, C. Otto, B. Klare and A. K. Jain, "Unconstrained Face Recognition: Identifying a Person of Interest from a Media Collection", IEEE Transactions on Information Forensics and Security, Vol, 9, No. 12, pp. 2144-2157, December 2014.  [共享 http://biometrics.cse.msu.edu/pubs/databases.html]

[2] S. Liao, Z. Lei, D. Yi, S. Z. Li: A benchmark study of large-scale unconstrained face recognition. IJCB 2014: 1-8 [http://www.cbsr.ia.ac.cn/users/scliao/projects/blufr/]

韩琥计算所

其它的一些开集测试的相关文献：

"Towards Open Set Recognition," Walter J. Scheirer, Anderson Rocha, Archana Sapkota, Terrance E. Boult, IEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMI), July 2013.

"Multi-Class Open Set Recognition Using Probability of Inclusion," Lalit P. Jain, Walter J. Scheirer, Terrance E. Boult, Proceedings of the European Conference on Computer Vision (ECCV), September 2014.

"Probability Models for Open Set Recognition," Walter J. Scheirer, Lalit P. Jain, Terrance E. Boult, IEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMI), November 2014.

"Open Set Fingerprint Spoof Detection Across Novel Fabrication Materials," Ajita Rattani, Walter J. Scheirer, Arun Ross, IEEE Transactions on Information Forensics and Security (T-IFS), November 2015.