还在被人脸识别准确率指标欺骗吗? 人脸识别指标( 二 )


人脸搜索
1:N人脸识别评估分为两种情况开集识别(open-set identification)和闭集识别(close-set identification) 。
在评估1:N的人脸识别时我们需要三组图像,galleryG(底库,已注册的人脸库),probe(探针,待识别的人脸图像),probe分为Pn和Pg,Pn中的人脸照片不在gallery中,被称为imposter,Pg中的人脸照片在gallery中,被称为genius 。
开集识别
开集识别(open-set identification):开集识别需要解决的问题是判断一个probePj在不在gallery中,如果在这个人是谁 。Pj可以在gallery中,也可以不在 。
假设galleryG={g1,g2.....gn},gi表示gallery中的一个人,待测人脸Pj与每个gi计算一个相似度,用Sji表示,Sji表示两张人脸图片是同一个人的概率 。我们将G中的每一个人与Pj计算相似度,得到一个集合S{sj1,sj2.....sjn},对集合S进行由大到小的排序(用的欧式距离就是从小到大排序) 。假定与Pj在gallery中对应人的是g?,定义rank(Pj)=n表示Pj与g?的相似度排在第n位,rank1也称为top match 。
对于刷脸支付就是一个top1的open-set identification,人脸身份验证就是一个topk的open-set identification 。
闭集识别
闭集识别(close-set identification):闭集识别需要解决的问题是,在gallery中找到probePj,Pj属于gallery中 。与开集识别一样,闭集识别关心的也是在topk中是否包含正确的识别结果 。
评估指标
下面的评估指标在开集识别和闭集识别中都适用
DIR
DIR(Detection and Identification Rate):指Pj∈Pg与G中的真实的结果s?之间的相似度大于τ且大于其他所有与Pj不是同一个人的相似度在Pg中所占的比例,DIR衡量的是库内人员的通过性能 。计算公式如下
还在被人脸识别准确率指标欺骗吗?
下面我们来举例说明一下
假设G中有A、B、C三个人的人脸信息每个人有一张照片,Pj是属于C的另一张人脸照片,如果Pj与A、B、C的相似度分别为0.5、0.6、0.9,τ为0.7,那么此时才算是匹配正确 。如果Pj与C的相似度为0.68<τ,会被认为是库外人员从而导致漏匹配 。如果Pj与A、B、C的相似度为0.6、0.8、0.78,那么此时Pj的top1匹配应该是B,因为C与Pj的相似度排在第二位是rank(Pj)=2,此时Pj匹配上了错误的人 。
FAR
FAR(False Alarm Rate):指Pj∈Pn与G中最相似的人相似度大于τ在Pn中所占的比例,FAR衡量的是对库外人脸的拒绝性能也是人脸识别系统性的保证 。计算公式如下
还在被人脸识别准确率指标欺骗吗?
对于1:N的人脸搜索来说,当FAR越低的情况下,DIR越高时,表示模型的性能越好,下面我们通过一个例子来说明一下,这两个评估指标是如何计算的
还在被人脸识别准确率指标欺骗吗?
上表展示了Pg(照片在G中)和Pn(照片不在G中)在gallery(G)中的测试结果,a、b、c在G中分别对应A、B、C,d、e、f均不在G中 。阈值τ取0.7时,我们来计算一下DIR和FIR
a与A的相似度最高,且SaA>τ,所以匹配成功
虽然b与B的相似度SbB>τ,但SbB<SbA,所以匹配错误
c与C的相似度最高,但ScC<τ,所以匹配错误
所以DIR=1/3≈33.33%
d与A的相似度最高,且SdA<τ,因为d不在库中,所以匹配正确
e与C的相似度最高,且SeC>τ,因为c不在库中,所以匹配错误
f与C的相似度最高,且SfC<τ,因为f不在库中,所以匹配正确
所以FAR=1/3≈33.33%
文/来源:机器之路


以上关于本文的内容,仅作参考!温馨提示:如遇健康、疾病相关的问题,请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容,希望对您有所帮助: