影响人脸识别性能的因素有如下几条：1、 背景和头发：消除背景和头发，只识别脸部图像部分。

　　2、 人脸在图像平面内的平移、缩放、旋转：采用几何规范化，人脸图像经过旋转、平移、缩放后，最后得到的脸部图像为指定大小，两眼水平，两眼距离一定。

　　3、 人脸在图像平面外的偏转和俯仰：可以建立人脸的三维模型，或进行三维融合（morphing），将人脸图象恢复为正面图像。

　　4、 光源位置和强度的变化：采用直方图规范化，可以消除部分光照的影响。采用对称的从阴影恢复形状（symmetric shape from shading）技术，可以得到一个与光源位置无关的图像。

　　5、 年龄的变化：建立人脸图像的老化模型。

　　6、 表情的变化：提取对表情变化不敏感的特征，或者将人脸图像分割为各个器官的图像，分别识别后再综合判断。

　　7、 附着物（眼镜、胡须）的影响。

　　8、 照（摄）相机的变化：同一人使用不同的照（摄）相机拍摄的图像是不同的。

　　测量人脸识别的主要性能指标有：1、 误识率（False Accept Rate）：这是将其他人误作指定人员的概率；2、 拒识率（False Reject Rate）：这是将指定人员误作其它人员的概率。

　　计算机在判别时采用的阈值不同这两个指标也不同。一般情况下，误识率FAR随阈值的增大（放宽条件）而增大，拒识率FRR随阈值的增大而减小。因此，可以采用错误率（Equal Error Rate；ERR）作为性能指标，这是调节阈值，使这FAR和FRR两个指标相等时的FAR 或FRR.人脸识别相对于其他生物特征识别技术具有一个最明显的优势是后验很容易。基本上通过人眼来判断就可以验证对这个人身份认证是否有错误，而其他技术都不可能通过如此简单的方法进行判断，基本上都需要专家和专用设备的配合才能做到。