現有的人臉識別系統，在用戶配合，采集條件理想的情況下，可以達到滿意的效果。但在用戶不配合、采集條件不理想的情況下，現有系統的識別率會急劇下降。比如在對比人臉的時候，和系統存儲的人臉不一樣。比如剃了胡子，換了發型，多加了眼鏡，換了表情，都可能導致對比失敗。
隨著移動互聯網的興起，一些人臉識別技術的開發者已經將這項技術應用到了現場，比如快樂死靈(Happy dead ringer)，根據人臉輪廓、膚色、紋理、紋理、顏色、光照等特征，計算照片中主角與明星的相似度。
人臉識別被認為是生物特征識別乃至人工智能領域的難點研究課題之一。人臉識別的難度主要是由人臉作為生物特征的特性造成的。
類似
不同個體之間差別不大。所有的人臉在結構上都是相似的，甚至面部器官的結構和外觀也是相似的。這一特征有利于利用人臉進行定位，但不利于利用人臉區分人類個體。
可變性
人臉的外觀是很不穩定的，人可以通過人臉的變化產生很多表情，從不同的觀察角度看人臉的視覺圖像也有很大的不同。此外，人臉識別還會受到光照條件的影響(如白天黑夜、室內室外等。)，臉的很多遮蓋物(比如口罩，墨鏡，頭發，胡子等。)，年齡等諸多因素。
在人臉識別中，類變化應該被放大作為區分個體的標準，而第二類變化應該被剔除，因為它們可以代表同一個個體。通常，階級的變化稱為階級間的差異，第二種變化稱為階級內的差異。對于人臉來說，類內變異往往大于類間變異，這使得在類內變異的干擾下，利用類間變異區分個體變得異常困難。
傳統的人臉識別技術主要是基于可見光圖像，這也是我們熟悉的識別方法，已經發展了30多年。但是這種方法有不可克服的缺陷，特別是當環境光照變化時，識別效果會急劇下降，不能滿足實際系統的需要。解決光照問題的有三維圖像人臉識別和熱成像人臉識別。但這兩種技術都遠未成熟，識別效果也不盡如人意。
一種快速發展的解決方案是基于主動近紅外圖像的多光源人臉識別技術。它能克服光線變化的影響，取得了良好的識別性能。整體系統性能在準確率、穩定性和速度方面都超過了三維圖像人臉識別。這項技術在近兩三年發展迅速，使得人臉識別技術逐漸實用化。