人臉識別需要積累大量與人臉圖像相關的數據來驗證算法，不斷提高識別準確率，如某神經網絡人臉識別賦值、orl人臉數據庫、麻省理工學院生物與計算學習中心人臉識別數據庫、埃塞克斯大學計算機與電子工程學院人臉識別數據等。
區域特征分析算法結合了計算機圖像處理技術和生物統計學原理，廣泛應用于人臉識別系統中。它利用計算機圖像處理技術從視頻中提取人像特征點，利用生物統計學原理分析并建立數學模型，具有廣闊的發展前景。
人臉識別系統包括圖像采集、人臉定位、圖像預處理和人臉識別(身份確認或身份搜索)。系統的輸入一般是一幅或一系列身份未定的人臉圖像，以及人臉數據庫中若干幅身份已知或對應編碼的人臉圖像，而輸出則是一系列相似度得分，表示待識別人臉的身份。
人臉識別被認為是生物特征識別乃至人工智能領域的難點研究課題之一。人臉識別的難度主要是由人臉作為生物特征的特性造成的。
類似
不同個體之間差別不大。所有的人臉在結構上都是相似的，甚至面部器官的結構和外觀也是相似的。這一特征有利于利用人臉進行定位，但不利于利用人臉區分人類個體。
可變性
人臉的外觀是很不穩定的，人可以通過人臉的變化產生很多表情，從不同的觀察角度看人臉的視覺圖像也有很大的不同。此外，人臉識別還會受到光照條件的影響(如白天黑夜、室內室外等。)，臉的很多遮蓋物(比如口罩，墨鏡，頭發，胡子等。)，年齡等諸多因素。
在人臉識別中，類變化應該被放大作為區分個體的標準，而第二類變化應該被剔除，因為它們可以代表同一個個體。通常，階級的變化稱為階級間的差異，第二種變化稱為階級內的差異。對于人臉來說，類內變異往往大于類間變異，這使得在類內變異的干擾下，利用類間變異區分個體變得異常困難。