面部表情分析是計(jì)算機(jī)通過(guò)分析人臉信息嘗試?yán)斫馊祟惽楦械囊环N技術(shù),目前已成為計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)話題。其挑戰(zhàn)在于數(shù)據(jù)標(biāo)注困難、多人標(biāo)簽一致性差、自然環(huán)境下人臉姿態(tài)大以及遮擋等。為了推動(dòng)面部表情分析發(fā)展,本文概述了面部表情分析的相關(guān)任務(wù)、進(jìn)展、挑戰(zhàn)和未來(lái)趨勢(shì)。首先,簡(jiǎn)述了面部表情分析的幾個(gè)常見任務(wù)、基本算法框架和數(shù)據(jù)庫(kù);其次,對(duì)人臉表情識(shí)別方法進(jìn)行了綜述,包括傳統(tǒng)的特征設(shè)計(jì)方法以及深度學(xué)習(xí)方法;接著,對(duì)人臉表情識(shí)別存在的問(wèn)題與挑戰(zhàn)進(jìn)行總結(jié)思考;最后,討論了未來(lái)發(fā)展趨勢(shì)。通過(guò)全面綜述和討論,總結(jié)以下觀點(diǎn):
1)針對(duì)可靠人臉表情數(shù)據(jù)庫(kù)規(guī)模小的問(wèn)題,從人臉識(shí)別模型進(jìn)行遷移學(xué)習(xí)以及利用無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行半監(jiān)督學(xué)習(xí)是兩個(gè)重要策略;
2)受模糊表情、低質(zhì)量圖像以及標(biāo)注者的主觀性影響,非受控自然場(chǎng)景的人臉表情數(shù)據(jù)的標(biāo)簽庫(kù)存在一定的不確定性,抑制這些因素可以使得深度網(wǎng)絡(luò)學(xué)習(xí)真正的表情特征;
3)針對(duì)人臉遮擋和大姿態(tài)問(wèn)題,利用局部塊進(jìn)行融合的策略是一個(gè)有效的策略,另一個(gè)值得考慮的策略是先在大規(guī)模人臉識(shí)別數(shù)據(jù)庫(kù)中學(xué)習(xí)一個(gè)對(duì)遮擋和姿態(tài)魯棒的模型,再進(jìn)行人臉表情識(shí)別遷移學(xué)習(xí);
4)由于基于深度學(xué)習(xí)的表情識(shí)別方法受很多超參數(shù)影響,導(dǎo)致當(dāng)前人臉表情識(shí)別方法的可比性不強(qiáng),不同的表情識(shí)別方法有必要在不同的簡(jiǎn)單基線方法上進(jìn)行評(píng)測(cè)。目前,雖然非受控自然環(huán)境下的表情分析得到較快發(fā)展,但是上述問(wèn)題和挑戰(zhàn)仍然有待解決。
人臉表情分析是一個(gè)比較實(shí)用的任務(wù),未來(lái)發(fā)展除了要討論方法的精度也要關(guān)注方法的耗時(shí)以及存儲(chǔ)消耗,也可以考慮用非受控環(huán)境下高精度的人臉運(yùn)動(dòng)單元檢測(cè)結(jié)果進(jìn)行表情類別推斷。