Frontiers in Psychology

Micro-expressies, de vluchtige en onvrijwillige gezichtsuitdrukkingen, die vaak voorkomen in situaties waarin mensen hun ware gevoelens proberen te verbergen of maskeren, zijn bekend geworden sinds de jaren 1960, door het werk van Haggard en Isaacs (1966), waarin micro-expressies voor het eerst werden aangeduid als micromomentaire gezichtsuitdrukkingen, en later door het werk van Ekman en Friesen (1969).

Micro-expressies zijn te kort (1/25 tot 1/2 s) en te subtiel voor het menselijk oog om waar te nemen. Uit onderzoek (Ekman, 2002) blijkt dat gewone mensen zonder training voor micro-expressie herkenningstaken gemiddeld slechts iets beter presteren dan toeval. Computer vision en machine learning methoden voor automatische micro-expressie analyse worden dus aantrekkelijk. Pfister et al. (2011) begonnen baanbrekend onderzoek naar spontane micro-expressie herkenning met de eerste publiekelijk beschikbare spontane micro-expressie dataset: SMIC, en behaalden zeer veelbelovende resultaten die gunstig afsteken tegen de menselijke nauwkeurigheid. Sindsdien heeft het bestuderen van micro-expressies in computer vision de aandacht getrokken van meer en meer onderzoekers. Een aantal werken hebben bijgedragen aan de automatische micro-expressie analyse vanuit de aspecten van nieuwe datasets verzameling (van emotie niveau annotatie tot actie eenheid niveau annotatie; Li et al., 2013; Davison et al., 2018), micro-expressie herkenning (van signaal apex frame herkenning tot hele video herkenning; Wang et al, 2015; Liu et al., 2016; Li Y. et al., 2018; Huang et al., 2019) en micro-expressie detectie (van micro-expressie piek detectie tot micro-expressie onset en offset detectie; Patel et al., 2015; Xia et al., 2016; Jain et al., 2018). Eerst voltooid systeem dat micro-expressieherkenning en -detectie integreert in de richting van het lezen van verborgen emoties (Li X. et al., 2018) is gemeld door MIT Technology Review (2015) en bereikte toenemende aandacht, waarin de machine learning-methode 80,28% behaalde voor drie klasse (positief/negatief/verrassing) herkenning voor 71 micro-expressie videoclips opgenomen van acht onderwerpen en 57,49% voor vijf klasse (geluk, walging, verrassing, repressie, en andere) herkenning voor 247 micro-expressie videoclips opgenomen van 26 onderwerpen (Li X. et al., 2018), wat het herkenningsvermogen van menselijke proefpersonen heeft overtroffen (Li X. et al., 2018).

Echter, er zijn nog steeds veel open uitdagingen die moeten worden overwogen in het toekomstige onderzoek. Verschillende belangrijke uitdagingen met betrekking tot micro-expressie onderzoek worden in detail besproken in het volgende.

Datasets

Data zijn een centraal onderdeel in micro-expressie onderzoek. Ook al zijn er meer datasets verzameld en vrijgegeven, van de eerste SMIC (Li et al., 2013), tot CASME (Yan et al., 2013), CASME II (Yan et al., 2014), SAMM (Davison et al., 2018), MEVIEW dataset (Husak et al., 2017), en CAS(ME)2 (Qu et al., 2018), inclusief meer onderwerpen, hogere resolutie, en meer video’s, de schaal van de huidige datasets is slechts honderden micro-expressie video’s vastgelegd van 30 tot 40 onderwerpen, en er ontbreekt nog steeds hoge kwaliteit, natuurlijk verzamelde en goed geannoteerde grootschalige micro-expressie data vastgelegd door verschillende sensoren voor het trainen van efficiënte deep learning methoden, dat is een grote hindernis voor het onderzoek. Zoals induceren en labelen micro-expressie data uit het niets is zeer uitdagend en tijdrovend, het is niet haalbaar voor een enkele onderzoeksgroep om data schaal van groter dan tienduizenden monsters te verzamelen. Een mogelijke optie voor toekomstige micro-expressie data constructie werk zou kunnen worden gebruik te maken van de enorme bron van YouTube-video’s en mijnbouw met een aantal video tagging technieken voor kandidaat-clips dan volgen met menselijke etikettering. Een andere optie zou kunnen worden collaboratieve en parallelle dataverzameling en labeling door middel van cloud sourcing.

Daarnaast, een mogelijke toepassing van micro-expressie analyse is leugendetectie. Bij liegen zou meer tegenstrijdig gedrag kunnen worden gevonden in verbale en non-verbale signalen (Navarro en Karlins, 2008), misschien zouden meer micro-expressies kunnen verschijnen. Daarom zouden nieuwe datasets die niet alleen gezichtsuitdrukking en micro-expressie bevatten, maar ook audiotoespraak gunstig kunnen zijn voor micro-expressiestudie.

Action Units Detection of Micro-Expressions

Facial Action Coding System (FACS) is een anatomisch gebaseerd systeem voor het meten van gezichtsbewegingen (Ekman en Friesen, 1978), dat wordt gebruikt om visueel te onderscheiden gezichtsactiviteit te beschrijven op basis van vele unieke actie-eenheden (AU’s). In het meeste eerdere werk (Wang et al., 2015; Li X. et al., 2018), werden micro-expressies herkend van het hele gezicht zonder onderzoek naar actie-eenheden, en werden alleen positieve en negatieve micro-expressies, of een beperkt aantal micro-expressies geclassificeerd. In plaats van direct een bepaald aantal prototypische uitdrukkingen te herkennen, zoals in de meeste van de eerdere onderzoeken, kunnen AU’s een intermediaire betekenisvolle abstractie van gezichtsuitdrukkingen bieden, en veel informatie dragen die kan helpen om de gevoelens van mensen beter te detecteren en te begrijpen. Hoewel AU-detectie in aanmerking is genomen voor macro-expressieanalyse (Zhao et al., 2016, 2018; Han et al., 2018; Zhang et al., 2018), inclusief pijndetectie en pijnintensiteitsschatting (Prkachin en Solomon, 2008; Lucey et al., 2011), is er zeldzaam werk gedaan voor AU’s in micro-expressies. Toekomstige studies zouden meer aandacht kunnen besteden aan het verkennen van de relatie tussen AUs en micro-expressies. Bijvoorbeeld: is er een vast verband tussen het begin van een bepaalde AU (of een reeks AU-combinaties) en een bepaalde micro-expressiecategorie, net zoals de criteria voor AU en gezichtsuitdrukkingscorrespondentie die in het FACS-handboek worden genoemd? De categorie van betrokken micro-expressie emoties is niet noodzakelijkerwijs beperkt tot de prototypische basisemoties, d.w.z. blijdschap, droefheid, verrassing, woede, walging en angst, maar kan ook andere emoties in aanmerking nemen die buiten het bereik van de bovengenoemde basisemoties vallen, maar toch zeer nuttig zijn voor toepassingen in de echte wereld, zoals nervositeit, onenigheid en minachting. Behalve de meest voorkomende emotionele AU’s (die geacht worden nauw samen te hangen met emotionele expressies), zoals AU1, AU4 en AU12, zijn ook andere AU’s die formeel beschouwd werden als “niet relevant voor emoties” het onderzoeken waard, omdat uit onderzoek is gebleken dat sommige (bijv,

Realistische situaties

De meeste van de bestaande inspanningen op micro-expressie analyse zijn gemaakt om de basis micro-expressies verzameld in zeer gecontroleerde omgevingen, bijvoorbeeld, van frontaal zicht (zonder uitzicht veranderingen), met stabiele en heldere lichtomstandigheden (zonder verlichting variaties), hele gezicht zichtbaar (zonder occlusie) te classificeren.) Dergelijke omstandigheden zijn zeer moeilijk te reproduceren in toepassingen in de echte wereld en hulpmiddelen die op dergelijke gegevens zijn getraind, generaliseren meestal niet goed naar natuurlijke opnamen die in een ongecontroleerde omgeving zijn gemaakt.

Macro- en micro-expressies

Eerder werk over gezichtsexpressie heeft zich bezig gehouden met micro- of macro-expressies. Voor de meeste vroege micro-expressie werken, is ervan uitgegaan dat er slechts micro-expressies in een videoclip. Bijvoorbeeld, in de verzameling van de meeste micro-expressie datasets (Li et al., 2013; Yan et al., 2013, 2014; Davison et al., 2018; Qu et al., 2018), werden proefpersonen gevraagd om hun best te doen om een neutraal gezicht te houden bij het bekijken van emotionele filmclips. Op deze manier kon het conflict van gevoelde emotie opgewekt door de filmclip en de sterke intentie om elke gezichtsuitdrukking te onderdrukken, micro-expressies induceren. Het gevolg in de verzamelde video’s is dat, als er micro-expressie in de opgenomen video voorkomt, het onwaarschijnlijk is dat er andere natuurlijke gezichtsuitdrukkingen zijn. Maar in de meeste gevallen in het echte leven is dit niet waar. Micro-expressies kunnen ook verschijnen wanneer er een macro-expressie is, bijvoorbeeld, wanneer mensen glimlachen, kunnen ze heel snel en kort hun voorhoofd fronsen, wat hun ware gevoel laat zien (Ekman en Friesen, 1969). Toekomstige studies zouden zich ook kunnen bezighouden met de relatie tussen macro- en micro-expressies, en methoden kunnen onderzoeken die deze twee kunnen detecteren en onderscheiden wanneer ze samen voorkomen of zelfs met elkaar overlappen in één scenario, wat zeer nuttig zou zijn om de gevoelens en intenties van mensen nauwkeuriger te begrijpen.

Context Clues and Multi-Modality Learning

In sociale interacties interpreteren mensen de emoties en situaties van anderen op basis van veel dingen (Huang et al., 2018): mensen in de interactie, hun spraak, gezichtsuitdrukking, kleding, lichaamshouding, geslacht, leeftijd, omringende omgevingen, sociale parameters, enzovoort. Al deze kunnen worden beschouwd als contextuele informatie. Sommige mensen zijn betere emotielezers, omdat zij de emoties van anderen nauwkeuriger kunnen aanvoelen dan de rest. Deze mensen pikken meestal subtiele aanwijzingen op uit meerdere aspecten, niet alleen de gezichtsuitdrukkingen (Navarro en Karlins, 2008). Een oorspronkelijke motivatie voor de studie van micro-expressie is het onderzoeken van onderdrukte en verborgen emoties van mensen, maar we moeten niet vergeten dat micro-expressie slechts een van de vele aanwijzingen is voor dat doel. Toekomstige studies moeten proberen de reikwijdte te verbreden en overwegen micro-expressie te combineren met andere contextuele gedragingen, bijv. oogknipperen, verandering van oogopslag, verandering van handgebaren, of zelfs hele lichaamshouding, om een beter begrip te krijgen van de verborgen emoties van mensen op een vollediger bereik.

Recent psychologisch onderzoek toont aan dat emoties een multimodale procedure zijn die op verschillende manieren kan worden uitgedrukt. “Visuele scènes, stemmen, lichamen, andere gezichten, culturele oriëntatie en zelfs woorden geven vorm aan hoe emoties in een gezicht worden waargenomen” (Barrett et al., 2011). Emotionele gegevens kunnen ook worden geregistreerd met verschillende sensoren, zoals kleurencamera’s, nabij-infraroodcamera’s, dieptecamera’s of fysiologische sensoren, om emotioneel gedrag of lichamelijke veranderingen vast te leggen. Dit geldt ook voor de studie van micro-expressie en onderdrukte of verborgen emotie. Eén enkele modaliteit kan onbetrouwbaar zijn, omdat een bepaald gedragspatroon alleen maar verband kan houden met fysiologisch ongemak of persoonlijke gewoonte, maar niets te maken heeft met emotionele toestanden. Dus alleen wanneer meerdere signalen samen in overweging worden genomen, kunnen we tot een meer betrouwbare emotieherkenning komen. Er is tot nu toe zeer weinig onderzoek in dit opzicht, en toekomstige micro-expressie studies zouden kunnen overwegen om multi-modaliteit data te combineren voor micro-expressie en verborgen emotie herkenning.

Analyse voor meerdere personen in interacties

Het huidige micro-expressie onderzoek richt zich op één persoon die naar affectieve films of advertenties kijkt, wat redelijk is in het beginstadium om uitdagende taken gemakkelijker en haalbaarder te maken. Later is het zeker dat het onderzoek zal verschuiven naar meer realistische en uitdagende interactie-omgevingen waar meerdere personen bij betrokken zijn. Natuurlijke interacties zullen meer natuurlijke en spontane emotionele reacties uitlokken in termen van gezichtsuitdrukkingen en micro-expressies, maar het scenario zal ook zeer gecompliceerd worden. Het zou zeer interessant zijn om niet alleen het individuele niveau van emotionele veranderingen te onderzoeken, maar ook de interpersoonlijke samenloop (b.v. mimicry of besmetting), en de affectieve dynamiek van de hele groep.

Discussie

We hebben de vooruitgang en de open uitdagingen in automatische micro-expressie analyse besproken. Om deze problemen op te lossen is interdisciplinaire expertise nodig. De samenwerking van machine learning, psychologie, cognitie en sociaal gedrag is noodzakelijk voor het bevorderen van het diepgaande onderzoek van micro-expressies en gerelateerde toepassingen in de echte wereld.

Bijdragen van auteurs

Alle vermelde auteurs hebben een substantiële, directe en intellectuele bijdrage geleverd aan het werk, en hebben het goedgekeurd voor publicatie.

Funding

Dit werk werd gedeeltelijk ondersteund door de National Natural Science Foundation of China (Grants No. 61772419), Infotech Oulu en Academy of Finland (ICT 2023 project met subsidie nr. 313600).

Conflict of Interest Statement

De auteurs verklaren dat het onderzoek is uitgevoerd in afwezigheid van commerciële of financiële relaties die zouden kunnen worden opgevat als een potentieel belangenconflict.