Frontiers in der Psychologie

Mikro-Ausdrücke, die flüchtige und unwillkürliche Mimik, die oft in hochsensiblen Situationen auftritt, wenn Menschen versuchen, ihre wahren Gefühle zu verbergen oder zu maskieren, wurde seit den 1960er Jahren bekannt, durch die Arbeit von Haggard und Isaacs (1966), in der Mikro-Ausdrücke zunächst als mikromomentane Gesichtsausdrücke bezeichnet wurden, und später durch die Arbeit von Ekman und Friesen (1969).

Mikroausdrücke sind zu kurz (1/25 bis 1/2 s) und subtil, als dass sie vom menschlichen Auge wahrgenommen werden könnten. Eine Studie (Ekman, 2002) zeigt, dass bei Aufgaben zur Erkennung von Mikroausdrücken normale Menschen ohne Training im Durchschnitt nur wenig besser als der Zufall abschneiden. Daher werden Computer Vision und maschinelle Lernmethoden für die automatische Analyse von Mikroausdrücken interessant. Pfister et al. (2011) begannen die Pionierforschung zur Erkennung spontaner Mikroausdrücke mit dem ersten öffentlich verfügbaren Datensatz für spontane Mikroausdrücke: SMIC, und erzielten vielversprechende Ergebnisse, die mit der menschlichen Genauigkeit vergleichbar sind. Seitdem hat die Untersuchung von Mikroausdrücken im Bereich der Computer Vision die Aufmerksamkeit von mehr und mehr Forschern auf sich gezogen. Eine Reihe von Arbeiten haben zur automatischen Analyse von Mikroausdrücken unter den Aspekten der Sammlung neuer Datensätze (von der Annotation auf Emotionsebene bis zur Annotation auf der Ebene von Handlungseinheiten; Li et al., 2013; Davison et al., 2018), der Erkennung von Mikroausdrücken (von der Erkennung von Signalspitzenrahmen bis zur Erkennung des gesamten Videos; Wang et al, 2015; Liu et al., 2016; Li Y. et al., 2018; Huang et al., 2019) und Mikroexpressionserkennung (von der Erkennung von Mikroexpressionsspitzen bis zur Erkennung von Mikroexpressionsbeginn und -versatz; Patel et al., 2015; Xia et al., 2016; Jain et al., 2018). Das erste fertiggestellte System, das die Erkennung und Detektion von Mikroausdrücken in Richtung des Lesens von versteckten Emotionen integriert (Li X. et al., 2018), wurde von MIT Technology Review (2015) berichtet und erlangte zunehmende Aufmerksamkeit, wobei die Methode des maschinellen Lernens 80,28 % für die Erkennung von drei Klassen (positiv/negativ/überraschend) für 71 Mikroausdruck-Videoclips, die von acht Probanden aufgezeichnet wurden, und 57,49 % für die Erkennung von fünf Klassen (Glück, Ekel, Überraschung, Verdrängung und andere) für 247 Mikroausdruck-Videoclips, die von 26 Probanden aufgezeichnet wurden, erreichte (Li X. et al., 2018), was die Erkennungsfähigkeit von menschlichen Probanden übertrifft (Li X. et al., 2018).

Es gibt jedoch noch viele offene Herausforderungen, die in der zukünftigen Forschung berücksichtigt werden müssen. Im Folgenden werden einige der wichtigsten Herausforderungen im Zusammenhang mit Mikroexpressionsstudien im Detail diskutiert.

Datensätze

Daten sind ein zentraler Bestandteil der Mikroexpressionsforschung. Obwohl mehr Datensätze gesammelt und veröffentlicht wurden, vom ersten SMIC (Li et al., 2013), über CASME (Yan et al., 2013), CASME II (Yan et al., 2014), SAMM (Davison et al., 2018), MEVIEW-Datensatz (Husak et al., 2017), und CAS(ME)2 (Qu et al, 2018), die mehr Probanden, eine höhere Auflösung und mehr Videos enthalten, liegt der Umfang der aktuellen Datensätze bei nur Hunderten von Mikroexpressionsvideos, die von 30 bis 40 Probanden aufgenommen wurden, und es fehlt immer noch an qualitativ hochwertigen, natürlich gesammelten und gut annotierten Mikroexpressionsdaten in großem Umfang, die von verschiedenen Sensoren für das Training effizienter Deep-Learning-Methoden aufgenommen wurden, was ein großes Hindernis für die Forschung darstellt. Da das Erzeugen und Beschriften von Mikroexpressionsdaten von Grund auf extrem herausfordernd und zeitaufwändig ist, ist es für eine einzelne Forschungsgruppe nicht machbar, Daten in einer Größenordnung von mehr als zehntausend Proben zu sammeln. Eine mögliche Option für künftige Arbeiten zur Erstellung von Mikroexpressionsdaten könnte die Nutzung der riesigen Quelle von YouTube-Videos und das Mining mit einigen Video-Tagging-Techniken für Kandidatenclips sein, denen dann eine menschliche Beschriftung folgt. Eine weitere Option könnte die kollaborative und parallele Datenerfassung und -beschriftung durch Cloud-Sourcing sein.

Eine mögliche Anwendung der Mikroexpressionsanalyse ist außerdem die Lügenerkennung. Beim Lügen könnten mehr widersprüchliche Verhaltensweisen in verbalen und nonverbalen Signalen gefunden werden (Navarro und Karlins, 2008), vielleicht auch mehr Mikroausdrücke. Daher könnten neue Datensätze, die nicht nur Gesichtsausdrücke und Mikroausdrücke, sondern auch Audio-Sprache enthalten, für die Untersuchung von Mikroausdrücken von Vorteil sein.

Aktionseinheiten-Erkennung von Mikroausdrücken

Das Facial Action Coding System (FACS) ist ein anatomisch basiertes System zur Messung von Gesichtsbewegungen (Ekman und Friesen, 1978), mit dem visuell unterscheidbare Gesichtsaktivitäten auf der Basis vieler eindeutiger Aktionseinheiten (AUs) beschrieben werden. In den meisten bisherigen Arbeiten (Wang et al., 2015; Li X. et al., 2018) wurden Mikroausdrücke aus dem gesamten Gesicht ohne Untersuchung der Aktionseinheiten erkannt, und es wurden nur positive und negative Mikroausdrücke oder eine begrenzte Anzahl von Mikroausdrücken klassifiziert. Anstatt direkt eine bestimmte Anzahl von prototypischen Ausdrücken zu erkennen, wie in den meisten früheren Forschungen, können AUs eine sinnvolle Zwischenabstraktion von Gesichtsausdrücken bieten und viele Informationen enthalten, die helfen können, die Gefühle von Menschen besser zu erkennen und zu verstehen. Obwohl die Erkennung von AUs bei der Analyse von Makroausdrücken berücksichtigt wurde (Zhao et al., 2016, 2018; Han et al., 2018; Zhang et al., 2018), einschließlich der Erkennung von Schmerzen und der Schätzung der Schmerzintensität (Prkachin und Solomon, 2008; Lucey et al., 2011), wurden nur wenige Arbeiten für AUs in Mikroausdrücken durchgeführt. Zukünftige Studien könnten mehr Aufmerksamkeit darauf verwenden, die Beziehung zwischen AUs und Mikroausdrücken zu untersuchen. Zum Beispiel: Gibt es eine feste Zuordnung zwischen dem Beginn einer bestimmten AU (oder einer Sequenz von AU-Kombinationen) und einer Mikroausdruckskategorie, so wie die Kriterien für die AU- und Gesichtsausdruckskorrespondenz im FACS-Handbuch aufgeführt sind? Die Kategorie der betroffenen Mikroausdruck-Emotionen ist nicht notwendigerweise auf die prototypischen Basisemotionen Glück, Trauer, Überraschung, Wut, Ekel und Angst beschränkt, sondern könnte auch andere Emotionen berücksichtigen, die außerhalb des oben genannten Bereichs der Basisemotionen liegen, aber für reale Anwendungen sehr nützlich sind, wie z.B. Nervosität, Uneinigkeit und Verachtung. Abgesehen von den am häufigsten vorkommenden emotionalen AUs (die als eng mit emotionalen Ausdrücken verbunden angesehen werden), z. B. AU1, AU4 und AU12, sind auch andere AUs, die formal als „irrelevant für Emotionen“ angesehen wurden, eine genauere Untersuchung wert, da Studien herausgefunden haben, dass einige (z. B.,

Realistische Situationen

Die meisten der existierenden Bemühungen zur Analyse von Mikroausdrücken wurden unternommen, um die grundlegenden Mikroausdrücke zu klassifizieren, die in hochgradig kontrollierten Umgebungen gesammelt wurden, z.B. aus frontaler Sicht (ohne Blickwechsel), mit stabilen und hellen Lichtverhältnissen (ohne Beleuchtungsvariationen), das ganze Gesicht sichtbar (ohne Okklusion). Solche Bedingungen sind in der realen Welt sehr schwer zu reproduzieren und Werkzeuge, die auf solchen Daten trainiert wurden, lassen sich in der Regel nicht gut auf natürliche Aufnahmen verallgemeinern, die in unkontrollierten Umgebungen gemacht wurden. Effektive Algorithmen zur Erkennung von natürlich vorkommenden Mikroausdrücken, die robust gegenüber realistischen Situationen sind und mit Posenänderungen, Beleuchtungsvariationen und schlechter Qualität von Videos, die in freier Wildbahn aufgenommen wurden, umgehen können, müssen entwickelt werden.

Makro- und Mikroausdrücke

Vorangegangene Arbeiten über Gesichtsausdrücke haben sich entweder mit Mikro- oder Makroausdrücken beschäftigt. Bei den meisten frühen Arbeiten über Mikroausdrücke wurde davon ausgegangen, dass es nur Mikroausdrücke in einem Videoclip gibt. Bei der Erhebung der meisten Mikroexpressions-Datensätze (Li et al., 2013; Yan et al., 2013, 2014; Davison et al., 2018; Qu et al., 2018) wurden die Probanden beispielsweise gebeten, ihr Bestes zu geben, um ein neutrales Gesicht zu bewahren, wenn sie emotionale Filmclips sahen. Auf diese Weise konnte der Konflikt zwischen der gefühlten Emotion, die durch den Filmclip hervorgerufen wurde, und der starken Absicht, jeglichen Gesichtsausdruck zu unterdrücken, Mikroexpressionen hervorrufen. Die Konsequenz in den gesammelten Videos ist, dass, wenn es Mikroausdrücke in dem aufgenommenen Video gibt, es unwahrscheinlich ist, dass es andere natürliche Gesichtsausdrücke gibt. In den meisten Fällen im wirklichen Leben ist dies jedoch nicht der Fall. Mikroausdrücke können auch dann auftreten, wenn es einen Makroausdruck gibt, z. B. wenn Menschen lächeln, können sie sehr schnell und kurz die Stirn runzeln, was ihre wahren Gefühle zeigt (Ekman und Friesen, 1969). Zukünftige Studien könnten sich auch mit der Beziehung von Makro- und Mikroausdrücken befassen und Methoden erforschen, die diese beiden erkennen und unterscheiden können, wenn sie in einem Szenario gemeinsam auftreten oder sich sogar überschneiden, was sehr hilfreich wäre, um die Gefühle und Absichten von Menschen genauer zu verstehen.

Context Clues and Multi-Modality Learning

In sozialen Interaktionen interpretieren Menschen die Emotionen und Situationen anderer aufgrund vieler Dinge (Huang et al, 2018): die Personen in der Interaktion, deren Sprache, Gesichtsausdruck, Kleidung, Körperhaltung, Geschlecht, Alter, Umgebung, soziale Parameter und so weiter. All dies kann als kontextuelle Information betrachtet werden. Manche Menschen sind bessere Emotionsleser, da sie die Emotionen anderer genauer wahrnehmen können als der Rest. Diese Menschen nehmen in der Regel subtile Hinweise aus mehreren Aspekten auf, nicht nur aus dem Gesichtsausdruck (Navarro und Karlins, 2008). Eine ursprüngliche Motivation für das Studium der Mikroexpression ist es, die unterdrückten und verborgenen Emotionen von Menschen zu erforschen, aber wir sollten nicht vergessen, dass die Mikroexpression nur einer von vielen Hinweisen für diesen Zweck ist. Zukünftige Studien sollten versuchen, den Bereich zu erweitern und in Betracht ziehen, Mikroexpression mit anderen kontextuellen Verhaltensweisen zu kombinieren, z. B. Augenblinzeln, Veränderung des Blicks, Veränderung der Handgesten oder sogar der gesamten Körperhaltung, um ein besseres Verständnis der verborgenen Emotionen von Menschen auf einer umfassenderen Ebene zu erreichen.

Neue psychologische Forschungen zeigen, dass Emotionen ein multimodaler Vorgang sind, der auf verschiedene Weise ausgedrückt werden kann. „Visuelle Szenen, Stimmen, Körper, andere Gesichter, kulturelle Orientierungen und sogar Worte beeinflussen, wie Emotionen in einem Gesicht wahrgenommen werden“ (Barrett et al., 2011). Ebenso können emotionale Daten mit verschiedenen Sensoren aufgezeichnet werden, z. B. mit einer Farbkamera, einer Nahinfrarotkamera, einer Tiefenkamera oder physiologischen Sensoren, um emotionale Verhaltensweisen oder körperliche Veränderungen zu erfassen. Dies gilt auch für die Untersuchung von Mikroexpressionen und unterdrückten oder versteckten Emotionen. Eine einzelne Modalität könnte unzuverlässig sein, da ein bestimmtes Verhaltensmuster nur mit physiologischem Unbehagen oder persönlicher Gewohnheit zusammenhängen könnte, aber nichts mit emotionalen Zuständen zu tun hat. Nur wenn also mehrere Hinweise zusammen berücksichtigt werden, können wir eine zuverlässigere Emotionserkennung erreichen. Es gibt bisher nur sehr wenige Untersuchungen in dieser Hinsicht, und zukünftige Studien zu Mikroausdrücken könnten die Kombination von multimodalen Daten für die Erkennung von Mikroausdrücken und versteckten Emotionen in Betracht ziehen.

Analyse für mehrere Personen in Interaktionen

Die derzeitige Forschung zu Mikroausdrücken konzentriert sich auf eine einzelne Person, die affektive Filme oder Werbung ansieht, was in der Anfangsphase sinnvoll ist, um anspruchsvolle Aufgaben einfacher und praktikabler zu machen. Später wird sich die Forschung sicherlich auf realistischere und anspruchsvollere Interaktionsumgebungen verlagern, an denen mehrere Personen beteiligt sind. Natürliche Interaktionen werden natürlichere und spontane emotionale Reaktionen in Form von Gesichtsausdrücken und Mikroexpressionen hervorrufen, aber das Szenario wird auch sehr kompliziert werden. Es wäre sehr interessant, nicht nur die individuelle Ebene der emotionalen Veränderungen zu erforschen, sondern auch das zwischenmenschliche Zusammenspiel (z.B. Mimikry oder Ansteckung) und die affektive Dynamik der gesamten Gruppe.

Diskussion

Wir haben den Fortschritt und die offenen Herausforderungen in der automatischen Mikroexpressionsanalyse diskutiert. Die Lösung dieser Probleme erfordert interdisziplinäre Expertise. Die Zusammenarbeit von maschinellem Lernen, Psychologie, Kognition und sozialem Verhalten ist notwendig, um die vertiefte Untersuchung von Mikroausdrücken und die damit verbundenen Anwendungen in der realen Welt voranzutreiben.

Beiträge der Autoren

Alle aufgeführten Autoren haben einen substanziellen, direkten und intellektuellen Beitrag zu dieser Arbeit geleistet und sie zur Veröffentlichung freigegeben.

Finanzierung

Diese Arbeit wurde teilweise von der National Natural Science Foundation of China (Grants No. 61772419), Infotech Oulu und Academy of Finland (ICT 2023 project with grant No. 313600).

Conflict of Interest Statement

Die Autoren erklären, dass die Forschung in Abwesenheit von kommerziellen oder finanziellen Beziehungen durchgeführt wurde, die als potenzieller Interessenkonflikt ausgelegt werden könnten.