Frontiers in Psychology

Micro-expressões, a expressão facial fugaz e involuntária, muitas vezes ocorrendo em situações de grande consumo quando as pessoas tentam esconder ou mascarar os seus verdadeiros sentimentos, tornou-se conhecida desde os anos 60, a partir do trabalho de Haggard e Isaacs (1966), no qual a micro-expressão foi primeiramente denominada como expressão facial micromomentariada, e mais tarde a partir do trabalho de Ekman e Friesen (1969).

Micro-expressões são demasiado curtas (1/25 a 1/2 s) e subtis para que os olhos humanos as percebam. Estudo (Ekman, 2002) mostra que para tarefas de reconhecimento de microexpressões, as pessoas comuns sem formação apenas desempenham, em média, um pouco melhor do que o acaso. Assim, a visão por computador e os métodos de aprendizagem mecânica para análise automática da microexpressão tornam-se apelativos. Pfister et al. (2011) iniciaram uma pesquisa pioneira sobre o reconhecimento espontâneo de micro-expressão com o primeiro conjunto de dados sobre micro-expressão espontânea disponível publicamente: SMIC, e alcançou resultados muito promissores que se comparam favoravelmente com a exactidão humana. Desde então, o estudo da micro-expressão no campo da visão por computador tem atraído as atenções de cada vez mais investigadores. Vários trabalhos têm contribuído para a análise automática da microexpressão a partir dos aspectos da recolha de novos conjuntos de dados (desde a anotação do nível emocional até à anotação do nível da unidade de acção; Li et al., 2013; Davison et al., 2018), reconhecimento da microexpressão (desde o reconhecimento de quadros de ápice de sinal até ao reconhecimento de vídeo completo; Wang et al.., 2015; Liu et al., 2016; Li Y. et al., 2018; Huang et al., 2019) e detecção de micro-expressão (da detecção de pico de micro-expressão à detecção de pico de micro-expressão e de offset; Patel et al., 2015; Xia et al., 2016; Jain et al., 2018). O primeiro sistema completo de reconhecimento e detecção de micro-expressão para leitura de emoções ocultas (Li X. et al., 2018) foi relatado pela MIT Technology Review (2015) e alcançou uma atenção crescente, no qual o método de aprendizagem mecânica obteve 80,28% para o reconhecimento de três classes (positivo/negativo/surpresa) para 71 videoclipes de micro-expressão gravados de oito sujeitos e 57,49% para o reconhecimento de cinco classes (felicidade, repugnância, surpresa, repressão, e outros) para 247 videoclipes de micro-expressão gravados de 26 sujeitos (Li X. et al., 2018), 2018), que superou a capacidade de reconhecimento dos sujeitos humanos (Li X. et al., 2018).

No entanto, ainda há muitos desafios em aberto que precisam de ser considerados na futura investigação. Vários dos principais desafios relacionados com o estudo da microexpressão são discutidos em pormenor nos seguintes.

Datasets

Dados são uma parte central na investigação da microexpressão. Embora tenham sido recolhidos e divulgados mais conjuntos de dados, desde o primeiro SMIC (Li et al., 2013), ao CASME (Yan et al., 2013), CASME II (Yan et al., 2014), SAMM (Davison et al., 2018), MEVIEW dataet (Husak et al., 2017), e CAS(ME)2 (Qu et al.., 2018), incluindo mais sujeitos, maior resolução, e mais vídeos, a escala dos conjuntos de dados actuais é de apenas centenas de vídeos de microexpressão capturados de 30 a 40 sujeitos, e ainda faltam dados de microexpressão de alta qualidade, naturalmente recolhidos e bem anotados em grande escala capturados por diferentes sensores para o treino de métodos de aprendizagem profunda eficientes, o que constitui um grande obstáculo para a investigação. Como induzir e rotular dados de micro-expressão a partir do zero é extremamente desafiante e demorado, não é viável para qualquer grupo de investigação recolher dados em escala superior a dezenas de milhares de amostras. Uma opção possível para futuros trabalhos de construção de dados de microexpressão poderia ser a utilização da vasta fonte de vídeos do YouTube e de mineração com algumas técnicas de etiquetagem de vídeo para clipes candidatos e depois seguir com a etiquetagem humana. Outra opção poderia ser a recolha e etiquetagem paralela e colaborativa de dados através da recolha de dados em nuvem.

Além disso, uma potencial aplicação da análise de micro-expressão é a detecção de mentiras. Ao mentir, poderiam ser encontrados comportamentos mais contraditórios em sinais verbais e não-verbais (Navarro e Karlins, 2008), talvez possam surgir mais microexpressões. Portanto, novos conjuntos de dados contendo não só expressão facial e micro-expressão, mas também fala em áudio poderiam ser benéficos para o estudo da micro-expressão.

Action Units Detection of Micro-Expressions

Facial Action Coding System (FACS) é um sistema anatomicamente baseado para medir movimentos faciais (Ekman e Friesen, 1978), que é utilizado para descrever a actividade facial visualmente distinguível com base em muitas unidades de acção únicas (UA). Na maioria dos trabalhos anteriores (Wang et al., 2015; Li X. et al., 2018), as micro-expressões foram reconhecidas de todo o rosto sem estudo da unidade de acção, e apenas as micro-expressões positivas e negativas, ou um número limitado de micro-expressões foram classificadas. Em vez de reconhecer directamente um certo número de expressões prototípicas como na maioria das pesquisas anteriores, as UA podem fornecer uma abstracção intermédia significativa das expressões faciais, e transportar muita informação que pode ajudar a melhor detectar e compreender os sentimentos das pessoas. Embora a detecção AU tenha sido tomada em consideração para a análise da macroexpressão (Zhao et al., 2016, 2018; Han et al., 2018; Zhang et al., 2018), incluindo a detecção da dor e a estimativa da intensidade da dor (Prkachin e Solomon, 2008; Lucey et al., 2011), tem sido feito um trabalho raro para as UA em microexpressões. Estudo futuro poderia prestar mais atenção à exploração da relação entre as UA e as microexpressões. Por exemplo: existe um mapeamento fixo entre o início de um certo AU (ou uma sequência de combinações de AU) e uma categoria de micro-expressão, tal como os critérios para a correspondência entre AU e expressão facial listados no manual FACS? A categoria de emoções de micro-expressão em questão não se limita necessariamente às emoções básicas prototípicas, ou seja, felicidade, tristeza, surpresa, raiva, desgosto e medo, mas poderia também considerar outras emoções que estão fora do âmbito das emoções básicas acima mencionadas, mas que são muito úteis para aplicações no mundo real, como nervosismo, discordância e desprezo. Além disso, excepto as UAs emocionais mais comuns (que são consideradas intimamente relacionadas com expressões emocionais), por exemplo, AU1, AU4, e AU12, outras UAs que foram formalmente consideradas como “irrelevantes para as emoções” também merecem mais exploração, uma vez que estudos constataram que algumas (por exemplo, AU1, AU4, e AU12) pestanejos oculares e mudança do olhar) são empregados como comportamentos disfarçados para cobrir as verdadeiras sensações, assim frequentemente ocorrem COM o início das micro-expressões.

Situações realistas

A maior parte dos esforços existentes na análise das micro-expressões foram feitos para classificar as micro-expressões básicas recolhidas em ambientes altamente controlados, por exemplo, da vista frontal (sem mudanças de vista), com condições de iluminação estáveis e brilhantes (sem variações de iluminação), rosto inteiro visível (sem oclusão). Tais condições são muito difíceis de reproduzir em aplicações do mundo real e as ferramentas treinadas sobre tais dados geralmente não generalizam bem as gravações naturais feitas em ambientes sem restrições. Devem ser desenvolvidos algoritmos eficazes para reconhecer microexpressões naturais que sejam robustas a situações realistas com capacidade de lidar com alterações de pose, variações de iluminação e má qualidade de vídeos, gravados no ambiente selvagem.

Macro- e Micro- Expressões

Trabalhos anteriores sobre expressão facial preocuparam-se com micro ou macroexpressões. Para a maioria dos trabalhos iniciais sobre micro-expressões, presumiu-se que existem apenas micro-expressões num clip de vídeo. Por exemplo, na recolha da maioria dos conjuntos de dados sobre micro-expressão (Li et al., 2013; Yan et al., 2013, 2014; Davison et al., 2018; Qu et al., 2018), foi pedido aos sujeitos que tentassem o seu melhor para manter um rosto neutro quando vissem clipes de filmes emocionais. Desta forma, o conflito de emoção sentida provocado pelo clip do filme e a forte intenção de suprimir qualquer expressão facial poderia induzir micro-expressões. A consequência nos vídeos recolhidos é que, se houver micro-expressão no vídeo gravado, é pouco provável que haja outras expressões faciais naturais. Mas na maioria dos casos, na vida real, isto não é verdade. As microexpressões podem aparecer quando há também uma macroexpressão, por exemplo, quando as pessoas sorriem, podem sulcar a testa muito rapidamente e em breve, o que mostra o seu verdadeiro sentimento (Ekman e Friesen, 1969). Estudos futuros poderiam também dizer respeito à relação de macro e micro-expressões, e explorar métodos que possam detectar e distinguir estes dois quando co-ocorram ou mesmo se sobrepõem um ao outro num cenário, o que seria muito útil para compreender melhor os sentimentos e intenções das pessoas.

Pistas de Contexto e Aprendizagem Multi-Modalidade

Em interacções sociais, as pessoas interpretam as emoções e situações dos outros com base em muitas coisas (Huang et al.., 2018): pessoas na interacção, a sua fala, expressão facial, panos, pose corporal, sexo, idade, ambientes circundantes, parâmetros sociais, e assim por diante. Tudo isto pode ser considerado como informação contextual. Algumas pessoas são melhores leitores de emoções, pois podem sentir a emoção dos outros com mais precisão do que as outras. Estas pessoas costumam captar pistas subtis de múltiplos aspectos, não apenas das expressões faciais (Navarro e Karlins, 2008). Uma motivação original para o estudo da micro-expressão é explorar as emoções reprimidas e ocultas das pessoas, mas não devemos esquecer que a micro-expressão é apenas uma das muitas pistas para tal fim. Estudos futuros devem tentar alargar o âmbito e considerar combinar a micro-expressão com outros comportamentos contextuais, por exemplo, piscar os olhos, mudar o olhar, mudar os gestos das mãos, ou mesmo a postura corporal inteira, a fim de alcançar uma melhor compreensão das emoções ocultas das pessoas num âmbito mais completo.

Investigação psicológica recente demonstra que as emoções são um procedimento multimodal que pode ser expresso de várias formas. “Cenas visuais, vozes, corpos, outros rostos, orientação cultural, e mesmo palavras moldam a forma como as emoções são percebidas num rosto” (Barrett et al., 2011). Também os dados emocionais podem ser gravados com diferentes sensores, por exemplo, câmara a cores, câmara de infravermelhos próximos, câmara de profundidade, ou sensores fisiológicos, para registar comportamentos emocionais ou alterações corporais. Isto também se aplica ao estudo da micro-expressão e das emoções suprimidas ou ocultas. Uma única modalidade poderia não ser fiável, pois um determinado padrão de comportamento poderia estar apenas relacionado com desconforto fisiológico ou hábito pessoal, mas não tem nada a ver com estados emocionais. Assim, só quando múltiplas pistas são consideradas em conjunto é que poderíamos conseguir um reconhecimento mais fiável das emoções. Há muito pouca investigação a este respeito até agora, e futuros estudos de microexpressão poderiam considerar a combinação de dados de multi-modalidade para microexpressão e reconhecimento de emoções ocultas.

Análise para Múltiplas Pessoas em Interacções

A investigação actual sobre microexpressões centra-se na observação de filmes ou anúncios afectivos por uma única pessoa, o que é razoável na fase inicial para tornar as tarefas desafiantes mais fáceis e mais exequíveis. Mais tarde, é certo que a investigação se deslocará para ambientes de interacção mais realistas e desafiantes, onde múltiplas pessoas estão envolvidas. As interacções naturais induzirão respostas emocionais mais naturais e espontâneas em termos de expressões faciais e micro-expressões, mas o cenário também se tornará muito complicado. Seria muito interessante explorar não só o nível individual de mudanças emocionais, mas também a co-ocorrência interpessoal (por exemplo, mímica ou contágio), e a dinâmica afectiva de todo o grupo.

Discussão

Discutimos o progresso e os desafios abertos na análise automática da micro-expressão. A resolução destas questões necessita de conhecimentos interdisciplinares. A colaboração da aprendizagem de máquinas, psicologia, cognição e comportamento social é necessária para o avanço da investigação aprofundada das micro-expressões e aplicações relacionadas no mundo real.

Contribuições dos autores

Todos os autores listados deram uma contribuição substancial, directa e intelectual ao trabalho, e aprovaram-no para publicação.

Funding

Este trabalho foi parcialmente apoiado pela Fundação Nacional de Ciências Naturais da China (Grants No. 61772419), Infotech Oulu e Academia da Finlândia (projecto ICT 2023 com o subsídio nº 313600).

Conflict of Interest Statement

Os autores declaram que a pesquisa foi realizada na ausência de quaisquer relações comerciais ou financeiras que pudessem ser interpretadas como um potencial conflito de interesses.