A Study of the Computational Space of Facial Expressions of Emotion

Ohio State University, Columbus OH

Investigators

Linked publications, trials & patents

Abstract

Project Summary    Researchers generally agree that human emotions correspond to the execution of a number of computations by  the nervous system. But, there is strong disagreement on what these computations are. One highly contentious  point is the perception of emotion through facial expressions. That is, which are the emotion signals produced  by a sender that are visually recognized by an observer? The overarching goal of our research is to identify these  signals and specify the form and dimensions of the computational model of their visual recognition. Our general  hypothesis is that the human visual system solves the inverse problem of production. In the first five years of  funding,  we  have  studied  the  hypothesis  that  consistent  and  differential  facial  muscle  actions  (called,  action  unites or AUs) are a subset of these computations executed by the nervous system. That is, when experiencing  the  same  emotion,  identical  AUs  are  used  by  all  people.  Additionally,  these  AU  activations  are  differential  between emotions. Thus, our generally hypothesis states that the goal of the visual system is to identify which  AUs  are  present  in  an  image  of  a  face.  To  date,  we  have  completed  several  computational,  behavioral  and  imaging  studies  favoring  this  hypothesis.  These  studies  identified  a  previously  unknown  set  emotive  signals  called compound facial expressions of emotion. However, these results were given by an analysis of posed facial  expressions of emotion filmed in controlled conditions in the laboratory. The first specific aim of this renewal is  to  assess  the  validity  of  these  results  on  facial  expressions  seen  outside  the  laboratory  (called  ?in  the  wild?).  Since the heterogeneity of spontaneous facial expressions observed outside of the lab is larger than those seen  in posed expressions, we hypothesize that facial expressions in the wild communicate an even larger number of  emotions than those previously identified. Also, these results study the computations executed by the nervous  system  that  yield  consistent  and  differential  movements  of  one?s  facial  muscles  only.  In  our  second  aim,  we  hypothesize that the computations executed by the nervous system also involve changes in blood flow, e.g., by  increasing blood flow in the face when expressing anger. Specifically, we hypothesize that these changes are  consistent within and differential between emotions. Thus, our general hypothesis implies that the visual system  must identify these facial color changes. We will also test the alternative hypothesis that facial color is used to  communicate other emotive variables, e.g., valence and arousal. Our third and final aim will examine the neural  mechanisms associated to the computations studied in the previous two aims. Our studies are timely, because  a lack of understanding of the computations of emotion poses a critical barrier to progress in basic and clinical  research. Specifically, researchers are divided on whether emotion categories identified in the laboratory also  exist  in  the  wild,  there  is  a  poor  understanding  of  which  emotion  signals  are  communicated  through  facial  expressions, and it is unclear which neural mechanisms are associated with these computations.