Психология глаз мимика: У вас на лице отражаются не ваши истинные чувства. А что же?

Выражений глаз позволяют заглянуть в эволюцию эмоций

Роберт Баркер / Университетская фотография

Субъекты в исследовании Адама Андерсона связывали широко открытые глаза слева с эмоциями, связанными с чувствительностью, такими как страх и трепет.Суженные глаза, верно, связаны с такими эмоциями, как отвращение и подозрение.

Новое исследование Адама Андерсона, профессора человеческого развития Корнельского колледжа экологии человека, показывает, почему глаза открывают окно в душу.

Согласно недавнему исследованию, опубликованному в журнале Psychological Science 1 февраля, Андерсон обнаружил, что мы интерпретируем эмоции человека, анализируя выражение его глаз — процесс, который начался как универсальная реакция на раздражители окружающей среды и развился для передачи наших самых глубоких эмоций.

Например, люди, участвовавшие в исследовании, постоянно ассоциировали суженные глаза, которые усиливают зрительное различение, блокируя свет и усиливая фокусировку, с эмоциями, связанными с дискриминацией, такими как отвращение и подозрение. Напротив, люди связывали открытые глаза, которые расширяют поле нашего зрения, с эмоциями, связанными с чувствительностью, такими как страх и трепет.

«Когда вы смотрите на лицо, глаза доминируют в эмоциональном общении», — сказал Андерсон. «Глаза — это зеркало души, вероятно, потому, что они являются первыми проводниками зрения.Изменения эмоционального выражения вокруг глаз влияют на то, как мы видим, и, в свою очередь, это сообщает другим, как мы думаем и чувствуем ».

Эта работа основана на исследовании Андерсона 2013 года, которое продемонстрировало, что выражения человеческого лица, такие как поднятие бровей, возникли в результате универсальных адаптивных реакций на окружающую среду и изначально не сигнализировали о социальном общении.

Оба исследования подтверждают теории Чарльза Дарвина 19 века об эволюции эмоций, которые предполагали, что наши выражения возникли для сенсорной функции, а не для социального общения.

«То, что наша работа начинает разгадывать, — сказал Андерсон, — это детали того, что теоретизировал Дарвин: почему определенные выражения выглядят так, как они выглядят, как это помогает человеку воспринимать мир и как другие используют эти выражения, чтобы читать наши самые сокровенные эмоции и намерения ».

Андерсон и его соавтор, Дэниел Х. Ли, профессор психологии и нейробиологии в Университете Колорадо в Боулдере, создали модели шести выражений лица — печали, отвращения, гнева, радости, страха и удивления, — широко используя фотографии лиц. используемые базы данных.Участникам исследования была показана пара глаз, демонстрирующая одно из шести выражений и одно из 50 слов, описывающих конкретное психическое состояние, такое как различение, любопытство, скука и т. Д. Затем участники оценивали степень, в которой это слово описывало выражение глаз. Каждый участник выполнил 600 испытаний.

Участники постоянно сопоставляли выражения глаз с соответствующей базовой эмоцией, точно распознавая все шесть основных эмоций только по глазам.

Андерсон затем проанализировал, как эти восприятия психических состояний связаны с конкретными особенностями глаз.Эти особенности включали открытость глаза, расстояние от брови до глаза, наклон и изгиб брови, а также морщины вокруг носа, виска и под глазами.

Исследование показало, что открытость глаза наиболее тесно связана с нашей способностью распознавать психические состояния других людей по выражению их глаз. Выражения с узкими глазами отражали психические состояния, связанные с повышенной зрительной дискриминацией, такие как подозрение и неодобрение, в то время как выражения с открытыми глазами, связанные с зрительной чувствительностью, например любопытство.Другие особенности вокруг глаза также сообщают, является ли психическое состояние положительным или отрицательным.

Кроме того, он провел больше исследований, сравнивая, насколько хорошо участники исследования могли читать эмоции в области глаз, с тем, насколько хорошо они могли читать эмоции в других областях лица, таких как нос или рот. Эти исследования показали, что глаза более надежно отражают эмоции.

Это исследование, по словам Андерсона, было следующим шагом в теории Дарвина, где он спрашивал, как выражения для сенсорной функции в конечном итоге используются для коммуникативной функции сложных психических состояний.

«Глаза возникли более 500 миллионов лет назад для целей зрения, но теперь они необходимы для межличностного понимания», — сказал Андерсон.

Стивен Д’Анджело — помощник директора по коммуникациям Колледжа экологии человека.

Эмоциональные лица направляют взгляд в отсутствие осознания

Обнаружение потенциальных угроз в окружающей среде и реагирование на них — важный навык для выживания. Эмоциональная информация, указывающая на угрозу в окружающей среде, например испуганное или сердитое лицо, дает преимущества в восприятии и внимании по сравнению с нейтральной информацией (Carretié, 2014; Pourtois et al., 2013; Vuilleumier, 2005): эмоциональная информация усиливает зрительную чувствительность (Phelps et al., 2006; Fox et al., 2000), усиливает влияние внимания на зрительную чувствительность (Ferneyhough et al., 2013; Bocanegra and Zeelenberg, 2009; Bocanegra and Zeelenberg). , 2011a; Bocanegra and Zeelenberg, 2011b; Ohman et al., 2001; Lundqvist and Ohman, 2005) и по внешнему виду (Barbot and Carrasco, 2018), и получает преимущественный доступ к осведомленности (Amting et al., 2010; Yang et al. ., 2007; Milders et al., 2006; Hedger et al., 2015). Преимущества эмоциональной информации распространяются на действия. Глаз (Bannerman et al., 2009a; Bannerman et al., 2009b; Bannerman et al., 2010; Nummenmaa et al., 2009) — или указывающий (Valk et al., 2015) движения на эмоциональные стимулы, особенно связанные с угрозой — облегчаются, тогда как саккады вдали от них задерживаются (Belopolsky et al., 2011; Kissler, Keil, 2008). Кроме того, эмоциональная информация влияет на траектории взгляда, то есть непосредственно направляет движения глаз. Обычно глаза людей больше привлекают эмоциональные, чем нейтральные лица (Mogg et al., 2007; Kret et al., 2013a; Kret et al., 2013b), тем не менее, иногда взгляд отталкивается от связанных с угрозой — злых или испуганных — лиц (Hunnius et al., 2011; Becker and Detweiler-Bedell, 2009; Schmidt et al., 2012).

Примечательно, что для распознавания эмоционального выражения лица не требуется осознавать лицо. (Некоторые авторы называют « осведомленность » и « сознание » как синонимы; в соответствии с недавним обзором диссоциации восприятия и движений глаз для нейтральных стимулов (Spering and Carrasco, 2015), мы используем термин « осведомленность » и оперативно определяем его как способность составить явный отчет о восприятии).Кортикально слепые люди способны правильно «угадывать» эмоции лиц, которых они не могут видеть (de Gelder et al., 2005; de Gelder et al., 1999; Pegna et al., 2005; Tamietto et al., 2009; Bertini et al., др., 2013; Striemer et al., 2017). У неврологически неповрежденных наблюдателей эмоциональная, особенно связанная с угрозами, информация, о которой они не подозревают, имеет приоритет над нейтральной информацией (Hedger et al., 2016), способствует визуальному различению (Bertini et al., 2017) и изменяет последующее восприятие ( Алмейда и др., 2013) и дискриминационные суждения дифференцированно для невидимой эмоции (Zhan and de Gelder, 2018). Наблюдатели за эмоциональными стимулами не знают, что они также вызывают физиологические реакции, например, изменения проводимости кожи (Esteves et al., 1994), активность лицевых мышц и расширение зрачков (Tamietto et al., 2009), а также активируют подкорковые структуры, например миндалину. , пульвинария, базальные ганглии и верхний бугорок (Tamietto and de Gelder, 2010; Jiang and He, 2006; Troiani et al., 2014; Troiani and Schultz, 2013), а также корковые структуры (Pessoa and Adolphs, 2010).Более того, подавленные эмоциональные стимулы влияют на время глазодвигательной реакции; когда наблюдатели саккады движутся к цветным пятнам, чтобы сообщить о цвете маски, начало саккад происходит медленнее, от замаскированных сердитых лиц, чем от замаскированных счастливых лиц (Terburg et al., 2012). Несмотря на это свидетельство, указывающее на преимущества восприятия и внимания, неизвестно, может ли подавленная эмоциональная информация также напрямую направлять действия или мы должны осознавать угрозу, прежде чем мы сможем с ней действовать.

Движения глаз являются идеальным полигоном для проверки связи между подавленной эмоциональной информацией и действиями, поскольку недавние данные показали, что движения глаз и визуальное восприятие нейтральных стимулов могут быть диссоциированы (Spering and Carrasco, 2015). Управляется ли и каким образом глазодвигательные действия неосознаваемой эмоциональной информацией, можно исследовать путем подавления стимулов от осознания при измерении движений глаз. Диссоциация движений глаз и зрительного восприятия отражает ситуации, в которых направление движений глаз изменяется в ответ на определенные визуальные особенности, такие как ориентация или направление движения, даже если наблюдатели не могут сообщить об этих характеристиках, потому что они не осознают их (Spering и Карраско, 2015; Сперинг и Карраско, 2012; Сперинг и др., 2011; Роткирч и др., 2012; Глассер и Тадин, 2014; Кун и Лэнд, 2006; Simoncini et al., 2012; Тавассоли и Рингач, 2010). Другими словами, подавленные нейтральные стимулы определяют траекторию движений глаз в отсутствие осознания. Более того, зрительное внимание может модулировать обработку нейтральных стимулов и движения глаз, которые они вызывают, даже когда наблюдатели их не замечают (Spering and Carrasco, 2012).

Сердитые и испуганные лица передают разные типы угроз и вызывают разные реакции при осознании.Испуганные лица указывают на потенциальную косвенную угрозу в окружении напуганного человека без указания источника угрозы, предполагая, что для оценки ситуации требуется больше информации (Davis et al., 2011). Эта неоднозначность приводит к усилению активации миндалины (Whalen et al., 2013), усиливает визуальное внимание к наблюдаемому расположению пугающего стимула (Phelps et al., 2006; Ferneyhough et al., 2013) и привлекает движения глаз, которые позволяют детально обрабатывать лицо и его окружение (Mogg et al., 2007). Сердитые лица указывают на прямую угрозу (человек с сердитым выражением лица смотрит прямо на наблюдателя), ведущую к избеганию (Schmidt et al., 2012; Marsh et al., 2005) или замораживанию (Roelofs et al., 2010) реакции. При взгляде на сердитые лица наблюдатели проявляют более сильный рефлекс испуга (Springer et al., 2007), более сильную активацию мышц туловища (Huis In ‘t Veld et al., 2014), расширение зрачков (Kret et al., 2013b ) и более высокая активация в областях мозга, связанных с защитной подготовкой (Williams et al., 2005; Пишон и др., 2009; Kret et al., 2011), чем при взгляде на испуганные лица. Считается, что обработка угроз происходит по двум отличительным нейронным путям: быстрому подкорковому и более медленному кортикальному (LeDoux, 1998). Есть некоторые свидетельства того, что информация о страхе по сравнению с информацией о гневе может предпочтительно обрабатываться быстрым подкорковым путем (Luo et al., 2007). Это обширное исследование предполагает различную обработку страха и гнева при осознании. Тем не менее, когда наблюдатели предстают с неприкрытыми злыми и испуганными лицами, оба привлекают внимание (Mogg et al., 2007; Kret et al., 2013a) или отталкивать (Hunnius et al., 2011; Becker, Detweiler-Bedell, 2009) их внимание и взгляд одинаково сильно. Следует отметить, что существуют лишь косвенные свидетельства явных эффектов эмоциональных лиц в отсутствие осознания: испуганные лица имеют преимущественный доступ к осознанию (Yang et al., 2007; Milders et al., 2006; Troiani et al., 2014; Jusyte et al., 2015), тогда как сердитые лица остаются подавленными дольше (Jusyte et al., 2015; Zhan et al., 2015), по сравнению с нейтральными лицами, отображаемыми во время подавления непрерывной вспышки (CFS).

Наше исследование преследовало две цели: (1) Проверить, могут ли связанные с угрозой эмоциональные стимулы направлять движения глаз в отсутствие визуального восприятия. Если бы эмоциональные лица подавлялись, чтобы направлять движения глаз, их траектория зависела бы от расположения эмоциональных стимулов. (2) Проверить, различны ли эти глазодвигательные действия в отсутствие осознания для различных лицевых эмоций, связанных с угрозой. Если бы связанная с угрозой эмоциональная информация направляла движения глаз, траектории могли бы быть похожими или разными, то есть в зависимости от характера угрозы: прямые — сердитые лица или косвенные — испуганные лица.

Мы исследовали эти важные открытые вопросы, оценивая, могут ли различные стимулы, связанные с угрозой, управлять глазодвигательными действиями в отсутствие осознания, на что указывают объективные и субъективные измерения, и являются ли эти действия похожими или различными из-за контрастных движений глаз, вызываемых сердитыми лицами и испуганные лица.

границ | Временная динамика декодирования естественных статических эмоциональных выражений лица: исследование с использованием потенциалов, связанных с событиями и фиксацией глаз

Введение

Исследование электроцеребральных реакций на эмоциональные выражения лица (EFE) — это привилегированный способ понять, как люди обрабатывают эмоции, которые они видят на лицах других (Ahern and Scharwtz, 1985).Чтобы оценить реакцию мозга на обработку EFE, в большинстве исследований используется один и тот же экспериментальный протокол. Изображения EFE представляются в течение короткого времени, и участников просят зафиксировать в центральной точке изображения во время записи электроэнцефалографических сигналов. Ответ мозга на предъявление EFE оценивается путем усреднения сигнала ЭЭГ, синхронизированного по времени в начале этого стимула. Только синхронные действия, вызванные предъявлением стимула, вносят вклад в этот вызванный потенциал (связанный с событием потенциал, ERP) при усреднении.Основное предположение, лежащее в основе этой методологии, заключается в уникальном потенциале интересующего события. Если продолжительность презентации очень короткая и если в центре изображения имеется только одна окулярная фиксация и после этого глаз не движется, такая оценка вызванного потенциала в начале изображения является хорошим решением. Исследования, основанные на этом протоколе, показывают два основных этапа обработки EFE во времени. Первый этап — это обработка восприятия, происходящая на ранней стадии и проистекающая из активности затылочной и височной областей.Вторая стадия — это сознательное распознавание, включающее более сложный набор активаций лобных и подкорковых структур (Adolphs, 2002). Некоторые исследователи полагают, что на первую стадию не влияет валентность, а просто отражается сырая структурная обработка. Это мнение подтверждается некоторыми исследованиями, основанными на ERP, по обработке EFE. Например, Eimer et al. (2003) обнаружили, что эмоциональные лица вызывают более высокие амплитуды, чем нейтральные, для поздних компонентов, но не для ранних. В том же духе Алмейда и др.(2016) обнаружили, что возбуждение, но не валентность EFE, модулирует амплитуду N170. Однако гораздо больше исследований показали, что валентность действительно влияет на раннюю обработку EFE, обнаруживая очень быструю и раннюю модуляцию сверху вниз на этой стадии восприятия или, по крайней мере, «быструю обработку эмоций, основанную на грубых визуальных сигналах на лицах» (Vuillemier and Pourtois , 2007). Действительно, различия в латентности и амплитудах компонентов ERP могут возникать уже в первые 100 мс после стимуляции, например, Компонент P1 (Batty and Taylor, 2003; Neath and Itier, 2015; Itier and Neath-Tavares, 2017), а также модуляция латентности и амплитуды специфичного для лица компонента N170 в задних височно-затылочных участках (Pizzagalli et al. al., 1999; Campanella et al., 2002; Blau et al., 2007; Hinojosa et al., 2015; Itier and Neath-Tavares, 2017) и переднего отрицательного компонента около 230 мс (Balconi and Pozzoli, 2003) . Более того, валентно-зависимая модуляция компонента, называемого ранней задней негативностью (EPN) между 150 и 300 мс в затылочно-теменных участках, была обнаружена с более высокой амплитудой для EFE, чем для нейтральных лиц (Recio et al., 2011; Нит-Таварес и Итиер, 2016; Итиер и Нит-Таварес, 2017). Этот компонент может быть вычислен путем вычитания ERP, полученного от нейтральных лиц, к ERP эмоциональных лиц. Если вычитание не выполняется, компонент похож на компонент P2 на задних участках и компонент N2 на передних участках. В этой статье последующее появление компонентов P2 и P3 в задних отделах будет называться комплексом P2-P3, чтобы избежать путаницы. Кроме того, постоянно сообщалось о модуляции поздних компонентов ERP, которая отражает сознательный процесс распознавания EFE.Следовательно, сообщалось о валентно-зависимой амплитудной модуляции положительного компонента около 350 мс на лобно-центральных участках и позднего положительного потенциала (LPP) на всех участках (Krolak-Salmon et al., 2001; Batty and Taylor, 2003 ; Trautmann-Lengsfeld et al., 2013). Более того, Recio et al. (2011) сообщили о зависимой от эмоций модуляции для обработки EFE компонента, родственного LPP, называемого поздним положительным комплексом (LPC). Этот долговременный компонент позитивности достигает пика через 500 мс над центро-теменными участками и вычисляется путем вычитания нейтрального ERP из эмоционального.В целом, время обработки EFE теперь точно задокументировано исследованиями с использованием того же экспериментального протокола. При этом остается вопрос, могут ли результаты, полученные с помощью такого протокола, быть перенесены в повседневную обработку EFE.

В последние годы растет интерес к анализу экологического поведения человека во время повседневного взаимодействия. Это особенно актуально для исследователей, озабоченных реализмом, особенно в прагматических вопросах (Calvo and D’Mello, 2011).К сожалению, обобщение большинства результатов обработки EFE на обычное эмоциональное поведение маловероятно, поскольку экспериментальные методологии не имеют экологической обоснованности. Можно сделать два ключевых критических замечания. Первый касается раздражителей. Исследование динамики обработки EFE проводится с использованием EFE, чаще всего из базы данных Pictures of Facial Affect (POFA; Ekman and Friesen, 1976). Использование этого набора данных способствует сравнению исследований и оптимизирует экспериментальные условия.Однако эти неприродные стимулы (EFE актеров / актрис, созданные в неприродных контекстах) подвергаются множеству критических замечаний (Tcherkassof et al., 2007). Существуют радикальные различия между неприродными поведенческими стимулами (т. Е. Преднамеренными эмоциональными проявлениями), используемыми в лабораторных исследованиях, и теми, которые проявляются в повседневной жизни (т. Е. Спонтанными эмоциональными проявлениями). Исследования выражения лица показали, насколько важной выразительной особенностью естественных проявлений является спонтанность. Спонтанное поведение по разным причинам отличается от преднамеренного поведения (Kanade et al., 2000), включая время и внешний вид (Hess and Kleck, 1990; Cohn and Schmidt, 2004). С экологической точки зрения аффективный анализ, основанный на преднамеренных EFE, имеет слабую способность к обобщению, поэтому им нужны примеры естественно выраженных EFE, а не прототипы моделей поведения лиц, таких как POFA. Следовательно, из-за того, что они не имеют экологической обоснованности, возникает вопрос об обобщении экспериментальных результатов, основанных на неестественных стимулах. Вторая ключевая критика касается предъявления стимула.Как упоминалось выше, участников просят зафиксировать центральную точку стимула, которая отображается в течение короткого времени. Однако это далеко не обычный вид деятельности. Чтобы преодолеть эту проблему, была разработана парадигма бесплатного исследования с использованием отслеживания взгляда и совместной регистрации ЭЭГ для экологической оценки когнитивной обработки стимулов. Методы айтрекинга — это привилегированные средства для изучения распределения внимания наблюдателей к различным областям лица и изучения взаимосвязи между паттернами взгляда и обработкой EFE (Schurgin et al., 2014). Для совместной регистрации ЭЭГ и движений глаз Kaunitz et al. (2014) извлекли потенциалы, связанные с фиксацией глаз (EFRP), вызванные лицами в толпе. Simola et al. (2013, 2015) проанализировали реакцию мозга на эмоциональные сцены, связанные с движением глаз. Что касается обработки EFE, то Neath-Tavares и Itier (2016) изучали совместную регистрацию айтрекинга и ЭЭГ. Тем не менее, они использовали процедуру, зависящую от взгляда, чтобы проверить диагностическое воздействие различных интересующих областей лица (т.е., рот, нос, левый глаз, правый глаз) при обработке EFE. Следовательно, они не изучали процессинг EFE с экологической точки зрения, поскольку участники не могли свободно исследовать стимулы, а скорее имели определенные области интереса, представленные непосредственно в их первой и единственной точке фиксации. В любом случае, для совместной регистрации ЭЭГ и движений глаз, использование как бесплатного отслеживания взгляда, так и совместной регистрации ЭЭГ в парадигме бесплатного исследования вызывает вопросы относительно оценки вызванного потенциала. Когда стимул предъявляется в течение длительного времени и если положение глаз не контролируется для обеспечения стабильности, обычная методология оценки путем усреднения является спорной: потенциал, оцениваемый в начале изображения, не только выявляет потенциал, непосредственно выявленный при представлении изображения, но и также последовательные вклады обработки визуальной информации в каждом ранге фиксации.Например, в случае задержки компонента LPP в окне (около 600-800 мс после начала стимула), разумно ожидать, что одна фиксация глаза до эта задержка уже произошла, даже одна фиксация во время это время окно задержки тоже. В исследовании Trautmann-Lengsfeld et al. (2013) статический стимул предъявлялся в течение 1500 мс, а движения глаз не контролировались. Фактически, нейронная активность, наблюдаемая во время латентного окна компонента LPP, выявила не только активность, вызванную предъявлением стимула, но также активность, обеспечиваемую ранним визуальным исследованием стимула с помощью движений глаз.Это соответствовало цели исследования Траутмана-Ленгсфельда, которое заключалось в сравнении восприятия статического и динамического EFE. Однако стимулы в исследовании Траутманна-Ленгсфельда не были спонтанными EFE, а были вызваны, что снизило экологическую значимость результатов. Таким образом, до сих пор ни одно исследование еще не изучало точную временную динамику обработки ЭФЭ с использованием отслеживания взгляда и совместной регистрации ЭЭГ как с экологическими стимулами (то есть, свободно выражаемыми обычными людьми), так и с парадигмой (т.е., бесплатное визуальное исследование). Настоящее исследование направлено на восполнение этих пробелов в данных.

Целью нашего исследования является изучение обработки EFE в экологических условиях. Мы сосредоточились на неограниченном визуальном исследовании (т. Е. Свободном движении глаз) естественных эмоциональных лиц (спонтанные EFE) в отличие от того, что обычно делается (т. Е. Пристального взгляда и неестественных стимулов). Как и в исследовании Траутмана-Ленгсфельда, стимулы в настоящем исследовании предъявлялись в течение длительного времени, и участники могли свободно их визуально исследовать.Этот протокол экологичен с точки зрения визуального исследования как для динамических, так и для статических стимулов, но здесь используется для статических стимулов. Как следствие, методология оценки вызванных потенциалов должна быть адаптирована к этому экспериментальному плану. При предъявлении стимула и во время последующего визуального исследования глазными фиксациями задействованы несколько когнитивных процессов. Таким образом, оценка вызванных потенциалов путем усреднения не может обеспечить надежную оценку каждого из них, потому что эти реакции мозга перекрывают друг друга.Следовательно, чтобы проанализировать временную динамику обработки EFE, применяется методология, позволяющая различать то, что связано с предъявлением стимула, и тем, что связано с его исследованием. Точные цели и гипотезы настоящего исследования следующие. Недавние методологические исследования по оценке вызванных потенциалов показали, насколько многообещающими являются линейные модели, разлагающие эффекты различных нейронных активностей в течение одного и того же временного окна (Burns et al., 2013; Bardy et al., 2014; Смит и Кутас, 2015а, б; Конгедо и др., 2016; Kristensen et al., 2017a). Эта методология основана на Общей линейной модели (GLM). Он особенно подходит для оценки EFRP и является более гибким (Kristensen et al., 2017b), чем алгоритм ADJAR (Woldorff, 1993). Этот метод недавно был успешно реализован в оценке EFRP / ESRPs (Eye Saccade-Related Potentials) (Dandekar et al., 2012; Kristensen et al., 2017b). Однако это никогда не применялось к эмоциональному полю.Таким образом, наша цель состоит в том, чтобы использовать его для активности ЭЭГ, чтобы исследовать временной ход обработки ЭФЭ в самом начале его визуального исследования. Используя GLM, мы предполагаем, что должна быть возможность деконволюции смежных перекрывающихся ответов EFRPs, вызванных последующими фиксациями, и ERPs, вызванных в начале стимула. Если наша гипотеза верна, временной ход ранней эмоциональной обработки может быть проанализирован с помощью этих оценочных потенциалов. С этой целью был организован совместный эксперимент по отслеживанию движения глаз и ЭЭГ, чтобы воспользоваться преимуществами обоих синхронизированных экспериментальных модальностей (Dimigen et al., 2011; Николаев и др., 2016). Основываясь на гипотезе валентности, ожидаемыми результатами являются различия в амплитуде ERP в зависимости от валентности и полушария (например, более высокая амплитуда в левом полушарии для компонентов положительных эмоций ERP). Согласно литературе о гипотезе валентности (см., Например, Graham and Cabeza, 2001; Wager et al., 2003; Alves et al., 2008), эффекты должны быть локализованы во фронтальных областях. Более того, что более важно, основываясь на статьях Noordewier и Breugelmans (2013), Noordewier et al.(2016), мы ожидаем, что при анализе EFRP первой фиксации будут дифференцированы конкретные процессы, которые могут зависеть от валентности.

Материалы и методы

База данных

База данных DynEmo (Tcherkassof et al., 2013) представляет собой исчерпывающий ресурс снятых на видео аффективного поведения лица, который обеспечивает значительный общедоступный корпус подтвержденных динамических и естественных выражений лица распространенных аффективных состояний (то есть репрезентативных аффективных выражений повседневной жизни).Он предоставляет 358 записей EFE, выполненных широким кругом обычных людей, от молодых до пожилых людей обоих полов (в возрасте 25–65 лет, 182 женщины и 176 мужчин), снятых в естественных, но стандартных условиях. DynEmo обеспечивает подлинные выражения лица — или демонстрации первого порядка, — проявляемые в ходе заданного вызывающего эпизода. Условия, которые влияют или вызывают аффективное поведение, будь то внутренние или внешние по отношению к выразителю (его / его аффективное состояние, текущая ситуация и т. Д.), Известны пользователю.Треть записей EFE была показана наблюдателям, которые оценили (непрерывные аннотации) эмоции, отображаемые на всех записях. Динамические аспекты этих записей EFE и их связь с интерпретациями наблюдателей отображаются на шкале времени. Такие синхронизированные меры по выражению и декодированию позволяют проводить анализ, который одновременно учитывает изменения лица выразителя и ответы наблюдателя (независимо от того, что переживает выразитель).Действительно, для каждого видео временные шкалы эмоционального выражения мгновенно сигнализируют о том, что данное аффективное состояние считается отображенным на лице. Таким образом, легко добиться сегментации выражений на небольшие отрывки эмоций. Для нашего исследования были выбраны наиболее выразительные видео (максимальная оценка наблюдателей) по четырем эмоциям (счастье, удивление, страх и отвращение). Затем внутри каждого короткого клипа EFE извлекалось изображение, соответствующее максимальной интенсивности выражения («вершина»). Окончательный набор данных стимулов состоял из 118 статических стимулов EFE: нейтральный (24), счастье (12), удивление (12), страх (10), отвращение (12), отвлекающие факторы (48), т.е. семьдесят целевых стимулов EFE с контролируемой высокой скоростью распознавания и 48 отвлекающих стимулов EFE.

Стимулы

Стимулы состоят из 118 цветных изображений EFE, у всех уравновешенных по яркости. Разрешение изображений составляет 768 × 1024 пикселей, угол обзора 30 × 40 °. На рисунках 1A – F показан один стимул EFE для каждой эмоциональной категории. Они отображались на 20-дюймовом ЭЛТ-мониторе ViewSonic, расположенном на 57 см перед участниками, с разрешением 768 × 1024 пикселей и частотой обновления 75 Гц.

РИСУНОК 1. Пример стимулов EFE для каждой эмоциональной категории. (А) Счастье. (В) Сюрприз. (С) Страх. (D) Отвращение. (E) Нейтраль. (F) Дистрактор.

Участников

В эксперименте участвовал 31 здоровый взрослый человек, но данные только от девятнадцати субъектов (7 женщин и 12 мужчин в возрасте от 20 до 32 лет — средний возраст 25 лет 7 месяцев ( SD = 3 года 2 месяца, SE = 9 месяцев) — использовались для всех анализов.Данные шести участников были отброшены из-за технических проблем во время сбора данных (плохая калибровка отслеживания взгляда, зашумленные сигналы ЭЭГ). Данные двух участников были отброшены из-за высокой энергии в альфа-диапазоне [8–12 Гц] в затылочной области, что является критерием потери внимания. Наконец, данные двух других участников были отброшены из-за слишком малого количества испытаний (см. Раздел «Активность мозга»). Остальные 19 участников были правшами, за исключением одного мужчины-левши и одной женщины-левши.У всех участников было нормальное зрение или зрение с поправкой на нормальное. Во время эксперимента они не получали никакого медицинского лечения и не имели в анамнезе неврологических или психических расстройств. Ни у кого из них не было опыта выполнения экспериментальной задачи. Все дали свое письменное и информированное согласие до начала эксперимента и получили вознаграждение в виде ваучера на 15 евро за свое участие. Весь эксперимент был рассмотрен и одобрен этическим комитетом Grenoble CHU («Center Hospitalier Universitaire») (RCB: № 2011-A00845-36).Совместная регистрация EEG / Eye tracker проводилась в центре нейрофизиологии IRMaGe (Гренобль, Франция).

Протокол эксперимента

Каждый запуск состоял из двух отдельных последовательных сеансов. Во время обоих сеансов регистрировались движения глаз и активность ЭЭГ. Обратите внимание, что здесь представлены только записи первого сеанса (записи второго сеанса выходят за рамки данной статьи). На первом занятии участники свободно исследовали каждый статический стимул.Для этого их просили внимательно наблюдать за стимулами и «сопереживать» отображаемым выражениям лиц. 118 стимулов предъявлялись случайным образом. Использование отвлекающих факторов на первом занятии было направлено на предотвращение влияния памяти на задание эмоционального рейтинга, выполняемое на втором занятии. Два коротких перерыва удалось избежать утомления участников. Во втором сеансе участники должны были оценить каждый целевой стимул EFE. 70 целевых стимулов предъявлялись в том же порядке, что и в первом сеансе.Участники оценивали стимулы по двум шкалам: возбуждение по пяти уровням, от -2 до 2 [не (-) до сильного (++) возбуждения], и категория эмоционального стимула (счастье, удивление, страх, отвращение и нейтральный ). Поскольку эта сессия была короче, был введен только один короткий перерыв.

Временная шкала испытаний (рис. 2A, B) была одинаковой между двумя сеансами (за исключением двух эмоциональных оценок стимулов во время второго сеанса). Каждое испытание начиналось с отображения креста фиксации в центре экрана, за которым следовал стимул EFE, отображаемый в течение 2 с, затем эмоциональные оценки только для второго сеанса (рис. 2B) и заканчивались серым экраном (4 с. ) до следующего испытания.Крест фиксации отображался в центре экрана для инициализации исследования в течение случайной продолжительности от 700 до 1200 мс, чтобы избежать развития саккадного ожидания перед предъявлением зрительного стимула. Стимул отображался после стабилизации взгляда участника на кресте фиксации (за 500 мс до окончания его предъявления в прямоугольнике размером 3 ° × 2 ° пикселей вокруг креста фиксации). Во время второго сеанса отображение шкал (возбуждение, затем категория эмоций) закончилось ответом участника (нажатие клавиши).Испытание завершалось 4-секундным серым экраном, в течение которого участник мог расслабиться и моргнуть.

РИСУНОК 2. Временная последовательность испытания, состоящая из разных экранов. Первая сессия (A) состояла из 118 испытаний, а вторая сессия (B) состояла из 70 испытаний с двумя дополнительными шагами для вопросов.

Для отслеживания взгляда в начале каждого сеанса выполнялась процедура калибровки по 9 точкам.Это повторялось каждые 20 испытаний или когда коррекция дрейфа, выполняемая каждые 10 испытаний, сообщала об ошибке более 1 °. Полный эксперимент был разработан благодаря программному обеспечению SoftEye (Ionescu et al., 2009) для управления (1) шкалой времени для дисплеев, (2) айтрекером и (3) отправкой триггеров синхронизации на оба устройства.

Сбор данных

Меры поведения

Поведенческие данные (уровень возбуждения EFE и категоризация эмоций) были проанализированы, чтобы определить, как участники оценивали изображения из базы данных.Для данных категоризации эмоций мы использовали метод расчета индекса Вагнера (1997). Этот автор рекомендовал использовать непредвзятую частоту совпадений (Hu) при изучении точности распознавания выражения лица, чтобы учесть возможные смещения стимулов и ответов. Метод вычислений Вагнера объединяет условную вероятность того, что стимул будет распознан (при условии, что он представлен), и условную вероятность того, что ответ будет правильным (при условии, что он используется), в оценку совместной вероятности обоих результатов.Это делается путем умножения двух условных вероятностей, разделенных на соответствующую предельную сумму (стр. 50). Таким образом, точность — это пропорция как ответов, так и частот стимулов. Матрицы неточностей разработаны таким образом, чтобы несмещенный коэффициент совпадений (Hu), вычисленный для каждого участника, можно было использовать в качестве зависимой переменной. Ху варьируется от 0 (полное отсутствие распознавания) до 1 (полное распознавание). Поскольку эмоция страха была плохо классифицирована (28% стимулов страха были признаны неожиданными, а 16% стимулов страха были признаны нейтральными), все данные об эмоции страха были удалены, и был проведен анализ по четырем категориям (нейтральный, Отвращение, удивление и счастье).Более того, эмоциональная категоризация участников во время второго сеанса использовалась в качестве основы для анализа данных, записанных во время первого сеанса. Другими словами, для данного участника каждый стимул EFE был повторно категоризирован post hoc в соответствии с категорией эмоции, которую участник назначил EFE. Таким образом, каждый участник декодировал одну и ту же эмоцию на несколько разных подмножествах стимулов. После декодирования данной эмоции связанные подмножества стимулов (одно подмножество на участника и на каждую эмоцию) имели большое совпадение между участниками, например, по крайней мере, 50% участников в среднем отнесли 75% одних и тех же стимулов EFE к одной и той же эмоции.Точнее, этот процент стимулов распределялся по эмоциям следующим образом: 75% для нейтральных, 75% для отвращения, 50% для удивления и 100% для счастья.

Главный аргумент в пользу этой процедуры повторной категоризации заключается в том, что нельзя путать процессы кодирования и декодирования, как подчеркивал Вагнер (1997). Действительно, кодировщик может выразить данную эмоцию, когда декодер интерпретирует это выражение лица как отображение другой эмоции. Поскольку нас беспокоит процесс декодирования, он оправдывает то, что мы полагаемся на суждение наблюдателя, а не на эмоции кодировщика.Это особенно актуально, потому что исследуемые церебральные сигналы соответствуют собственному суждению наблюдателя. Напомним, что в данном исследовании анализируются только данные ЭЭГ первого сеанса. В этом протоколе нейтральное состояние было контрольным по сравнению с тремя другими EFE (отвращение, удивление и счастье).

Глазная активность

Для совместимости с этим получением ЭЭГ удаленный бинокулярный инфракрасный айтрекер EyeLink 1000 (SR Research) использовался для отслеживания взгляда направляющего глаза каждого участника, когда он / она смотрели на экран.Система EyeLink использовалась в режиме слежения за отражением зрачка и роговицы с частотой 1000 Гц. Для отслеживания положения головы положение головы стабилизировали с помощью упора для подбородка.

Сигналы взгляда и ЭЭГ были синхронизированы в автономном режиме на основе триггеров, отправленных одновременно для обоих сигналов на каждом этапе испытаний, с использованием программного обеспечения SoftEye (Ionescu et al., 2009). Программа EyeLink автоматически обнаруживала саккады и фиксации. Пороговыми значениями для обнаружения саккады были минимальная скорость 30 ° / с, минимальное ускорение 8000 ° / с ² и минимальное движение при 0.1 ° / с. Кроме того, к каждому движению глаз и сигналам ЭЭГ были добавлены определенные триггеры в автономном режиме, чтобы указать начало фиксации в зависимости от их локализации в стимулах EFE. Затем, чтобы выбрать фиксации в соответствии с их пространственным положением, все стимулы EFE были вручную сегментированы на семь областей интереса (ROI), как показано на рисунке 3A. Семью областями были лоб, левая и правая брови, морщинка, левый и правый глаза, нос, рот и подбородок.Добавлен восьмой регион для фиксации за пределами этих регионов.

РИСУНОК 3. (A) Пример масок для определения интересующих областей в стимулах EFE. (B, C) Два примера пути сканирования для отвращения и для счастья. (D) Средний процент позиции первой фиксации в зависимости от ROI и эмоций, на основе индивидуальных средств.

Активность мозга

Электроэнцефалографическая (ЭЭГ) активность участников непрерывно регистрировалась с помощью Acticap ^® (Brain Products, Inc.), снабженный 64 активными униполярными электродами Ag-AgCl, которые располагались согласно расширенной системе 10–20 (Jasper, 1958; Oostenveld and Praamstra, 2001). В качестве опорного и заземляющего электродов использовались электроды Acticap, т. Е. FCz для опорного сигнала и AFz для заземления. Электроокулографическая активность (ЭОГ) также регистрировалась с использованием двух электродов, расположенных на наружных уголках глазного яблока, и 2 электродов, соответственно, над и под левым глазом. Участники могли свободно двигать глазами, чтобы исследовать визуальный стимул, но им было дано указание ограничить моргание во время экспериментальной сессии (см. Рис. 3B, C, где показаны два примера пути сканирования).Сопротивление всех электродов поддерживалось ниже 10 кОм. Сигнал усиливался с использованием системы BrainAmp ^TM (Brain Products, Inc.) и дискретизировался с частотой 1000 Гц с фильтром высоких частот 0,1 Гц и разрешением 0,1 мкВ. Сбор данных производился с использованием Гренобльской ЭЭГ-установки «IRMaGE».

Что касается предварительной обработки данных ЭЭГ, необработанный сигнал сначала подвергался полосовой фильтрации между 1 и 70 Гц и добавлялся режекторный фильтр (50 Гц). Сигналы были визуально проверены на наличие плохих каналов. Отклоненные каналы были интерполированы.Сигналы были повторно привязаны к среднему значению по всем каналам в автономном режиме. Артефакты, связанные с движениями глаз (саккады и мигания), были исправлены полуавтоматическим способом с использованием сигнала, записанного с электродов EOG и алгоритма SOBI (Belouchrani et al., 1997). Затем сигнал был сегментирован на эпохи, которые начинались за 200 мс до и заканчивались через 2000 мс после начала изображения. Эпохи были отвергнуты, когда их дисперсия превышала ограничительный порог средней дисперсии по эпохам плюс три стандартных отклонения.Более того, эпохи также отбрасывались, если за 2-х секундное испытание было меньше двух фиксаций. Данные от участников без минимум пяти эпох на эмоцию были исключены. Таблица 1 суммирует количество проанализированных эпох. Программное обеспечение EEGlab (Delorme and Makeig, 2004) использовалось для всех этапов обработки, за исключением реализации GLM для оценки вызванного потенциала.

ТАБЛИЦА 1. Количество эпох на эмоцию на основе индивидуальных измерений.

Затем данные были скорректированы по базовой линии в соответствии со средней амплитудой ЭЭГ в окне от -200 мс до 0 мс перед началом изображения.Наконец, сигнал от семи областей кожи головы (4/5 электродов на область) был усреднен для создания семи виртуальных электродов. Эти области были равномерно распределены по коже черепа, от лобных до теменно-затылочных и слева направо, включая срединный затылочный участок. Эти области были определены следующим образом: левая лобная (F3, F5, F7, FC5, FC3), правая лобная (F4, F6, F8, FC6, FC4), левая центро-теменная (C3, C5, T7, CP3, CP5). , правая срединно-теменная (C4, C6, T8, CP4, CP6), левая теменно-затылочная (P3, P5, P7, PO3, PO7), правая теменно-затылочная (P4, P6, P8, PO4, PO8) и срединно-затылочный (POz, O1, Oz, O2).

Методы оценки

Два метода (Среднее и GLM) были применены к одному и тому же набору испытаний (Таблица 1), обеспечивая две оценки ERP в начале стимула, усреднение и регрессию, и одну оценку EFRP путем регрессии.

Оценка усреднением

Оценка вызванных потенциалов путем усреднения сигналов ЭЭГ с временной синхронизацией является классическим методом. Обратите внимание на сигнал x _i ( t ) с временной синхронизацией в начале изображения в эпоху i ^th , например:

xi (t) = s (t) + ni (t)

с s ( t ) потенциалом, вызванным в начале изображения, и n _i ( t ) фоновой корковой активностью, рассматриваемой как шум.(t) = 1EΣi = 1Exi (t).

Хорошо известно, что эта оценка несмещена только в том случае, если для каждой эпохи выявляется уникальный потенциал (Ручкин, 1965).

В нашем случае стимулы EFE были классифицированы в соответствии с собственной категоризацией каждого участника. Оценка по среднему значению проводилась для каждой эмоции данного участника. Более того, во время интересующей латентности (от начала изображения до 600 мс) произошла одна или несколько фиксаций / саккад (см. Раздел «Позиции при первых фиксациях»).(t) представлены в разделе «Связанный с событием потенциал в начале изображения, оцененный путем усреднения». Чтобы разделить эти две нейронные активности, были выполнены дополнительные оценки с использованием GLM, как описано далее.

Оценка с помощью регрессии с использованием «общей линейной модели»

Вызванный потенциал в начале изображения и потенциалы, вызванные при каждой фиксации и ранге саккады, перекрывали друг друга. Чтобы учесть эти перекрытия в ответах на наблюдаемую синхронизированную по времени нейронную активность, можно разработать более точную модель, например:

xi (t) = s (t) + fp (1) (t − τi (1)) + Σl = 2L (i) fp (2 +) (t − τi (l)) + Σl ′ = 1L ′ (i ) sp (t − τi ′ (l ′)) + ni (t)

, где s ( t ) — вызванный потенциал в начале изображения, fp ⁽¹⁾ ( t ) — потенциал, вызванный на первом ранге фиксации, fp ⁽²⁺⁾ ( t ) потенциал, вызванный на втором и последующих рангах, sp ( t ) саккадический потенциал, вызванный на каждом ранге саккад и n _i ( t ) шум продолжающейся деятельности .В этом уравнении для данной эпохи –, τi (l) — это отметка времени начала фиксации на ранге –1, а τi ′ (l ′) — отметка времени начала саккады на ранге –1 ’. Обоснование данной модели следующее:

— Потенциал, выявленный на первом ранге фиксации, на априори на отличается от потенциала, выявленного на следующих рангах. Обоснование этого обоснования, во-первых, исходит из глазодвигательных особенностей, которые могут отличаться при самой первой фиксации по сравнению с последующими, когда исследование уже началось.Во-вторых, категоризация EFE зависит от его распознавания, что является быстрым процессом с большим вкладом визуальной информации, обрабатываемой на первом ранге фиксации (Batty and Taylor, 2003; Vuillemier and Pourtois, 2007).

— Саккадическая активность учитывается, поскольку эта активность взаимодействует с ранними компонентами EFRP на задних участках, а также на передних участках (Николаев и др., 2016). Интеграция этих действий в линейную регрессию — хорошее решение (Dandekar et al. (t ) а именно.(t)] рассчитывались отдельно для каждого эмоционального состояния и виртуального электрода. На этих вызванных потенциалах средняя амплитуда четырех представляющих интерес компонентов, а именно P1, N170, комплекса P2-P3, который включает в себя компоненты P2 и P3 (или EPN, который является дифференциальной версией с нейтральной эмоцией) и LPP были извлечены. Используя инспекции больших средних значений, окна, используемые для извлечения этих амплитудных данных, были адаптированы из окна Trautmann-Lengsfeld et al. (2013), чтобы соответствовать нашим данным.Окно задержки для компонента P1 составляло 90–130 мс после стимуляции. Окно задержки для компонента N170 составляло 140–180 мс после стимуляции. Окно латентности для комплекса P2 – P3 составляло 200–350 мс после стимуляции. Окно задержки для компонента LPP составляло 400-600 мс после стимуляции. Для регрессивного EFRP были извлечены два компонента: лямбда-ответ и компонент P2 в пределах окна задержки 20–100 мс и 180–300 мс соответственно. На первом этапе все эти ANOVA были выполнены с использованием Statistica, имело значение 0.05, использовались скорректированные по Гринхаусу-Гейссеру степени свободы при нарушении сферичности (значимость критерия сферичности Мочли) и отслеживались для каждого значимого эффекта данного фактора с помощью апостериорных тестов Tukey с поправкой на множественные сравнения. Что касается EFRP, поскольку нет литературы, с которой можно было бы сравнить эти результаты, мы начали с использования t -тестов против нуля для разницы в амплитуде компонентов между каждым EFE и нейтральными.На втором этапе оценивалась статистическая достоверность результатов, чтобы определить, как количество участников и испытаний взаимодействует с каждым результатом (Boudewyn et al., 2017). Эта дополнительная проверка проводится потому, что количество участников и количество испытаний на одного участника находятся в нижнем диапазоне обычных значений. Для этого было смоделировано 1000 экспериментов для каждой конфигурации, заданной определенным количеством участников (N) и несколькими испытаниями для каждого участника и для каждой эмоции.Вероятность наблюдения результата вычисляется в среднем по всем смоделированным экспериментам (1000) в зависимости от заданного числа участников и заданного числа испытаний на участника. Результаты представлены в качестве дополнительных материалов в Приложении 3.

Результаты

Поведенческие данные

для каждого EFE (таблица 2) были статистически проанализированы с использованием повторного измерения ANOVA с эмоциями в качестве фактора внутри участника. Основное влияние на эмоции было значительным [ F (3,54) = 80.73, p <0,0001, ηp2 = 0,82]. Нейтральные EFE (-0,29, SE = 0,13) вызывали меньше возбуждения, чем отвращение (0,73, SE = 0,11), удивление (0,70, SE = 0,07) и счастье (1,16, SE = 0,006) EFE. , которые, в свою очередь, вызывали больше возбуждения, чем отвращения (0,82, SE, = 0,08) и удивления (0,75, SE = 0,07) EFE.

ТАБЛИЦА 2. Среднее возбуждение, несмещенная частота совпадений, среднее количество фиксаций и продолжительность фиксации (стандартная ошибка в скобках) в зависимости от эмоции, на основе индивидуальных средств.

Несмещенный процент совпадений был вычислен (таблица 2) на основе эмоциональной категоризации стимулов, предоставленной участником, и был статистически проанализирован с использованием повторного измерения ANOVA с эмоциями в качестве фактора внутри участника. Основное влияние на эмоции было значительным [ F (3,54) = 67,38, p <0,0001, ηp2 = 0,79]. Несмещенный процент попаданий был самым низким для EFE отвращения (0,32, SE = 0,03) и был самым высоким для EFE счастья (0,88, SE = 0.03).

Данные о движениях глаз

В этом разделе мы сначала детализируем общие характеристики данных о движениях глаз (количество фиксаций и средняя продолжительность фиксации для полного испытания), а затем, что более важно, особенности двух первых фиксаций. Представлены результаты перераспределения позиций фиксации по ROI для первой фиксации. Эти результаты обеспечивают внешнюю проверку экспериментальных данных, поскольку они воспроизводят регулярные результаты по положениям глаз, связанным с декодированием EFE.Результаты по продолжительности фиксации, задержке фиксации, амплитуде входящей саккады и ориентации, которые являются необходимыми элементами для конфигурации GLM, подробно описаны в дополнительных материалах в Приложении 2.

Глобальные функции

Как количество фиксаций, так и средняя продолжительность фиксации на испытание (синтезированные в таблице 2) были статистически проанализированы с использованием двух отдельных дисперсионных анализов ANOVA с повторными измерениями с эмоцией в качестве фактора внутри участника. Количество фиксаций не различается для разных эмоций [ F (3,54) = 1.24, p = 0,30, ηp2 = 0,02], а также продолжительность фиксации [ F (3,54) = 1,49, p = 0,23, ηp2 = 0,08].

Позиции по первым фиксациям

Процент в каждой пространственной области интереса независимо от эмоции (таблица 3) был проанализирован с использованием дисперсионного анализа с повторными измерениями с рангом фиксации и областью интереса в качестве факторов внутри участника. Были рассмотрены только шесть областей интереса, поскольку области интереса лба и подбородка были недостаточно зафиксированы (соответственно 0,47% и 0.09%). Как и ожидалось, наблюдалось основное влияние на ROI [ F (5,90) = 37,5, p <0,0001, ηp2 = 0,68]: глаза (41,94%, SE = 4,52%) и Нос (37,96%, SE = 3,76%) были двумя ROI, наиболее фиксированными на двух первых позициях. Рейтинг по взаимодействию ROI был значительным [ F (5,90) = 15,9, p <0,0001, ηp2 = 0,47], показывая, что глаза были более зафиксированы при второй фиксации (47,7%, SE = 4,39%). ), чем при первой фиксации (37.19%, SE = 4,84%), и наоборот, нос был наиболее зафиксирован при первой фиксации (42,91,%, SE = 3,93%), чем при второй фиксации (33,02%, SE = 3,75%) .

ТАБЛИЦА 3. Средние проценты (стандартная ошибка в скобках) в каждой области интереса для первой и второй фиксации на основе индивидуальных значений.

Для шести наиболее фиксированных областей интереса были запущены шесть отдельных дисперсионных анализов (таблица 4), чтобы проанализировать конкретное положение первой фиксации (рис. 3D) в соответствии с эмоцией (фактор внутри участника).

ТАБЛИЦА 4. Средние проценты (стандартная ошибка в скобках) в каждой области интереса, в зависимости от эмоции, для первой и второй фиксации, на основе индивидуальных средств.

Для ROI рта значительно больший процент этого ROI наблюдался для эмоции счастья (15,24%, SE = 3,84%) по сравнению с отвращением (7,49%, SE = 3,63%) и нейтральным (7,35%). , SE = 3,93%) эмоции. Существенная разница наблюдалась для ROI бровей с большим процентом первой фиксации на этой ROI для эмоции отвращения (3.15%, SE = 0,81%), чем для эмоции неожиданности (0,89%, SE = 0,37%). Для рентабельности инвестиций в корругатор наблюдалась тенденция с более высоким процентом рентабельности инвестиций для эмоции отвращения (6,12%, SE = 1,29%) по сравнению с эмоцией счастья (2,03%, SE = 1,16%). Наконец, наблюдалась тенденция для процента первой фиксации за пределами области интереса, большая для эмоции удивления (7,91%, SE = 1,81%), чем для нейтральной (2,22%, SE = 0).(t) был получен для каждого участника, каждой эмоции и каждого виртуального электрода (Рисунок 4). Были извлечены четыре компонента. Все статистические результаты приведены в таблице 5. Ниже подробно описаны только значимые эффекты.

РИСУНОК 4. Связанные с событием потенциалы, возникающие в начале стимула, оцениваются путем усреднения в зависимости от эмоции и виртуального электрода.

ТАБЛИЦА 5. Статистические результаты ANOVA, выполненных на вызванном потенциале в начале изображения, оцененных путем усреднения.

Был значительный основной эффект виртуального электрода для компонента P1, компонента N170, комплекса P2 – P3 и LPP (таблица 5). После разложения post hoc и поправок Тьюки для компонента N170 не было значимых различий. Для каждого из трех других компонентов наблюдались значительные различия с более высокими средними амплитудами на задних участках, чем на центральных участках, которые в свою очередь были выше, чем на передних участках.

И для комплекса P2 – P3, и для LPP взаимодействие между эмоцией и виртуальным электродом было значительным (Таблица 5).Для комплекса P2 – P3 состояние счастья приводит к более высокой средней амплитуде (-2,27 мкВ, SE = 0,59 мкВ), чем для состояния неожиданности (-3,67 мкВ, SE = 0,59 мкВ) на левой лобной части. . Для LPP его средняя амплитуда была выше в состоянии счастья (-1,56 мкВ, SE = 0,39 мкВ), чем в состоянии неожиданности (-3,05 мкВ, SE = 0,62 мкВ) на левой лобной части. Моделирование методом Монте-Карло (см. Дополнительный материал в Приложении 3) было выполнено на LPP, извлеченном из ERP в начале стимула, оцененном путем усреднения.(t) был получен для каждого участника, каждой эмоции и каждого виртуального электрода (Рисунок 5). Были извлечены четыре компонента. Все статистические результаты приведены в таблице 6.

РИСУНОК 5. Связанные с событием потенциалы, возникающие в начале стимула, оцениваются с помощью регрессии, в зависимости от эмоции и виртуального электрода.

ТАБЛИЦА 6. Статистические результаты ANOVA, выполненного на вызванном потенциале в начале изображения, оцененном с помощью регрессии.

Для всех компонентов, кроме N170, был значительный основной эффект виртуального электрода (таблица 6) с более высокой средней амплитудой обоих компонентов в задних участках, чем на передних участках. Для LPP наблюдалась только разница тенденций в состоянии отвращения с более низкой амплитудой (-2,39 мкВ, SE = 0,79 мкВ), чем в состоянии неожиданности (0,54 мкВ, SE = 1,69 мкВ) в правой лобной части. сайт.

Не наблюдалось значительной модуляции эмоций на основе нейронной активности, оцененной с помощью sGLM ^ (t), в то время как модуляция наблюдалась на основе нейронной активности, оцененной с помощью sAvg ^ (t). (t) (Рисунок 6 ).Были извлечены два компонента: лямбда-отклик от 20 до 100 мс и компонент P2 от 180 до 400 мс. Средняя амплитуда каждого компонента была проанализирована с использованием повторного измерения ANOVA с рангом фиксации и эмоцией в качестве факторов внутри участника. Все статистические результаты приведены в таблице 7. Ниже подробно описаны только значимые эффекты.

РИСУНОК 6. Потенциалы, связанные с фиксацией глаза, выявленные при первом появлении фиксации (сплошная линия) и на следующих уровнях (пунктирная линия), оцененные по регрессии на правом теменно-затылочном участке (вверху), левом теменно-затылочном участке ( в центре) и срединный затылочный участок (внизу), в зависимости от эмоции, слева направо: отвращение vs.нейтральный, удивление против нейтрального и счастье против нейтрального.

ТАБЛИЦА 7. Статистические результаты тестов Стьюдента, выполненных на EFRP, оцененные методом регрессии.

Существенные различия наблюдались на первом EFRP и между неожиданным и нейтральным. Существенная разница наблюдалась на правом теменно-затылочном участке лямбда-ответа с более высокой амплитудой для неожиданности (4,39 мкВ, SE = 1,20 мкВ), чем для нейтрального (1,82 мкВ, SE = 0.70 мкВ). Для компонента P2 была значительная разница в правом теменно-затылочном участке с более высокой средней амплитудой для неожиданности (1,40 мкВ, SE = 0,44 мкВ), чем для нейтрального (-0,39 мкВ, SE = 0,40 мкВ). . Существенная разница была также обнаружена для компонента P2 между неожиданностью (0,93 мкВ, SE = 0,63 мкВ) и нейтральной (-0,89 мкВ, SE = 0,64 мкВ) в среднем затылочном участке. Известно, что локальные физические особенности зрительного стимула влияют на амплитуду лямбда-ответа (Gaarder et al., 1964). Статистические результаты показали, что не было никакой разницы между эмоциями для локального стандартного отклонения яркости в области, на которую смотрели при первой фиксации, ни какой-либо разницы между эмоциями локальной яркости через первую саккаду. Эти результаты представлены в качестве дополнительных материалов в Приложении 2. Более того, моделирование Монте-Карло (см. Дополнительные материалы в Приложении 3) подтвердило, что различия присутствовали в правом теменно-затылочном участке и срединном затылочном участке для первого EFRP и были отсутствует для второго и последующих EFRP.

Обсуждение

Целью настоящего исследования было проанализировать временную динамику расшифровки спонтанных и статичных эмоциональных лиц. Точнее, была исследована временная динамика естественных EFE на ранних этапах визуального исследования. Совместно регистрировались и анализировались движения глаз и активность ЭЭГ. Недавние исследования с использованием таких совместных записей показали интерес к регрессионному подходу, основанному на GLM, для оценки ERP, а также потенциалов, связанных с фиксацией глаза / саккадами (Dandekar et al., 2012; Kristensen et al., 2017b). Перекрывающиеся вызванные потенциалы могут быть отдельно оценены деконволюцией при использовании этого метода. Следовательно, эти методологические инструменты учитывают временное измерение. Это особенно интересно для изучения динамики обработки EFE. Например, Noordewier et al. (2016) подчеркнули важность учета временного измерения для понимания природы неожиданности. Таким образом, вклад этого исследования двоякий.Во-первых, он касается естественного аффективного поведения человека. Во-вторых, он предлагает решение методологической проблемы оценки перекрывающихся вызванных потенциалов.

Основываясь на экологическом подходе, в этом исследовании природные EFE использовались в качестве статических стимулов и в качестве бесплатной исследовательской задачи. Естественные EFE — это спонтанные выражения, встречающиеся в повседневной жизни, а свободное исследование — это экологическая парадигма, требующая рассмотрения времени для анализа. Поведенческие результаты по движениям глаз согласуются с тем, что обычно наблюдается при изучении обработки эмоциональных черт лица.С 1920-х годов появились доказательства того, что определенные черты лица, такие как глаза и рот, имеют отношение к декодированию EFE (Buchan et al., 2007; Schurgin et al., 2014). Настоящие результаты показали, что глаза и нос были двумя областями интереса при первой фиксации, независимо от отображаемой эмоции. Первый ROI соответствует обычным результатам, поскольку глаза очень важны для социального взаимодействия, чтобы расшифровать эмоциональное состояние другого человека. Что касается носа, результаты интерпретируются как предвзятость экспозиции.Фиксирующий крест, позволяющий стабилизировать взгляд до презентации EFE, находился в центре изображения, таким образом, близко к положению носа на лице. Третьей наиболее привлекательной областью интереса был рот, который также является важной областью для декодирования эмоций. Эту область больше интересовали эмоции счастья, чем отвращение и нейтральные эмоции при первой фиксации. Это также согласуется с предыдущими исследованиями. Глядя на счастливые выражения лиц, участники обычно дольше фиксируют область рта (например,г., Eisenbarth, Alpers, 2011). Брови также могут быть диагностическим признаком. Наблюдатели смотрели на эту область значительно больше, когда смотрели на EFE отвращения, чем на EFE удивления. Они также были склонны больше смотреть на область гофроагрегата в поисках EFE отвращения, чем, например, EFE счастья. В целом области лица, привлекающие внимание больше, чем другие области, вполне соответствовали тому, что обычно наблюдается (Beaudry et al., 2014; Vaidya et al., 2014). Наконец, сталкиваясь с удивленными EFE, наблюдатели стремились собирать информацию с лица, как если бы они пытались найти в окружающей среде то, что могло вызвать такую ​​эмоцию.

Другой ключевой вклад этого исследования касается методологической проблемы оценки перекрывающихся вызванных потенциалов. Это основная проблема синхронизированной ЭЭГ и анализа движений глаз (Dimigen et al., 2011), и более конкретно здесь, поскольку время было важной проблемой для задачи бесплатного исследования. Было хорошо установлено, что оценка вызванных потенциалов путем усреднения синхронизированных по времени сигналов ЭЭГ смещается в случае перекрывающихся ответов. Woldorff (1993) предложил итеративную процедуру в контексте экспериментов ERP, где сигнал ЭЭГ привязан по времени к внешним событиям.Он был назван алгоритмом ADJAR и был разработан для оценки перекрывающихся ответов от непосредственно соседних событий, чтобы сходиться к вызванному потенциалу, представляющему интерес. Более того, методы регрессии, особенно GLM (Kiebel and Holmes, 2003), доказали свою эффективность при оценке вызванных потенциалов перекрытия (Dale, 1999; Dandekar et al., 2012; Burns et al., 2013; Bardy et al. , 2014; Kristensen et al., 2017a). Кроме того, алгоритм ADJAR, похоже, плохо подходит для оценки EFRP (Kristensen et al., 2017а). В связи с этим была проведена регрессионная оценка вызванных потенциалов (Smith and Kutas, 2015a, b). Обычно линейная модель разрабатывается либо с временными метками начала саккады в качестве регрессоров (Dandekar et al., 2012), либо с временными метками начала фиксации в качестве регрессоров (Kristensen et al., 2017b). В нашем исследовании оба типа регрессоров были интегрированы в одну модель. Был добавлен третий тип, а именно отметка времени появления стимула. Обоснованием такой модели, включающей как временные метки начала саккады, так и начала фиксации, было наблюдение различных распределений амплитуд и ориентаций входящих саккад в зависимости от эмоций.Хорошо известно, что саккадические активности непосредственно перед началом фиксации модулируют ранний компонент (особенно лямбда-ответ) каждого EFRP. Таким образом, чтобы обеспечить беспристрастную оценку EFRP на основе этих смешивающих факторов, в модель были добавлены временные метки начала саккады. Более того, временные метки начала фиксации были разделены на два разных класса: для первой фиксации и для следующих фиксаций. Таким образом, EFRP для первой фиксации отличался от EFRP для второй и последующих фиксаций.В конце концов, были добавлены временные метки начала стимула, потому что основная цель этого исследования заключалась в том, чтобы отличить от всей нейронной активности ту, которая конкретно вызывается стимулом в течение заданного латентного окна. В целом, это исследование показывает, как GLM может быть адаптирован к конкретному вопросу и как его конфигурация играет центральную роль в методологическом подходе.

Мы также сосредоточили внимание на нейронной активности во время латентности комплекса P2 – P3 и LPP. Он был проанализирован на предмет сравнения оценок: Среднее vs.GLM. Общая оценка путем усреднения учитывает все нейронные активности, привязанные по времени к началу стимула. Принято считать, что потенциал, вызываемый при предъявлении визуального стимула, длится около 700 мс, что соответствует времени, необходимому для исчезновения вызванной стимулом активности (Dimigen et al., 2011; Николаев и др., 2016). Этот потенциал имел наибольший вклад в нейронную активность во время латентного периода P2-P3 комплекса ([200; 350] мс). Более того, его вклад был больше для задержки P2 – P3, чем для задержки LPP ([400; 600] мс).Этот вызванный потенциал также был оценен GLM. Нейронная активность, вызванная свободным исследованием стимула, объяснила разницу между этими двумя оценками. Действительно, средняя задержка фиксации составила около 250 мс для первого и около 500 мс для второго. Сначала мы обсудим эти различия в потенциале, вызванном в начале стимула (ERP), прежде чем сосредоточимся на вызванных потенциалах при первых фиксациях (EFRP).

Что касается церебральных ответов на естественные EFE, то для ERP, вычисленных посредством усреднения, с одной стороны, и с помощью GLM, с другой стороны, наблюдались два разных паттерна активации.Для первого (среднего) предполагаемый вызванный потенциал включает в себя потенциал в начале стимула и активацию, обеспечиваемую визуальным исследованием глазных фиксаций. Для более позднего (регрессионного) оцениваемого вызванного потенциала учитывается только потенциал, вызванный при возникновении стимула. Как и ожидалось, амплитуда как комплекса P2-P3, так и LPP была выше на задних участках, чем на передних участках для обоих методов, в соответствии с классическим топографическим распределением этих компонентов.Однако для метода усреднения был выявлен слабый паттерн активации (отрицательный) на левой лобной части с более высокой амплитудой для обоих компонентов счастья, чем для состояния неожиданности. Скорее, для метода GLM не наблюдалось значительной модуляции эмоций (только тенденция в правом лобном участке с амплитудой LPP, более низкой для отвращения, чем для состояния неожиданности, которое будет обсуждаться ниже). Расхождение между результатами двух методов легко объяснимо.Действительно, для метода усреднения амплитуда активации включала как потенциал в начале стимула, так и активацию, обеспечиваемую визуальным исследованием фиксации глаза. А для метода GLM предполагаемая активация включала только потенциал в начале стимула. Следовательно, фронтальный левый отрицательный паттерн, наблюдаемый при использовании метода усреднения, на самом деле может зависеть только от активации, связанной с последующими фиксациями, а не от активации от начала стимула.

Что касается преобладания в полушарии, для временного окна комплекса P2 – P3 и LPP, более высокая амплитуда нейронной активности наблюдалась для эмоции счастья по сравнению с эмоцией неожиданности, когда нейронная активность оценивалась усреднением по времени: заблокированные сигналы при предъявлении стимула.Преобладание участка левого электрода соответствует гипотезе валентности с участием последующих фиксаций для различения эмоции счастья по сравнению с другими. Левое полушарие было бы предпочтительно посвящено анализу положительных эмоций, таких как счастье (Reuter-Lorenz and Davidson, 1981; Adolphs et al., 2001). При использовании GLM для анализа «общих» ERP (то есть без участия последующих фиксаций) единственные различия тренда ( p = 0.057) между EFE были обнаружены на правом лобном участке: церебральный ответ на эмоцию отвращения был усилен по сравнению с другими. Это также согласуется с гипотезой валентности, которая утверждает, что правое полушарие специализируется на негативных аффектах, таких как отвращение (Reuter-Lorenz et al., 1983). Тем не менее, при обычном ERP не было обнаружено различий на левом лобном участке, а только разница в тенденциях на правом лобном участке. Это означает, что восприятие EFE в начале стимула может быть в первую очередь предпринято в основном правым полушарием (Indersmitten and Gur, 2003; Davidson et al., 2004; Тамиетто и др., 2006; Torro Alves et al., 2008). И затем, влияние последующих фиксаций, которые выявляют вовлечение левого полушария, может, таким образом, выявить двусторонний выигрыш, отстаиваемый Tamietto et al. (2006), и, в более общем плане, преобладание правого полушария в начале стимула и, впоследствии, участие левого полушария для последующих фиксаций. Это будет иллюстрировать «сложную и распределенную систему обработки эмоций», подробно описанную Киллгором и Юргелун-Тоддом (2007).Следовательно, кажется, что рекрутирование левого полушария должно быть начато с первого анализа, выполненного правым полушарием. Связь, которая будет иметь место для обеспечения такого двустороннего набора, как только произойдет первая фиксация, а также любая причинно-следственная связь, все еще нуждаются в дальнейшем изучении с использованием спектрального анализа и анализа связности. Тем не менее, как сообщает Tamietto et al. (2007), нейровизуализационные исследования уже показали, что структуры, участвующие в обработке EFE, представляют собой различные гомологичные области обоих полушарий, такие как ранняя сенсорная кора, средняя префронтальная кора и подкорковые области, такие как миндалевидное тело.Они также детализируют, что межполушарная коммуникация может происходить на ранних стадиях через связи на уровне лимбической системы, в то время как более поздние этапы обработки обеспечивают межполушарную коммуникацию через мозолистое тело.

Что касается динамики обработки EFE, при вычислении ERP путем усреднения, как и ожидалось, мы обнаружили зависимые от эмоций модуляции амплитуды комплекса P2 – P3, а также компонента LPP. Тем не менее, не было обнаружено никакой разницы между EFE для N170, что может быть в пользу той части литературы, которая рассматривает первую стадию как первичную структурную обработку (Eimer et al., 2003), что также может быть связано со стимулами слабого возбуждения (Almeida et al., 2016). Учитывая ERP, рассчитанные с использованием метода регрессии, не было обнаружено значительного влияния эмоций на реакцию мозга, вызванную исключительно предъявлением стимулов. Это различие с литературой можно объяснить используемыми стимулами и парадигмой. Действительно, Neath-Tavares и Itier (2016), как и большинство авторов, интересующихся этой темой исследования, используют прототипные стимулы (будь то из POFA или из набора стимулов для лица MacBrain, Batty and Taylor, 2003).Это может объяснить, по крайней мере, частично, почему у нас нет такого же влияния валентности на декодирование EFE, как показывают ERP. Фактически, с прототипными стимулами отображаемые эмоции преувеличиваются и усиливаются, тогда как в настоящем исследовании EFE являются естественными и спонтанными, поэтому ослабляются (Tcherkassof et al., 2013; см. Также Wagner et al., 1986; Valstar et al. ., 2006). Для прототипных стимулов актеры преувеличивают EFE. Например, некоторые прошлые исследования показали, что изображенные улыбки больше по амплитуде и продолжительнее, чем спонтанные улыбки (Ekman, Friesen, 1982; Cohn and Schmidt, 2004; Schmidt et al., 2006). Valstar et al. (2006) также показали, что характеристики действий бровей (например, интенсивность, скорость и траектория) различаются между спонтанным и предполагаемым EFE. В нашем случае снятые лица спонтанно и естественно выразили ЭФЭ. Следовательно, мы использовали менее «усиленное» или «возбужденное» EFE, чем другие исследования, основанные на прототипе EFE (Tcherkassof et al., 2013). Другое объяснение состоит в том, что, когда участники свободно исследуют стимул, реакции мозга на предъявление стимула могут быть загрязнены последующими реакциями на саккады, которые могут возникнуть только через 200 мс после стимуляции.В нашем случае, помимо использования естественных стимулов, мы анализировали отдельно ответы мозга, вызванные только предъявлением стимула и последующими фиксациями. Следовательно, поскольку с естественными стимулами и нашей неограниченной парадигмой мы не обнаружили значительной модуляции амплитуды компонентов при использовании ERP, вычисленных с использованием метода регрессии, возможно, что возбуждение используемых EFE было слишком низким.

Наконец, что касается EFRP, на ранний потенциал, называемый лямбда-ответом, повлияла презентация EFE: амплитуда лямбда-ответа была значительно выше для неожиданного EFE, чем для нейтрального EFE в правом теменно-затылочном участке.Лямбда-ответ отражает визуальное изменение сетчатки изображения из-за саккады (Yagi, 1979). Этот ответ модулируется низкоуровневыми визуальными характеристиками, такими как яркость и контраст поперек саккады, а также амплитудой и ориентацией саккады (Gaarder et al., 1964; Hopfinger and Ries, 2005; Ossandón et al., 2010). . Факторы высокого уровня, такие как потребность в задаче и нагрузка на обработку информации, также модулируют амплитуду лямбда (Yagi, 1981; Ries et al., 2016). Поскольку в этом эксперименте были полностью учтены факторы низкого уровня (т.е., глобальное выравнивание яркости для стимулов, проверка локальной яркости при первой фиксации и саккадический ответ, оцененный GLM), факторы высокого уровня действительно могут объяснить это влияние на лямбда-ответ.

Кроме того, разница в компоненте P2, оцениваемом на первом EFRP, наблюдалась между удивлением и нейтральными эмоциями в правом теменно-затылочном и срединно-затылочном участках. Известно, что визуальный компонент P2 участвует во многих различных когнитивных задачах (Key et al., 2005), например, обнаружение визуальных признаков (Luck and Hillyard, 1994). Он модулируется множеством факторов, таких как распределение внимания, повторение цели, сложность задания, но также и эмоциональное содержание лиц (Stekelenburg and de Gelder, 2004), и взаимодействие между валентностью и возбуждением было обнаружено на EFRP при визуальном исследовании эмоциональных сцен. (Симола и др., 2015). В нашем исследовании интересен тот факт, что этот эффект наблюдался только для эмоции удивления. Величина неожиданности может быть положительной или отрицательной в зависимости от контекста (Noordewier and Breugelmans, 2013).Этот эффект может быть связан с областями, на которые участник смотрел при первой фиксации при отображении неожиданного EFE: большее количество фиксаций, как правило, оказывалось за пределами выбранных областей интереса лица (лоб, брови, морщинка, глаза, нос, рот и подбородок). ) для неожиданного EFE по сравнению с нейтральным EFE. Это как если бы участникам нужно было извлечь информацию из лиц, чтобы декодировать отображаемый EFE, чтобы найти сигналы, которые могли вызвать такую ​​эмоцию. Эта интерпретация требует более глубокого изучения с помощью специальных экспериментов.Однако эта модуляция первого EFRP эмоцией удивления по сравнению с нейтральной эмоцией вносит вклад в паттерн активации LPP на вызванный потенциал в начале стимула, оцениваемый посредством усреднения, как упомянуто выше. Наконец, тот факт, что такая разница возникает только между неожиданными и нейтральными условиями для EFRP, не может полностью исключить влияние возбуждения на этот конкретный физиологический маркер. В соответствии с Simola et al. (2015), такое взаимодействие между валентностью и возбуждением для потенциалов, связанных с фиксацией, было бы особенно интересно изучить в контексте обработки EFE.

Настоящее исследование представляет собой многообещающую начальную работу для изучения динамики эмоционального декодирования. Чтобы усилить эту исследовательскую работу, необходимо провести больше участников и больше испытаний. Тем не менее, похоже, что визуальное исследование эмоциональных лиц является важнейшим компонентом обработки EFE. Это особенно верно, когда стимулы не являются прототипами проявлений, как в обычной жизни. Для точного понимания отображаемой эмоции наблюдателям необходимо смотреть сквозь лицо и даже за его пределы.Вот почему исследования лицевого поведения настоятельно требуют динамического подхода (Fernández-Dols, 2013). Более того, динамическое свойство EFE — ключевая особенность лицевого поведения, поскольку оно состоит из динамически изменяющихся черт лица. Представленный здесь метод является полезным инструментом для обработки декодирования этой динамической информации. Такая работа в настоящее время ведется авторами.

Авторские взносы

AT отвечал за эмоциональную часть этого исследования. Компания AG-D отвечала за техническую часть этого исследования.LV отвечал за экспериментальную процедуру. RR, AG-D и EK собрали данные. AG-D, RR, EK и BR отвечают за анализ данных.

Финансирование

ЭЭГ / айтрекера была проведена в центре нейрофизиологии IRMaGe (Гренобль, Франция), который частично финансировался французской программой «Investissement d’Avenir», проводимой «Национальным агентством исследований» (грант «Инфраструктура d «avenir en Biologie Santé» — ANR-11-INBS-0006). Эта работа также была частично профинансирована грантом «Pôle Grenoble Cognition» (PGC_AAP2013), грантом LabEx PERSYVAL-Lab (ANR-11-LABX-0025-01) и грантом для проекта «BrainGazeEmo». от IDEX IRS («Инициатива стратегических исследований») COMUE UGA.Кроме того, он частично поддерживался европейским проектом ERC-2012-AdG-320684-CHESS, финансирующим пост-докторскую работу RR, а также CNRS (Франция), финансирующим докторскую степень. диссертация ЭК.

Заявление о конфликте интересов

Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могут быть истолкованы как потенциальный конфликт интересов.

Благодарности

Авторы благодарят «Делегацию à la Recherche Clinique et à l’Innovation» Гренобльского «Госпитального центра» (CHU) за ее роль в этическом комитете, в частности, Беатрис Портал и Доминик Гарин.Также авторы благодарят Николь Кристофф, Веронику Мичанкову, Томаса Бастелику и Лорана Отта за их помощь в приобретении и первом анализе. Часть разработки программного обеспечения выполнили Гелу Ионеску (синхронизация данных) и Паскаль Бертолино (сегментация видео).

Дополнительные материалы

Дополнительные материалы к этой статье можно найти в Интернете по адресу: https://www.frontiersin.org/articles/10.3389/fpsyg.2018.01190/full#supplementary-material

Список литературы

Адольфс Р., Янсари, А., и Транел, Д. (2001). Восприятие полушария эмоциональной валентности по мимике. Нейропсихология 15, 516–524. DOI: 10.1037 / 0894-4105.15.4.516

CrossRef Полный текст | Google Scholar

Ахерн, Г. Л., и Шарвц, Г. Э. (1985). Дифференциальная латерализация положительных и отрицательных эмоций в мозге человека: спектральный анализ ЭЭГ. Neuropsychologia 23, 745–755. DOI: 10.1016 / 0028-3932 (85)

-8

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Алмейда, П.Р., Феррейра-Сантос, Ф., Чавес, П. Л., Пайва, Т. О., Барбоса, Ф., и Маркес-Тейксера, Дж. (2016). Воспринимаемое возбуждение эмоций на лице модулирует N170 независимо от эмоциональной категории: временной области и частотно-временной динамики. Внутр. J. Psychophysiol. 99, 48–56. DOI: 10.1016 / j.ijpsycho.2015.11.017

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Алвес, Н. Т., Фукусима, С. С., и Азнар-Казанова, Дж. А. (2008). Модели асимметрии мозга при обработке эмоций. Psychol. Neurosci. 1, 63–66.

Google Scholar

Балкони, М., Поццоли, У. (2003). Выборочная обработка лиц и влияние приятных и неприятных эмоций на ERP коррелируют. Внутр. J. Psychophysiol. 49, 67–74. DOI: 10.1016 / S0167-8760 (03) 00081-3

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Барди Ф., Диллон Х. и Дан Б. В. (2014). Деконволюция вызванных потенциалов по методу наименьших квадратов и оптимизация последовательности для множественных стимулов в условиях низкого дрожания. Clin. Neurophysiol. 125, 727–737. DOI: 10.1016 / j.clinph.2013.09.030

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Бэтти, М., и Тейлор, М. Дж. (2003). Ранняя обработка шести основных эмоциональных выражений лица. Brain Res. Cogn. Brain Res. 17, 613–620. DOI: 10.1016 / S0926-6410 (03) 00174-5

CrossRef Полный текст | Google Scholar

Бодри, О., Рой-Чарланд, А., Перрон, М., Кормье, И., и Тэпп, Р. (2014). Эффектная обработка при распознавании эмоциональных выражений лица. Cogn. Эмот. 28, 416–432. DOI: 10.1080 / 02699931.2013.833500

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Белушрани А., Абед-Мераим К., Кардосо Ж.-Ф. и Мулинес Е. (1997). Метод слепого разделения источников с использованием статистики второго порядка. IEEE Trans. Сигнальный процесс. 45, 434–444. DOI: 10.1109 / 78.554307

CrossRef Полный текст | Google Scholar

Блау, В. К., Маурер, У., Тоттенхэм, Н., и МакКэндлисс, Б.Д. (2007). Специфический для лица компонент N170 модулируется эмоциональным выражением лица. Behav. Brain Funct. 23, 3–7.

Google Scholar

Будевин, М. А., Лак, С. Дж., Фарренс, Дж. Л., и Каппенман, Э. С. (2017). Сколько испытаний нужно, чтобы получить значительный эффект ERP? Психофизиология 55: e13049. DOI: 10.1111 / psyp.13049

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Бернс, М. Д., Бигдели-Шамло, Н., Смит, Н.Дж., Кройц-Дельгадо, К., и Макейг, С. (2013). «Сравнение методов усреднения и регрессии для оценки потенциалов, связанных с событиями», в материалах Proceedings of the IEEE Engineering in Biology and Medicine Conference , Osaka, 1680–1683. DOI: 10.1109 / EMBC.2013.6609841

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Кальво, Р. А., Д’Мелло, С. К. (2011). Новые взгляды на аффект и технологии обучения. Нью-Йорк, Нью-Йорк: Спрингер. DOI: 10.1007 / 978-1-4419-9625-1

CrossRef Полный текст | Google Scholar

Кампанелла, С., Кине, П., Брюйер, Р., Кроммелинк, М., и Герит, Дж. М. (2002). Категорическое восприятие счастья и страха выражения лица: исследование ERP. J. Cogn. Neurosci. 14, 210–227. DOI: 10.1162 / 089892

7236858

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Кон, Дж. Ф., и Шмидт, К. Л. (2004). Выбор времени движения лица при постановке и спонтанной улыбке. Внутр. J. Вейвлеты Multiresolut. Инф. Процесс. 2, 121–132. DOI: 10.1142 / S02196

00041X

CrossRef Полный текст | Google Scholar

Congedo, M., Korczowski, L., Delorme, A., and Lopes da Silva, F. (2016). Пространственно-временная общая модель: сопутствующий метод анализа ERP во временной области. J. Neurosci. Методы 267, 74–88. DOI: 10.1016 / j.jneumeth.2016.04.008

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Дейл, А.М. (1999). Оптимальный экспериментальный план для фМРТ, связанной с событием. Гум. Brain Mapp. 8, 109–114. DOI: 10.1002 / (SICI) 1097-0193 (1999) 8: 2/3 <109 :: AID-HBM7> 3.0.CO; 2-W

CrossRef Полный текст | Google Scholar

Дандекар, С., Привитера, К., Карни, Т., и Кляйн, С. А. (2012). Оценка нервной саккадической реакции при естественном просмотре. J. Neurophysiol. 107, 1776–1790. DOI: 10.1152 / jn.00237.2011

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Делорм, А., и Макейг, С. (2004). EEGLAB: набор инструментов с открытым исходным кодом для анализа динамики ЭЭГ в одном исследовании, включая независимый компонентный анализ. J. Neurosci. Методы 134, 9–21. DOI: 10.1016 / j.jneumeth.2003.10.009

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Димиген, О., Соммер, В., Хольфельд, А., Якобс, А. М., и Клигл, Р. (2011). Совместная регистрация движений глаз и ЭЭГ при естественном чтении: анализ и обзор. J. Exp. Psychol. Gen. 140, 552–572.DOI: 10.1037 / a0023885

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Эймер М., Холмс А. и МакГлоун Ф. П. (2003). Роль пространственного внимания в обработке выражения лица: ERP-исследование быстрых реакций мозга на шесть основных эмоций. Cogn. Оказывать воздействие. Behav. Neurosci. 3, 97–110. DOI: 10.3758 / CABN.3.2.97

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Экман П. и Фризен В. В. (1976). Фотографии лицевого аффекта. Пало-Альто, Калифорния: Консультации психологов Press.

Google Scholar

Экман П. и Фризен В. Ф. (1982). Войлочные, фальшивые и несчастные улыбки. J. Невербальное поведение. 6, 238–252. DOI: 10.1007 / BF00987191

CrossRef Полный текст | Google Scholar

Фернандес-Дольс, Дж. М. (2013). Успехи в изучении мимики: введение в специальный раздел. Эмот. Ред. 5, 3–7. DOI: 10.1177 / 17540737209

CrossRef Полный текст | Google Scholar

Гардер, К., Краускопф, Дж., Граф, В., Кропфл, В., и Армингтон, Дж. К. (1964). Усредненная активность мозга после саккадического движения глаз. Наука 146, k1481–1483. DOI: 10.1126 / science.146.3650.1481

CrossRef Полный текст | Google Scholar

Грэм Р. и Кабеза Р. (2001). Связанные с событием потенциалы распознавания счастливых и нейтральных лиц. Нейроотчет 12, 245–248. DOI: 10.1097 / 00001756-200102120-00013

CrossRef Полный текст | Google Scholar

Hess, U.и Клек Р.Э. (1990). Дифференциация вызванных эмоций и преднамеренных эмоциональных выражений лица. Eur. J. Soc. Psychol. 20, 369–385. DOI: 10.1002 / ejsp.2420200502

CrossRef Полный текст | Google Scholar

Инохоса, Дж. А., Меркадо, Ф., Карретье, Л. (2015). Чувствительность N170 к выражению лица: метаанализ. Neurosci. Biobehav. Rev. 55, 498–509. DOI: 10.1016 / j.neubiorev.2015.06.002

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Хопфингер, Дж.Б. и Райс А. Дж. (2005). Автоматические и случайные механизмы сенсорного нейронного смещения и рефлексивного внимания. J. Cogn. Neurosci. 17, 1341–1352. DOI: 10.1162 / 089892