Когда руки говорят о человеке больше, чем его язык. Часть 2
В предыдущей серии статей было положено начало обучению скрытному тестированию любого собеседника через сканирование его подсознания. Тогда были представлены материалы, используемые при дистанционном обучении психотехнологиям и психотехникам диагностики психики собеседника через анализ неосознаваемой кинетики головы и рук собеседника. А попутно мы представили результаты сканирования подсознания ряда известных деятелей страны.Сегодня мы продолжим учиться сканированию подсознания — дистанционной психодиагностики через анализ непроизвольных кинетик рук Вашего собеседника и дадим психологическую интерпретацию положений: «Передний нижний замок», «Задний замок», «Руки в карманах», «Руки в боки», а в следующей статье — «Руки захватчика», связка «Рука у лица».
«Передний нижний замок»: Фрейдовское «либидо» или нормальная физиология?
Вначале — о практически не информативном жесте — о «переднем нижнем замке»…
— Простите автор, но если этот жест не дает информацию, то зачем об этом и писать-то?
— Согласен, не следовало бы… только… только в общественном мнении он имеет некую, скажем так, особую трактовку…
Но вначале — о том, как выглядит «передний нижний замок»: руки впереди (как бы на животе) и чуть внизу, ладонь в ладонь или сцеплены как-либо иначе (см. рис. 1).
Рис. 1 Передний нижний замок
Психоаналитики пытались связать это положение рук с либидо, но — без соответствующей аргументации в обоснование такой интерпретации сексуального влечения. Зато есть основание принять интерпретацию, основанную на данных нормальной (не патологической) анатомии и физиологии человека.
Но вначале — об эксперименте. В ходе психологического тренинга Ваш покорный слуга просит одного из обучающихся встать (чего почти никогда не делает) и рассказать о своей организации (компании). Слушатель встает и начинает свой рассказ, но при этом руками как бы слегка опирается на спинку стоящего впереди стула. Когда ведущий просит убрать руки со спинки стула (что вызывает явное удивление), слушатель, продолжая рассказ о своей организации, берет ручку и «машинально» начинает ее вертеть в руках. Когда ведущий просит положить ручку (что вызывает еще большее удивление, граничащее с раздражением), слушатель, продолжая теперь уже безо всякого энтузиазма рассказ, берет в руки лежащий перед ним очечник и начинает его перекладывать из руки в руку. И когда слышит, что и этого делать не следует, он… замолкает, при этом испытывая явное неудовольствие ведущим…
А ведущий знал, почему и зачем выступающий так поступал со своими руками, ибо того требовала особенность анатомии и физиологии рук человека.
А эта особенность заключается в том, что мышцы, осуществляющие сгибание рук в локтевом суставе, оказываются у человека сильнее мышц, осуществляющих разгибание рук в локтевом суставе (так устроен человек, а почему так — возможно, чуть позже поговорим). Значит, нормальное (анатомы говорят «физиологическое») положение рук — слегка согнутое в локтевом суставе (сгибатели сильнее разгибателей). И вот ещё одно подтверждение: попробуйте лечь на воде на спину и расслабиться — Ваши руки примут именно такое положение: полусогнутое в локтевых суставах.
Вот почему когда руки свободны, они стремятся принять положение, названное в кинетике «передний нижний замок».
Вот почему неестественно (не физиологично) положение, когда человек стоит с опущенными вниз руками — руки «просятся» быть согнутыми в локтевом суставе.
Вот почему когда у человека есть возможность, он, стоя, либо касается спинки впереди стоящего стула (тогда его руки принимают физиологическое — слегка согнутое в локтевом суставе — положение), либо берет в руки ручку, очечник, иной предмет… (что и наблюдалось у слушателя в ходе эксперимента, о чем он не знал, но, узнав, получил порцию положительных (компенсационных) эмоций от ведущего).
А вот если ничего подобного нет (ни спинки стула, ни ручки в руках) — тогда и появляется «передний нижний замок» — руки скрещены в нижней части живота. Нормальное (физиологическое) положение (см. рис.2).
Рис. 2 «Передний нижний замок»:
мышцы-сгибатели сильнее мышц-разгибателей
Не нормально, когда от человека требуют (будь то взрослый или ребенок), чтобы тот стоял — «руки по швам»; не нормально ибо не физиологично (родители, не требуйте от детишек: «Ну-ка опусти руки, что ты ими всё вертишь!» — теперь-то Вы знаете, почему он так…).
Таким образом, «передний нижний замок» не несет никакой иной смысловой нагрузки, кроме. .. физиологической. И, поэтому увидев такой кинетический знак, забудьте о нем.
Если вы увидите руки в «заднем замке»…
«Задний замок»: руки за спиной (см. рис. 3), не обязательно переплетены, возможно — ладонь в ладонь.
Рис. 3 «Задний замок»
На рис. 4 представлены четыре ситуации, когда у одного из изображенных виден «задний замок».
Рис. 4 «Задний замок»:
когда вольно, а когда — невольно…
Поскольку на фрагменте (г) «задний замок» вынужденный, то кинетику рук разъяснять не будем. Ситуации, изображенные на фрагментах (а) и (в), настолько очевидны, что не нуждаются в дополнительной интерпретации. Наиболее показательна фигура на фрагменте (б): от этого «хозяина положения» исходит явная уверенность в своем статусе, поэтому он и не нуждается в руках, как средстве защиты, может их убрать, демонстрируя этим самым «я никого не боюсь»; типичная «пристройка сверху».
Как показывает опрос наших слушателей, кинетика «задний замок» скорее сочетается с «головой властелина», чем с «головой внимающего», а также скорее схожа с «выправкой военного», чем с «сутулой спиной».
А теперь, с учетом представленной выше информации и аргументации:
Резюме для психодиагностики. Скорее всего, «задний замок» Вы не увидите у своего собеседника, когда в кабинете обсуждаете с ним какие-либо вопросы. А вот если Вы подобную кинетику заметили у лектора, преподавателя, есть основания полагать, что он ощущает себя явно «пристройкой сверху» по отношению к слушающим. И уж точно для него сейчас не характерно чувство почтительного отношения к аудитории, чувство внимания к ним, тем более — некоего подобострастия, ибо «пристройка снизу» не сочетается с кинетикой «задний замок».
И уж коль скоро мы заговорили о жесте, связанным с уверенностью, поговорим еще об одном жесте.
Руки в карманах — почему «как хулиган»?
Прежде: как выглядит эта кинетика — см. рис.5.
Рис. 5 «Руки в карманах»
А теперь — об интерпретации жеста «руки в карманах».
В детстве родители одного мальчика, отучая его держать руки в карманах, говорили: «Что ты держишь руки в карманах, как хулиган!» И в самом деле: в фильме «Место встречи изменить нельзя» один из героев — «Промокашка» — дефилируя по улице, шел и держал при этом руки в карманах, это был своеобразный шик. Ответ на вопрос «почему?» находят мои слушатели при решении следующей задачи: «Перед Вами две женщины, одетые одинаково — на той и другой скромный костюм. Они стоят и разговаривают; при этом одна из них постоянно держит руки в карманах пиджака, а у второй подобного жеста нет. Известно, что одна из них работает в детском саду медсестрой, а другая — глава одного из департаментов в министерстве (зам. министра). Вопрос: кто из них скорее держит руки в карманах: медсестра или зам. министра?» Статистика наших опросов показывает: 93% наших слушателей отвечают верно — зам. министра.
Руки в карманах, как и руки за спиной (см. выше) — это то положение рук, когда их проблематично быстро ввести в действие, например, для защиты, отражения нападения. А значит, если человек держит их в таком положении, он не рассчитывает, что ему придется защищаться, отражать…, ибо уверен, что никто не посмеет напасть на него, уверен в своем положении, в прочности своего статуса в обществе (как тот «Промокашка»). И теперь понятно, почему позволяет себе держать руки в карманах та из двух женщин, которая более уверена в своем социальном статусе — зам. министра, а не медсестра. Руки в карманах проявляют подсознательную уверенность в своем положении (см. рис.6). А еще иногда руки в карманах — это как бы намек на то, что там может быть оружие.
Рис. 6
А теперь, с учетом представленной выше информации и аргументации:
Резюме для психодиагностики. Скорее всего, общаясь с интеллигентными людьми, Вы не увидите у них такой кинетический знак — руки в карманах. А если и увидите, есть все основания полагать, что психическое состояние этого человека можно описать как склонность к независимости и уверенности (а то и самоуверенности) в себе.
А теперь — о жесте, которому уделяют явно недостаточное внимание:
Жест самопрезентации
Обратите внимание на эту маленькую кокетку… Хотя она и не знает такого слова — «самопрезентация», но жестом «руки в боки» она подсознательно увеличивает площадь возможного внимания к своей персоне (см. рис. 7).
Рис. 7 «Руки в боки» — от кокетства до угрозы
Действительно, жест «руки в боки» увеличивает площадь тела, подлежащего вниманию окружающих. При этом подобный жест имеет место быть не только с позитивным знаком («Как? Идёт мне?!»), но и с негативно-агрессивным оттенком в виде угрозы.
объяснение жестов рук и тела
Автор: Oлeг Юрьeвич Epмoлaев, кандидат психологических наук, дoцeнт Российского государственного гуманитарного университета, специалист в области моделирования психических процессов и состояний человека.
Основную часть науки о бессловесном языке составляет изучение жестикуляции — выразительных движений головой, рукой или кистью, которые совершают с целью общения и которые могут сопровождать размышление или состояние. Например, встречаются два человека, жмут друг другу руки — и получают информацию: манера протягивать руку говорит не только о характере человека, но и об его отношении к партнеру, к общению.
В зависимости от положения рук изменяется значение жестов. Движение руки (или рук) наружу ладонями к себе, когда оно слабое и медленное и идет сверху вниз, то означает отречение, смирение, отдачу. При этом высоко поднятые плечи только подчеркивают беспомощность. Когда же движение резкое, от себя наружу, то человек требует от партнера оставить его в покое, хотя такой жест может быть и символическим отбрасыванием в сторону какой-то неприятной мысли.
Если выпрямленная ладонь ребром вниз решительно опускается один или несколько раз, то становится как бы инструментом, которым наносят удар, в том числе при символическом разрушении (разрешении) проблем, запутанных мыслей и социальных отношений.
При положении кистей рук ладонями вниз действие их направлено на то, чтобы или задавить ростки чего-то пробивающегося вверх (при этом вся верхняя часть тела часто слегка приподнимается вверх) — например, призыв к порядку, или защититься от чего-то неприятного. При слегка напряженном исполнении это представляет собой предостерегающе-осмотрительный жест и выражает потребность «сдержать» настроение, взять его под контроль.
Когда мы сжимаем пальцы в кулак, то сгибаем их к середине ладони. Это направленное вовнутрь движение производится с ощутимым напряжением. Поэтому можно сделать вывод о том, что происходит активный процесс волеизъявления, в ходе которого человек как бы отворачивается от внешнего мира и обращается к собственному «Я». Но кулак — это и своего рода оружие. В положении «кулак» кисть руки складывается до своих минимальных размеров. Означает ли поза со сжатыми кулаками концентрацию или агрессию, следует устанавливать по сопровождающей ее мимике.
Разжатые кисти рук, когда из них что-нибудь выскальзывает, демонстрируют, что они неспособны более удерживать это. Подобным образом выражается нерешительность. Вместе с бессильно свисающими руками и опущенными плечами складывается впечатление отречения от чего-либо, скепсиса или отчаяния. Если кисть руки разжимается в бурном порыве и в окончательном положении пальцы растопырены, это выражает жесткое и презрительное отношение.
Руки, заложенные за спину, свидетельствуют о том, что их владелец не хочет никого беспокоить. Так выражается выжидательное (сдержанное) поведение. Заложив руки за спину, вы как бы на некоторое время или вообще хотите отрешиться от мирской суеты. Поза смущения, робости, затруднительного положения, боязливости (при этом всегда наблюдается некоторое напряжение). Данная поза, сохраняемая длительное время, часто наблюдается у сдержанных, пассивных и склонных к созерцанию людей. Если эта поза кратковременна, то может выражать задумчивость, случающуюся и у активных людей, или кратковременное стеснение, а также самоуверенные ожидания у людей, осознающих свое значение и превосходство (например, учитель в своем классе, лидер в своей группе).
Если руки (или одна рука) спрятаны в карманы, то это компенсационная нагрузка при желании скрыть или преодолеть в себе внутреннюю неуверенность. Часто — подчеркнуто неформальное, «легкое» поведение для сознательного ускорения и развития контакта. Если во время разговора руки убираются в карманы не напряженно (или подчеркнуто вяло) — это демонстрация скуки, потери интереса, невежливый жест.
Если руки убираются резко и с последующей напряженностью в области плечи-шея-руки, то так прорывается активная оппозиционность, враждебная установка, подготовка к нападению, особенно при соответствующем выражении глаз и рта. У собеседника может (и должно) возникнуть чувство опасности.
Потирание рук означает, что человек находится во власти приятных, удовлетворяющих его мыслей. Часто наблюдается у активных предпринимателей, когда они в хорошем настроении, у любящих поесть — в ожидании обеда. Потирают руки и в переживаниях после удачного свершения дела.
Руки, закрывающие лицо или часть его — желание скрыть, спрятать, утаить свое состояние; задумчивость, глубокая печаль или затруднение. Потирание руками лба — стирание нехороших мыслей и разглаживание морщин, если движение медленное и задумчивое — концентрация на размышлениях.
Количество жестов «рука — лицо» заметно возрастает, когда кто-нибудь лжет или пытается солгать. Вот типичные движения при этом: поглаживание подбородка, прикрытие рта, касание носа, потирание щеки, касание или поглаживание волос на голове, потягивание за мочку уха, потирание или почесывание бровей, сжимание губ.
Прикладывание одной или обеих рук к ушам служит для увеличения ушных раковин, чтобы уловить побольше акустических сигналов. И, наоборот, прижатие одной или обеих рук к ушам, чтобы скрыться от шума. Символическое зажатие ушей ладонями может также означать стремление перебить возражающего Вам человека, как бы говоря: «Не желаю слушать, что ты говоришь».
Прикосновение к носу в большинстве случаев знак смущения человека, застигнутого врасплох, или боязни оказаться застигнутым врасплох. Примечательно, что касание носа и ложь или попытка солгать очень часто происходят одновременно. Касание носа происходит преимущественно в стрессовых ситуациях, т.е. когда мысли не соответствуют внешне сохраняемому спокойствию.
Тянущаяся ко рту рука, как правило, свидетельствует, о тенденции к сдержанности. Бессознательно хотят что-то скрыть, обычно то или иное выражение лица. Наряду с этим прикосновение к губам может также являться символом поисков нежности. Это особо подчеркивается тем, что костяшки пальцев или сами пальцы прикасаются к губам.
Прикасание кисти руки ко лбу сбоку отгораживает (экранирует) от нежелательных раздражителей. Это жест концентрации.
Плечи используются главным образом для выделения и уточнения прочих сигналов. Они могут находиться в следующих положениях:
- Поднятые плечи — при этом слегка сутулая спина, более или менее склоненная голова, «втянутая» в плечи, — отражают хронический страх (например, родителей, супруга, хулиганов), запуганность, беспомощность, «ощетиненность», а также нервозность, идущую из эмоциональных глубин неуверенности, боязливость (при слабом напряжении).
- Попеременное поднимание и опускание плеч — выражение сомнения и задумчивости, раздумья, скепсиса, изменений в плане защиты. Поднимание и опускание плеча с одной стороны говорит «не знаю» с подчеркнутым чувством сожаления.
- Отведенные назад плечи выставляют вперед грудь, чтобы продемонстрировать предприимчивость, силу и мужество; нередко переоценка себя.
- Провисающие вперед плечи говорят о том, что человек проваливается сам в себя в отчаянии и слабости; выражают подавленность, покорность, комплекс неполноценности, «жалкий вид». Страх и ужас заставляют человека выставлять плечи вперед для уменьшения площади, открытой для нападения.
Поза, когда руки упираются в бедра, демонстрирует твердость, уверенность, стабильность, превосходство. Во время спора острые локти торчат в стороны, как оружие (притязания на большое пространство). У детей и начальства руки, упирающиеся в бедра, выражают вызов, браваду. Такая поза может быть сверхкомпенсацией скрываемого чувства слабости или смущения (особенно при широко расставленных ногах и оттянутой назад или приподнятой голове).
Руки поддерживают верхнюю часть туловища, опираясь о что-либо (стол, спинку стула, низкую трибуну и т.д.) — это поддерживающее верхнюю часть тела движение характерно для тех, кто слабо стоит на ногах. Может также выражать стремление к опоре при внутренней неуверенности.
Голова имеет особое значение в динамичном языке тела. Многочисленные выразительные модели поведения проявляются, например, в том, что для улучшения восприятия голова выдвигается вперед, в целях обороны — отводится назад, при уклонении от чего-то — в сторону, а при сближении — склоняется вперед.
Голова, свисающая без напряжения: в просторечии в этом случае говорят, что человек «голову повесил». Таким образом выражаются безволие, апатия, безнадежность. При отсутствии напряжения затылочной мышцы голова падает на грудь.
Склоненная голова (при обращенном вниз взгляде) — показатель подчинения. Если такой наклон головы используется при приветствии, то это вежливость, символическое подчинение. В сочетании с поклоном так выражается отказ от проявления своей воли. Обычный кивок головой означает молчаливое одобрение, согласие.
Взгляд исподлобья при склоненной голове сигнализирует о готовности к борьбе, агрессивности, выдает чувство радости от пребывания в оппозиции и упрямство. Если взгляд направлен слегка в сторону, то возможны коварство или же осознании своей вины. Таким же образом осуществляется наблюдение, полное ожидания, или скрываемый поиск слабых мест у другого. Склоненная голова может сигнализировать и о задумчивости. В сочетании с широко раскрытыми глазами, расслабленными мышцами шеи и положением глаз, когда зрительные оси почти параллельны друг другу, проявляется состояние, когда человек «напал на какой-то след».
«Пустой» взгляд, уставленный при этом в какую-то определенную точку, выражает смущение, стеснение, стыд, плохие знания, неуверенность в себе. При этом часто «собачий», с признанием вины, взгляд снизу вверх. Твердое ведении взгляда говорит о скрытности, незаметном подглядывании снизу.
Поднятая голова обычно у внутренне свободного и уверенного в себе человека. Поднятие головы выражает чувство собственного достоинства, готовность приступить к какому-либо делу, полную открытость и внимание к окружающему миру из-за интенсивных отношений с ним. Нередко с выпрямлением головы сопряжен глубокий вдох. Если голова поднимается слишком высоко, то тем самым выражается гордая неприступность и заносчивость, а также критическая бдительность (взгляд сверху дает критическую дистанцию).
Запрокидывание головы назад в большинстве случаев возникает как реакция на соответствующий раздражитель. Так демонстрируется смелость. В сочетании с пронзительным взглядом откидывание головы производит впечатление вызова, а при повороте всего корпуса в сторону партнера — навязчивости. Чем порывистее совершается движение, тем больше в нем заключено нервного возбуждения, что может выражать решительный протест и оскорбление чести или чувства собственного достоинства.
При спокойном варианте исполнения можно сделать вывод о чувстве превосходства, мужественности или готовности к деятельности. Так же может быть выражено безмолвное приглашение или немой вопрос (уточнит соответствующая мимика).
Выставленная вперед голова (особенно при сконцентрированном взгляде) свидетельствует о наличии интереса, напряженного внимания (глаза и уши подносятся еще ближе к партнеру). Может быть как позитивная, так и негативная (до враждебности) установка. Голова, выставленная вперед, при угрожающем поведении словно бы демонстрирует: «Я воспринимаю все, но не боюсь тебя».
Поворот головы. Полный поворот головы и обращение лица к партнеру (со взглядом прямо на него и легком напряжении) свидетельствует о заинтересованности, выражаемой без всякой сдержанности или каких-либо задних мыслей, о внутреннем принятии другого, свободном выражении своих чувств, о готовности к соответствующим действиям.
При неполном повороте головы не все лицо обращено к партнеру, зрительный контакт устанавливается при помощи взгляда, направленного из уголков глаз, наискосок, что сигнализирует о заинтересованности человека. При сдержанном проявлении интереса поворот головы замедляется. Создается впечатление, что данный объект или партнер не достоин того, чтобы поворачиваться к нему всем лицом. Поэтому такое поведение воспринимается как оскорбительное.
Качание головой из стороны в сторону на всем протяжении (без напряжения; часто бывает при слегка приподнятых плечах и опущенных уголках рта) показывает нерешительность, в основе которой скепсис и осторожность.
Отворачивание головы от партнера свидетельствует о том, что заинтересованность в чем-либо отпала, интерес угас. Быстрота и степень напряженности выполняемого движения дают довольно важную дополнительную информацию. Если отворачивание продиктовано гневом, то в нем всегда заключено сильное напряжение. Отворачивание головы в сторону может выражать также чувство превосходства, а если лишь на мгновение, то — мгновенное самостоятельное обдумывание.
Научиться видеть скрытую информацию в жестах вы можете с помощью курса «Развитие интуиции и наблюдательности».
Изучите его отдельно или по абонементу, со скидкой.Невербальное общение: как научиться понимать собеседника без слов
Что думает мужчина во время первого свидания с вами, как подруга на самом деле оценивает вашего нового бойфренда и насколько успешно прошел разговор с боссом — пожалуй, все мы периодически хотим уметь читать мысли. И такое желание осуществимо: магии никакой нет, а все, что необходимо, — это научиться понимать невербальные знаки, которые посылает вам собеседник.
Австрийский писатель и автор книги «Язык телодвижений» Алан Пиз утверждает, что человек воспринимает информацию исходя из следующего расчета: 7 процентов — приходит со словами, 38 — за счет звуковых средств, включая интонацию голоса, а оставшиеся 55 процентов — результат невербальных сигналов. Чтобы вам стало проще понимать такие сигналы, мы подготовили гид по их расшифровке.
Жесты
Трогать шею
Если человек притрагивается к шее, он не уверен или сомневается в том, что слышит. Поэтому, чтобы без слов выразить несогласие с позицией собеседника, можно прибегнуть к такому жесту.
Оттягивать воротничок одежды
Данный жест можно воспринимать двояко — в зависимости от ситуации, в которой он используется. Например, когда вам сообщили неприятные новости, которые вас злят, оттягивание воротничка будет демонстрировать ваше недовольство и раздражение. В ином случае это же движение свидетельствует о вранье. Если вы заметили, что руки вашего собеседника тянутся к воротничку — высока вероятность он соврал и боится, что вы догадываетесь об обмане.
Трогать лицо
Посмотрите, как держит руки собеседник в начале разговора — человек потирает лоб или виски, если устал и не настроен разговаривать в данный момент. В такой ситуации лучше продолжить беседу позже.
Кроме того, если вы заметили, что собеседник часто трогает лицо, это может говорить о его напряженности. Бывший агент ФБР и автор книги «Я вижу, о чем вы думаете» Джо Наварро указывает, что прикосновения к лицу для некоторых людей — способ успокоения и отвлечения от стрессовой ситуации.
Чесать и потирать ухо
Этот жест говорит о том, что собеседник уже выслушал вашу позицию и хочет высказаться сам. Заметив почесывание уха, стоит перестать говорить и дать возможность выразить свои мысли другому.
Подпереть голову рукой
Если слушатель поддерживает голову кулаком или рукой — он не слишком настроен на восприятие информации, витая в собственных мыслях. Куда хуже обстоит ситуация, когда голова собеседника полностью лежит на ладонях — это демонстрирует полное отсутствие интереса к происходящему.
Трогать очки
Если ваш собеседник носит очки, и вы заметили, что во время разговора он часто снимает, надевает свой аксессуар или трогает дужки — это стремление потянуть время и подумать. В таком случае стоит дать вашему собеседнику время на раздумье и не торопить.
Гладить подбородок
Еще один жест, который обозначает размышление, — поглаживание подбородка. Так, ваш слушатель анализирует полученную информацию и думает о предмете разговора. Будьте уверены, ваша беседа увлекла собеседника.
Стучать пальцами
Так выражается скука. Если ваш собеседник начал стучать пальцами по столу — он просто заскучал. Переведите тему разговора.
Прислонить руку к щеке
Будьте внимательны: когда указательный палец показывает вертикально вверх щеке, а большой поддерживает подборок, это говорит о том, что слушатель критически или даже негативно оценивает ваши слова. Если же ладонь полностью прислонена к щеке — наоборот, выражается заинтересованность в беседе.
Поза
Скорее всего, вы не обращали внимание, в какой позе любит стоять ваша подруга во время случайной встречи на вечеринке или как обычно сидит на диване бойфренд. Оказывается, по таким, казалось бы, незначительным деталям вы можете раскрыть характер человека и узнать, как он или она чувствует себя в этот момент.
Открытая поза
Открытая поза подразумевает, что человек стоит к вам, полностью повернувшись корпусом и головой, его мышцы расслаблены, руки и ноги не скрещены, и он прямо смотрит в лицо. Позы, которые можно отнеси к «открытым», помогают облегчить контакт, улучшить общение, снять напряжение и выразить симпатию.
Чтобы продемонстрировать себя с лучшей стороны и показать симпатию к собеседнику, стоит сидеть расслабленно, положив руки на боковины кресла или стула и свободно опершись на спинку. Старайтесь всегда держать спину прямо — так вы покажете себя надежным и уверенным в себе.
Если в компании много людей, обязательно обратите внимание, как садится каждый из ваших знакомых. Например, если человек предпочитает место посередине дивана — он общителен и обожает быть в центре внимания. Также уверенно и спокойно чувствует себя тот, кто любит позу «по-турецки» — колени, направленные в стороны, означают открытость и искренность.
Закрытая поза
Основные признаки закрытой позы — скрещенные руки или ноги и напряженность мышц. Таким образом человек создает защитные барьеры, говорящие о наличии дискомфорта и стресса.
Часто эмоции и психологическое состояние отражается непосредственно в движении рук. Если вы нервничаете или не уверены в себе, то начинаете периодически сжимать и разжимать кулаки, стучать пальцами, поправлять волосы, прикасаться к одежде или лицу, трогать аксессуары или перебирать предметы, находящиеся в руках. И если делаете вы все перечисленное абсолютно бессознательно, даже не замечая, то окружающие воспримут подобные движения как отталкивающие и сдерживающие.
Еще одна защитная поза — одна рука опущена вдоль тела, а вторая ее захватывает. Если руки скрещены на груди, это также демонстрация, что человек держится на расстоянии и старается выстроить «защиту».
Кроме того, барьеры создаются и с помощью ног, причем их скрещивание будет говорить о более негативном настрое человека. Когда ваш собеседник скрещивает лодыжки, он хочет поставить блок. Если к ногам еще добавляются и руки — так люди пытаются оградить себя от окружающих.
Всегда обращайте внимание на то, как вы сидите во время свидания — закрытая поза может быть воспринята как нежелание продолжить общение. У мужчин защитные барьеры выстраиваются с помощью скрещенных лодыжек и рук, стиснутых в кулаки на коленях или плотно держащих стул.
Более того, исследование, проведенное Принстонским университетом в 2016 году, показало, что мужчины и женщины, которые выбирают фотографии с закрытой позой для своего профиля на сайтах знакомств, реже получают взаимную симпатию. И, напротив, симпатия возрастает, когда те же самые люди выставляют снимки, на которых они в открытой позе.
Взгляд
Не случайно говорят, что глаза — зеркало души. Взгляд поможет прояснить некоторые детали в общении: как человек к вам относится, какие испытывает чувства и насколько сильно доверяет.
Чтобы диалог был искренним, необходимо периодически смотреть друг другу в глаза. Но чем дольше зрительный контакт, тем более сильные чувства испытывает к вам собеседник и оказывает свое внимание.
Данные аналитической компании Quanified Impressions, опубликованные на сайте The Wall Street Journal, говорят о том, что зрительный контакт между взрослыми людьми при разговоре составляет в среднем от 30 до 60 процентов времени. Чтобы создать прочную эмоциональную связь, необходимо смотреть в глаза своему собеседнику около 60–70 процентов времени от беседы. Другое исследование, проведенное британскими учеными, показало, что идеальная продолжительность зрительного контакта составляет 3,3 секунды.
Чтобы окончательно убедиться в симпатии человека, с которым вы разговариваете, посмотрите на его зрачки. Расширенные говорят о том, что собеседник счастливый и радостный — будьте уверены, вам явно симпатизируют. Суженные зрачки, напротив, означают плохое настроение или грусть.
Изучите, как собеседник на вас смотрит. Долгий зрительный контакт говорит о том, что вам доверяют, симпатизируют и хотят продолжить общение. Если же глаза человека, с которым вы разговариваете, постоянно бегают, мечутся из стороны в сторону — вероятно, от вас что-то скрывают или не хотят рассказывать. Помните, что в такой момент собеседник не будет слушать внимательно и вдумчиво, поэтому не стоит сообщать важные новости и рассчитывать на серьезный разговор. Более того, «беганье» глаз означает, что человек говорит не совсем достоверную информацию, отчего не может сосредоточиться и старается выдумать новые факты.
Взгляд вниз или на руки указывает на то, что слушатель испытывает чувство стыда или вины. Если во время разговора вы заметили, что собеседник стал часто смотреть в пол, возможно, вы затронули неловкую и некомфортную тему разговора.
Справочник фотографа по позированию рук
Положение рук модели поможет создать интересный портрет, либо сломать всю фотографию. Это особенно сложный момент в выстраивании позы объекта съемки. Фотограф Хиллари Григонис (Hillary Grigonis) делится 11 техниками для решения такой простой на первый взгляд и в то же время сложной задачи.
Руки должны что-то делать или чего-то касаться
Люди чувствуют себя неловко, когда не могут понять, что делать с руками в кадре. Самый быстрый способ решения — чем-то их занять. Чем-то простым, как, например, положить руки в карманы. Или сложить руки спереди, что еще и помогает человеку успокоиться, а, следовательно, — расслабиться. Руки в данном случае будут выглядеть визуально более лестно.
Также вместо этого модель в кадре может к чему-то прикасаться. Попросите объект съемки потрогать или прислонить руки к чему-то конкретному, например, к стене или столу. Это как легкая отправная точка для позы. Модель также может что-то держать. Бокал вина или цветы отлично смотрятся в руках. Личные предметы также позволяют зрителю больше узнать о модели на фотографиях.
Используйте позы для рук, чтобы улучшать образ остальной части тела
То где и как объект поместит руки, может изменить всю форму его тела. Используйте позу рук, чтобы создать пространство между торсом и конечностями. Иначе модель будет выглядеть шире. Например, можно положить руки на бедра.
Скрещивание рук спереди может преувеличивать изгибы (поэтому это часто используется с женщинами).
Скрещивание рук в локтях сделает плечи более широкими. Эта поза руки часто используется мужчинами — она подчеркивает мышцы.
Избегайте расположения прямо к камере
Это ошибка в позировании относится к любой конечности тела человека. Размещение туловища параллельно камере делает объект визуально более широким. Кроме того, руки и ноги будут выглядеть короче.
Избегайте случаев, когда ваша модель выставляет пальцы так, чтобы они указывали прямо на камеру. Перспектива их укоротит и превратит в «обрубки».
Если пальцы располагаются прямо к камере, они занимают меньше места на фотографии. Они кажутся короче, чем если бы руки находились под углом к объективу. То же самое относится и к кистям, ногам и ступням.
Всегда контролируйте, чтобы пальцы и руки не направлены прямо к объективу.
Не скрывайте (или обрезайте) всю руку
Поза рук может внести особую красоту и индивидуальность в изображения. Зачем же убирать их из композиции? Несмотря на то, что обрезать часть руки — это нормально, избегайте кадрирования от запястья.
Если вы просите модель положить руки в карманы, нужно, чтобы человек в кадре выглядел расслабленным, а не нервным. Не нужно полностью прятать запястье в карман, иначе руки просто «исчезнут». Человек будет выглядеть калекой. Это может даже сделать бедра модели визуально немного больше, чем есть на самом деле.
То же самое относится и к определению места кадрирования фотографии. Не обрезайте в суставах, запястьях и суставах пальцев. Такое кадрирование ощущается незаконченным.
Не кладите руки слишком близко к камере
Камеры должны поставляться с предупреждением, почти идентичным тому, как в углу зеркала вашего автомобиля. Объекты больше, чем кажутся. Если что-то находится ближе к камере, оно будет выглядеть больше, чем все, что находится дальше. Этот эффект преувеличен с широкоугольными объективами и уменьшен телеобъективами.
Избегайте размещения рук ближе (по сравнению с остальным телом) к камере. Иначе руки будут выглядеть больше, чем на самом деле.
Первое фото ниже не является «неправильным» с точки зрения позирования. Но стоит отметить, что на втором изображении глаз устремляется прямо на лица — рука больше не конкурирует за внимание.
Руки под углом выглядят меньше
Расположение рук может заставить их выглядеть больше. Рука, повернутая прямо на камеру, будет выглядеть больше на фотографиях. И наоборот: если вы видите только часть руки, она будет выглядеть меньше.
Верхние конечности должны располагаться, как минимум, под небольшим углом от камеры. Или вы должны снимать их со стороны. Важно, когда в кадре рука видна целиком и менее важно, когда на снимке только ее часть. Это связано с тем, что бОльшие руки будут соревноваться за внимание с лицом. Конечно, если на изображении нет лица, наклон рук не так важен.
Избегайте поз, когда руки упираются в тело
Используйте позы для рук, которые отражают мягкое прикосновение, а не толчок.
Используйте руки, чтобы выделить определенные части тела
Руки и ноги создают естественные линии на портретных фотографиях. Все, чего касаются руки, привлекает внимание. Они, например, могут направить взгляд зрителя на талию. Можно создать иллюзию более тонкой талии, поместив руки немного дальше от фактической талии.
При фотографировании пар легкое размещение руки на щеке может направить взгляд на оба лица.
Избегайте попадания рук в области, на которые вы не хотите привлекать внимание. Идеальный случай, чтобы нарушить это правило, — это фотография беременных, потому что в таком случае вам действительно нужно, чтобы взгляд зрителя был обращен к животу модели.
Избегайте рук, скрещенных спереди
По какой-то причине многие люди стоят со скрещенными спереди руками на свадебных фотографиях. При этом выглядит это так, как будто кто-то вошел к ним, пока они мылись в душе. Это привлекает внимание не к той области. Не нужно фокусировать взгляд зрителя на чьих-то коленках.
Обращайте внимание, чтобы поза рук не была напряженной
Как вы определяете напряженные руки? Они плоские и плотно стиснутые или же сжатые в кулаки. Убедитесь, что вы избегаете такого. Попросите модель расслабить кисти и немного изогнуть руки. Как и любом правиле всегда есть исключения. Это касается и фотографии, когда вашей целью является создание напряжения в кадре.
Симметричное положение рук — это не красиво
Во время позирования руки так и тянутся друг к другу. Хотя на самом деле вы получите более динамичную позу, если руки будут находиться в разных положениях. Или другими словами, — поза не должна быть полностью симметрична.
Вместо того, чтобы обе руки спрятать в карманы, оставьте одну на бедре или талии. Или, кладя руки на бедра, поместите одну немного выше другой. Симметричная поза не является неправильной. Но если попросить модель сделать что-то другое с другой стороны, это поможет создать более сильный снимок. Когда у вас есть время для работы, выстраивание несимметричных поз для рук может помочь создать более креативные фотографии.
Заключение
- Совершенствуйте позы, проверив каждую из потенциальных проблем
- Прямой ракурс (или пальцы, расположенные прямо к камере)
- Скрытые или обрезанные руки
- Визуальное увеличение рук с самыми большими плоскими сторонами, обращенными к камере
- Визуальное увеличение рук из-за неправильного расположения относительно камеры (ближе, чем все тело)
- Руки, привлекающие внимание к неправильной части тела модели (как, например, руки, скрещенные спереди)
- Напряженные руки
Позы человека во время сна раскрывают его характер :: Общество :: РБК
Психологи пришли к выводу, что основные позиции человека во время сна раскрывают его характер, взгляды на жизнь и другие психологические особенности. Всего было выявлено четыре основных постельных позы: «эмбрион», или «зародыш», «бревно», «жаждущий» и «свободное падение». Об этом пишет Daily Telegraph.
Фото: Depositphotos
Такое исследование было проведено Робертом Фиппсом, экспертом по языку тела, который опросил 1 тыс. британцев. По его словам, позы людей во время сна позволяют выяснить, насколько тяжелый был у человека день, насколько высок уровень его тревожности, а также в какой степени он контролирует свою жизнь.
Р.Фиппсу пришел к выводу, что больше половины взрослых британцев спят в позе эмбриона, то есть на боку, свернувшись калачиком и подтянув колени к туловищу.
Благодаря этой позиции люди погружаются в так называемую зону комфорта, где отдыхают от стресса, пережитого за день. Чем ближе колени придвинуты к туловищу и чем ниже опущена голова, тем глубже спящий уходит в зону комфорта.
Это самая правильная поза для того, чтобы максимально восстановиться за ночь. Такие люди, как правило, являются добросовестными, рациональными и любят, чтобы все было на своих местах, однако они слишком часто беспокоятся. Р.Фиппс предупреждает «эмбрионов», чтобы они не слишком глубоко погружались в зону комфорта, иначе они чересчур расслабятся и не смогут адекватно реагировать на происходящее днем.
Следующая популярная поза — «бревно». При такой позиции человек лежит на боку, вытянувшись в струнку. Таких людей-«бревен» эксперт описывает как жестких, неуступчивых, упрямых, властных и замкнутых. Р.Фиппс советует им больше расслабляться во время сна и давать мышцам отдых.
Какая поза сна самая полезная?
Поза, в которой мы спим, вполне может стать причиной плохого самочувствия, а иногда даже вызывать нарушения сна. В какой же позе полезнее всего засыпать?
На спине
Идеальная поза для тех, кто следит за собой, так как лицевые мышцы в таком положении расслабляются, обеспечивая приток кислорода к коже. В результате лицо приобретает здоровый и свежий вид, а процесс появления морщин замедляется.
Давление на желудок и другие органы брюшной полости в такой позе минимально. Благодаря этому снижается риск заброса желудочного содержимого в пищевод. Это особенно важно для тех, кто страдает от изжоги.
Эта поза служит для профилактики остеохондроза. Нагрузка с межпозвонковых дисков снимается и мышцы спины могут расслабиться.
Спать в этой позе не рекомендуется тем, кто храпит, страдает от ночного апноэ или бруксизма (скрип зубами), так как симптомы этих болезней усугубляются, когда мы лежим на спине.
На боку
Уменьшается давление на поясницу, поэтому это лучшая поза для тех, кто страдает от болей в этой области.
В этой позе не происходит смыкания дыхательных путей, кислород беспрепятственно проходит в легкие и человек не храпит. Это обеспечивает качественный сон, а также, снижает риск возникновения сердечно-сосудистых заболеваний и способствует хорошей работе мозга.
Такое положение во время сна может вызывать затекание мышц рук и ног.
Если Вы любите засыпать в такой позе, Вам необходимо позаботиться о хорошей подушке, иначе может пострадать шейный отдел позвоночника. Она должна поддерживать шею в горизонтальном положении. Если у Вас есть непроизвольное желание подложить под подушку руки, то она для Вас слишком низкая.
На животе
Эта поза облегчает состояние при вздутии живота у взрослых и коликах у маленьких детей.
В этой позе могут возникнуть боли в шейном отделе позвоночника, так как он находится в неестественном состоянии. Кровоснабжение мозга ухудшается вследствие того, что передавливается одна из позвоночных артерий.
Давление на внутренние органы увеличивается, поэтому снабжение тканей кислородом ухудшается.
Если Вы хотите сохранить свое лицо свежим, то спать на животе нельзя. Из-за того, что лицо во сне сминается, образуются сначала легкие, а затем более глубокие морщинки.
Важно
В независимости от позы, в которой Вы привыкли засыпать, обязательно обратите внимание на свой матрас. Он должен быть максимально удобен для Вашей комплекции. Если у Вас постоянно возникает непроизвольное желание сменить позу, значит, матрас Вам не подходит. Лучше всего выбирать полужесткие матрасы, так как они оптимально поддерживают тело в горизонтальном положении.
Позы для сна и их значение для здоровья – полезные позы. блог BlueSleep
От того, как вы спите, зависит пищеварение, боли в разных частях тела и много чего ещё. Рассмотрим три самых распространённых положения в кровати.
Когда мы занимаемся йогой или поднимаем тяжести в тренажёрном зале, мы уделяем пристальное внимание положению тела, чтобы избежать травм и получить максимальную пользу от упражнений.
Стоит перенести этот подход и на ночное время, ведь количество и качество сна влияет на всё — от мозга до кишечника. Заметили, что когда вы не высыпаетесь, то энергии в вас, как в ленивце? Но если вы проводите в постели рекомендуемые семь-восемь часов и всё равно неважно себя чувствуете по утрам, стоит внимательнее отнестись к тому, что вы делаете со своим телом после выключения света.
Польза от сна на левом бокуИсследователи заметили, что такая поза наиболее благотворно влияет на самочувствие. Всё потому, что расположение внутренних органов не столь симметрично, как наша внешняя оболочка.
На фото комплект постельного белья Blue Sleep
Если вы страдаете от запоров, синдрома ленивого кишечника и других желудочно-кишечных проблем, лягте на левый бок и призовите на помощь гравитацию. Благодаря ей, пока вы спите, отходы жизнедеятельности беспрепятственно проследуют через восходящую, поперечную, а затем нисходящую ободочные кишки и будут готовы к ежеутреннему очистительному ритуалу.
Преимущества сна на боку:
-
Облегчается пищеварение. Отходы из тонкого кишечника в толстый попадают через илеоцекальный клапан, который расположен в нижней правой части живота. Если во время сна он будет сверху, передвижения будут более естественными.
-
Уменьшается изжога. Современные исследования подтверждают аюрведические идеи о том, что сон на правой стороне увеличивает вероятность изжоги. Предполагается, что, когда мы лежим на левом боку, желудок и его соки остаются ниже, чем пищевод.
-
Улучшается работа мозга. Удивительно, но в очищении от отходов нуждается не только наш кишечник, но и голова. Положение на боку помогает удалять временные связи, накопившееся за день, что снижает риск развития болезней Альцгеймера, Паркинсона и других неврологических заболеваний.
-
Уменьшается храп и апноэ. Поза на боку удерживает язык от попадания в горло и блокировки дыхательных путей. Если смена положения не облегчает ситуацию, лучше обратитесь к врачу.
-
Возможные минусы:
-
Боль в плече. Для профилактики можно менять сторону, на которой вы спите.
-
Дискомфорт в челюсти. Если у вас проблемы с височно-челюстным суставом, давление на челюсть во время сна может привести к воспалению.
Инструкция от специалиста:
1. Измерьте расстояние от шеи до конца плеча и найдите подушку такой высоты, чтобы голова и шея оставались на одной линии с позвоночником.
2. Чтобы предотвратить изжогу и позволить силе всемирного тяготения делать своё чёрное дело, засыпайте на левом боку. Если левое плечо по каким-либо причинам беспокоит, можно заменить его на правое.
3. Положите твёрдую подушку между коленями и обнимите ещё одну, чтобы поддержать позвоночник.
4. Держите руки параллельно друг другу на уровне лица или под ним.
Достоинства сна на спинеНа фото матрас Blue Sleep с микропружинами и комбинацией пен и фирменное постельное белье.
Классическая поза поддерживает позвоночник в естественном положении, снимает давление с плеча и челюсти, что предотвращает самые разные виды болей. Показания ко сну на спине:
-
боль в бедре или колене,
-
артрит,
-
бурсит,
-
фибромиалгия,
-
заложенность носа или насморк.
Инструкция от специалиста:
1. Положите одну подушку под колени, чтобы обеспечить позвоночнику наилучшую поддержку и защитить нижнюю часть спины.
2. Спите с раздвинутыми, как у вратаря, руками и ногами. Так вы равномерно распределите свой вес и избежите давления на суставы. К тому же, эта поза поможет удерживать себя на месте, если вы ещё только привыкаете спать на спине.
3. Выберите подушку, которая поддержит естественный изгиб шеи. Если ваш подбородок излишне кренится к груди, найдите модель пониже. Дополнительные подушки по бокам также помогут удерживать нужное положение.
4. Подвержены изжоге? Используйте клиновидную подушку или поднимите изголовье на 15 сантиметров с помощью специальных подпорок. Также это поможет при заложенности носа, головных болях и излишнем лицевом напряжении.
Спать на животе — плохая идея
Мы нашли преимущества в позах на боку и на спине, а вот от сна на животе больше минусов, чем плюсов. Такое положение часто становится причиной боли в спине: основная масса нашего тела концентрируется в районе живота и создаёт неправильную нагрузку на позвоночник. Единственное, что оправдывает позу на животе, — это то, что она сохраняет дыхательные пути максимально открытыми. Но всё же лучше предпочесть вариант на боку.
Инструкция от специалиста:
Если вы никак не можете переучить себя спать в другом положении, эти советы сведут вред к минимуму.
1. Используйте плоскую подушку или обойдитесь вообще без неё. Зато не помешает дополнительная поддержка под тазом, чтобы снять давление.
2. Чередуйте поворот головы в разные стороны, чтобы избежать скованности в шее.
3. Не сгибайте ноги в стороны — это только усилит вредное воздействие на вашу спину.
4. Не засовывайте руки под голову и подушку: чревато онемением рук, покалыванием, болью или раздражением плечевых суставов. Лучше разведите их по сторонам, как уже советовалось выше.
Все эти разговоры, вероятно, вселили в вас желание вздремнуть. Не отказывайте себе в отдыхе — попробуйте применить наши советы прямо сейчас, чтобы улучшить качество сна. Все эти проблемы могут быть не так важны, если вы спите на качественном ортопедическом матрасе, таком как Blue Sleep. Попробуйте сами!
xinghaochen / awesome-hand -rate-Estimation: отличная работа по оценке / отслеживанию позы руки
Кураторский список связанных ресурсов для оценки позы руки. Не стесняйтесь вносить свой вклад!
Содержание
- Оценка
- arXiv Документы
- Журнальные статьи
- Материалы конференции
- 2021: CVPR, прочие
- 2020: CVPR, ECCV, другие
- 2019: CVPR, ICCV, другие
- 2018: CVPR, ECCV, другие
- 2017: CVPR, ICCV, другие
- 2016: CVPR, ECCV, другие
- 2015: CVPR, ICCV, другие
- 2014: CVPR, прочие и до
- Тезисов
- наборов данных
- Мастерские
- Вызовы
- Прочие статьи по теме
* означает равный вклад
Оценка
См. Папку оценка
, чтобы получить более подробную информацию об оценке производительности для оценки позы руки.
arXiv Документы
• [arXiv: 2107.01205] HandVoxNet ++: 3D-оценка формы руки и позы с использованием нейронных сетей на основе вокселей. [PDF]
Джамиль Малик, Соши Шимада, Ахмед Эльхайек, Ск Азиз Али, Кристиан Теобальт, Владислав Голяник, Дидье Стрикер
• [arXiv: 2107.00887] HO-3D_v3: Повышение точности аннотаций рук и объектов в наборе данных HO-3D. [PDF]
Шреяс Хампали, Саян Деб Саркар, Винсент Лепетит
• [arXiv: 2107.00434] Обучение устранению неоднозначности сильно взаимодействующих рук с помощью вероятностной попиксельной сегментации. [PDF]
Цзыконг Фан, Адриан Спурр, Мухаммед Коджабас, Сию Танг, Майкл Дж. Блэк, Отмар Хиллигес
• [arXiv: 2106.05954] Adversarial Motion Modeling помогает полу-контролируемой оценке положения руки. [PDF]
Адриан Спурр, Павел Молчанов, Умар Икбал, Ян Каутц, Отмар Хиллигес
• [arXiv: 2106.05953] Самоконтролируемая трехмерная оценка положения руки на основе монокулярной системы RGB с помощью контрастного обучения.[PDF]
Адриан Спурр, Аниш Дахия, Сюконг Чжан, Си Ван, Отмар Хиллигес
• [arXiv: 2106.04324] Обучение контрастному представлению для оценки формы руки. [PDF] [Проект] [Код] [Данные]
Кристиан Циммерманн, Макс Аргус, Томас Брокс
• [arXiv: 2104.14639] HandsFormer: преобразователь ключевых точек для монокулярной трехмерной оценки положения рук и объекта во взаимодействии. [PDF]
Шреяс Хампали, Саян Деб Саркар, Махди Рад, Винсент Лепетит
• [arXiv: 2104.11181] h3O: Две руки, управляющие объектами для распознавания взаимодействия от первого лица. [PDF]
Тэин Квон, Бугра Текин, Ян Штумер, Федерика Бого, Марк Поллефейс
• [arXiv: 2104.03304] Обоснование согласованности контакта руки и объекта для создания человеческих хваток. [PDF] [Проект]
Hanwen Jiang, Shaowei Liu, Jiashun Wang, Xiaolong Wang
• [arXiv: 2102.09244] HandTailor: на пути к высокоточному монокулярному 3D-восстановлению рук. [PDF] [Код]
Jun Lv, Wenqiang Xu, Lixin Yang, Sucheng Qian, Chongzhao Mao, Cewu Lu
• [arXiv: 2102.07067] FastHand: быстрая оценка позы руки с помощью монокулярной камеры. [PDF]
Shan An, Xiajie Zhang, Dong Wei, Haogang Zhu, Jianyu Yang, Konstantinos A. Tsintotas
• [arXiv: 2012.11260] Неконтролируемая адаптация домена с постоянным во времени самообучением для трехмерной реконструкции сустава руки и объекта. [PDF]
Mengshi Qi, Edoardo Remelli, Mathieu Salzmann, Pascal Fua
• [arXiv: 2012.06475] EventHands: нейронная трехмерная реконструкция руки в реальном времени из потока событий.[PDF] [Проект]
Виктор Руднев, Владислав Голяник, Джайи Ван, Ханс-Петер Зайдель, Франциска Мюллер, Мохамед Эльгариб, Кристиан Теобальт
• [arXiv: 2012.09856] Реконструкция взаимодействия рук и предметов в дикой природе. [PDF] [Проект]
Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, Jitendra Malik
• [arXiv: 2012.09760] Сквозная реконструкция позы человека и сетки с трансформаторами. [PDF]
Кевин Линь, Лицзюань Ван, Цзычэн Лю
• [arXiv: 2012.00924] CPF: Изучение потенциального поля контакта для моделирования взаимодействия руки и объекта. [PDF] [Код]
Лисинь Ян, Синюй Чжань, Кайлин Ли, Вэньцян Сюй, Цзефенг Ли, Цеву Лу
• [arXiv: 2008.08324] FrankMocap: быстрый монокулярный 3D захват движений руки и тела с помощью регрессии и интеграции. [PDF] [Проект]
Yu Rong, Takaaki Shiratori, Hanbyul Joo
• [arXiv: 2006.05927] Последние достижения в области оценки положения трехмерных объектов и рук. [PDF]
Винсент Лепетит
• [arXiv: 2001.08047] Внимание! Облегченный двухмерный подход к оценке позы руки. [PDF]
Николас Сантавас, Иоаннис Кансизоглу, Лукас Бампис, Эвангелос Каракасис, Антониос Гастератос
• [arXiv: 2001.00702] HandAugment: простой метод увеличения данных для трехмерной оценки положения руки на основе глубины. [PDF] [Код]
Zhaohui Zhang, Shipeng Xie, Mingxiu Chen, Haichao Zhu
• [arXiv: 1912.12436] Silhouette-Net: 3D-оценка позы рук по силуэтам.[PDF]
Kuo-Wei Lee, Shih-Hung Liu, Hwann-Tzong Chen, Koichi Ito
• [arXiv: 1911.12501] Сквозная структура для неограниченного монокулярного трехмерного оценивания позы руки. [PDF]
Санджив Шарма, Шаоли Хуанг, Дачэн Тао
• [arXiv: 1912.01875] GraphPoseGAN: 3D-оценка положения руки по монокулярному RGB-изображению посредством состязательного обучения на графиках. [PDF]
Иминь Хэ, Вэй Ху, Сиюань Ян, Сяочао Цюй, Пэнфэй Ван, Цзунмин Го
• [arXiv: 1911.07424] Захват суставов рук с использованием рекуррентной нейронной сети для трехмерной оценки положения руки. [PDF]
Чхоль Хван Ю, Сын Ук Ким, Со Вон Джи, Ён Гу Шин, Сон Чжа Ко
• [arXiv: 1807.00898] Основанная на модели оценка позы руки для обобщенной формы руки с нормализацией внешнего вида. [PDF]
Ян Вёльке, Шиле Ли, Донхэуи Ли
• [arXiv: 1705.09606] Сквозное глобальное и локальное обучение CNN для глубинного восстановления позы руки.[PDF]
Мейсам Мадади, Серджио Эскалера, Ксавье Баро, Хорди Гонсалес
• [arXiv: 1704.02224] Hand3D: Оценка положения руки с использованием трехмерной нейронной сети. [PDF] [Проект]
Сяомин Дэн *, Шо Ян *, Инда Чжан *, Пинг Тан, Лян Чанг, Хунган Ван
• [arXiv: 1612.00596] Обучение поиску на многообразиях для трехмерной оценки положения шарнирных объектов. [PDF]
Yu Zhang, Chi Xu, Li Cheng
[вверх]
Журнальные статьи
TPAMI / IJCV
• [2020 TPAMI] 3D-оценка позы руки с использованием синтетических данных и слабо маркированных изображений RGB.[PDF]
Yujun Cai, Liuhao Ge, Jianfei Cai, Nadia Magnenat-Thalmann, Junsong Yuan
• [2019 TPAMI] Обобщенная петля обратной связи для совместной оценки положения руки и объекта. [PDF] [Проект]
Маркус Обервегер, Пол Вольхарт, Винсент Лепетит
• [2019 TPAMI] Сеть улучшения функций для оценки позы в 3D. [PDF]
Цзюнь Лю, Хэнхуи Дин, Амир Шахруди, Лин-Ю Дуань, Сюйдун Цзян, Ганг Ван, Алекс К. Кот
• [2018 TPAMI] Открытие черного ящика: оптимизация иерархической выборки для оценки положения руки.[PDF]
Danhang Tang *, Qi Ye *, Shanxin Yuan, Jonathan Taylor, Pushmeet Kohli, Cem Keskin, Tae-Kyun Kim, Jamie Shotton
• [2018 IJCV] Оценка позы руки на основе глубины: методы, данные и проблемы. [PDF] [Проект] [Код]
Джеймс Стивен Супанчич III, Грегори Рогез, Йи Ян, Джейми Шоттон, Дева Раманан
• [2018 TPAMI] Трехмерная оценка положения руки в реальном времени с помощью трехмерных сверточных нейронных сетей. [PDF]
Liuhao Ge, Hui Liang, Junsong Yuan и Daniel Thalmann
• [2016 IJCV] Lie-X: Оценка положения сочлененного объекта на основе изображения глубины, отслеживание и распознавание действий на группах Ли.[PDF] [Проект]
Chi Xu, Lakshmi Narasimhan Govindarajan, Yu Zhang, Li Cheng
• [2016 TPAMI] Лес скрытой регрессии: структурированная оценка трехмерных поз рук. [PDF]
Danhang Tang, Hyung Chang, Alykhan Tejani, Tae-Kyun Kim
• [2016 IJCV] Захват рук в действии с использованием отличительных основных точек и физического моделирования. [PDF] [Проект]
Димитриос Ционас, Лука Баллан, Абхилаш Сриканта, Пабло Апонте, Марк Поллефейс, Юрген Галл
• [2015 IJCV] Эффективная оценка позы рук на основе изображений с одной глубиной.[PDF] [Проект] [Код]
Chi Xu, Ashwin Nanjappa, Xiaowei Zhang, Li Cheng
[вверх]
Другие журналы
• [СОВЕТ 2021] Понимание позы руки с помощью крупномасштабного набора данных фотореалистичного рендеринга. [PDF]
Сяомин Дэн, Инда Чжан, Цзянь Ши, Юйин Чжу, Дачуань Чэн, Дексин Цзо, Чжаопэн Цуй, Пинг Тан, Лян Чанг, Хунган Ван
• [2021 TIP] Совместная 3D-реконструкция руки и объекта из единого изображения с помощью слияния функций перекрестных ветвей.[PDF]
Yujin Chen, Zhigang Tu, Di Kang, Ruizhi Chen, Linchao Bao, Zhengyou Zhang, Junsong Yuan
• [2021 Neurocomputing] Пространственно-ориентированная стековая регрессионная сеть для трехмерной оценки положения руки в реальном времени. [PDF]
Pengfei Ren, Haifeng Sun, Weiting Huang, Jiachang hao, Daixuan Cheng, Qi Qi, Jingyu Wang, Jianxin Liao
• [2021 TMM] Дифференцируемая пространственная регрессия: новый метод трехмерной оценки позы руки. [PDF] [Код]
Xingyuan Zhang, Fuhai Zhang
• [СОВЕТ 2020] Обучение под слабым контролем для восстановления формы руки на основе одной глубины.[PDF]
Сяомин Дэн, Юйин Чжу, Инда Чжан, Чжаопэн Цуй, Пинг Тан, Вэньтянь Цюй, Цуйся Ма, Хунган Ван
• [2020 Signal Process Image Commun] Сеть точной трехмерной оценки положения руки с использованием информации о суставах. [PDF]
Xiongquan Zhang; Шилянг Хуанг; Чжунфу Е
• [2020 TCSVT] Улучшение сети регрессии для оценки положения руки с глубиной с помощью вспомогательной переменной. [PDF]
Лу Сюй, Чен Ху, Цзиань Тао, Цзяньру Сюэ, Куйжи Мэй
• [2020 TVCG] 3D-отслеживание рук при чрезмерном размытии движения.[PDF]
Gabyong Park, Antonis Argyros, Juyoung Lee, Woontack Woo
• [Компьютеры и графика 2019] Простая и эффективная глубокая форма руки и регресс позы из изображения с одной глубиной. [PDF]
Джамиль Малик, Ахмед Эльхайек, Фабрицио Нуннари, Дидье Стрикер
• [СОВЕТ 2019] SRHandNet: 2D-оценка положения руки в реальном времени с одновременной локализацией области. [PDF] [Проект]
Yangang Wang, Baowen Zhang, Cong Peng
• [Датчики 2019] WHSP-Net: слабо контролируемый подход к трехмерному восстановлению формы руки и позы из изображения с одной глубиной.[PDF]
Джамиль Малик *, Ахмед Эльхайек *, Дидье Стрикер
• [2019 RA-L] Вариативная объектно-ориентированная трехмерная поза руки на основе одного изображения RGB. [PDF] [Код]
Yafei Gao *, Yida Wang *, Pietro Falco, Nassir Navab, Federico Tombari
• [2018 PR] Исследование по оценке позы руки в 3D: камеры, методы и наборы данных. [PDF]
Rui Li, Zhenyu Liu, Jianrong Tan
• [2018 Neurocomputing] Модуль CRNN для оценки позы рук.[PDF]
Чжунсю Ху, Юминь Ху, Цзе Лю, Бо Ву, Дунминь Хан, Томас Курфесс
• [2018 IVC] Крупномасштабный многовидовой набор данных позы руки в 3D. [PDF] [Проект]
Франсиско Гомес-Доносо, Серхио Ортс-Эсколано и Мигель Касорла
• [2018 TCSVT] Каскадная CNN с маской позы для двухмерной оценки позы руки по одноцветному изображению. [PDF] [Проект] [Код]
Янган Ван, Цун Пэн и Ебинь Лю
• [2018 IVC] Подгонка нисходящей модели для восстановления позы руки в последовательностях изображений глубины.[PDF]
Мейсам Мадади, Серхио Эскалера, Алекс Карруэско, Карлос Андухар, Хавьер Баро, Хорди Гонсалес
• [2018 TCYB] Контекстно-зависимая глубокая пространственно-временная сеть для оценки положения руки по изображениям глубины. [PDF]
Иминь Ву, Вэй Цзи, Си Ли, Ганг Ван, Цзяньвэй Инь, Фэй Ву
• [Доступ IEEE 2018] SHPR-Net: Глубокая семантическая регрессия позы руки из облаков точек. [PDF] [Проект]
Xinghao Chen, Guijin Wang, Cairong Zhang, Tae-Kyun Kim, Xiangyang Ji
• [2018 Neurocomputing] Ансамбль структурированных областей с управлением по позам для каскадной оценки позы руки.[PDF] [Проект] [Код]
Xinghao Chen, Guijin Wang, Hengkai Guo, Cairong Zhang
• [2018 PR] Изучение глубокой сети со сферической моделью для оценки позы руки в 3D. [PDF]
Цзы-Ян Чен, Пай-Вэнь Тин, Мин-Ю Ву, Ли-Чен Фу
• [СОВЕТ 2018] Надежная 3D-оценка позы руки на основе изображений с одной глубиной с использованием многоэкранных CNN. [PDF]
Liuhao Ge, Hui Liang, Junsong Yuan и Daniel Thalmann
• [2018 JVCI] Сеть ансамблей регионов: На пути к передовым методам оценки глубоких трехмерных поз рук.[PDF] [Код]
Guijin Wang, Xinghao Chen *, Hengkai Guo *, Cairong Zhang
• [2017 TCYB] Hough Forest с оптимизированными листьями для глобальной оценки положения руки с произвольными позами. [PDF]
Хуэй Лян, Цзюньсун Юань, Дж. Ли, Люхао Ге и Даниэль Тальманн
• [2017 TCSVT] Надежное отслеживание рук в формате RGB-D с использованием приоров глубокого обучения. [PDF]
Jordi Sanchez-Riera, Kathiravan Srinivasan, Kai-Lung Hua, Wen-Huang Cheng, M.Анвар Хоссейн и Мохаммед Ф. Альхамид
• [2017 CVIU] Оценка позы рук с помощью полу-контролируемого и слабо контролируемого обучения. [PDF]
Наталья Неверова, Кристиан Вольф, Флориан Небут, Грэм Тейлор
• [2017 Neurocomputing] Многозадачное, многодоменное обучение: приложение для семантической сегментации и регрессии позы. [PDF]
Дамьен Фуруреа, Реми Эмонет, Элиза Фромонт, Дамьен Муселе, Наталья Неверова, Ален Тремоа, Кристиан Вольф
• [2016 CVIU] Управляемая оптимизация с помощью классификации и регрессии для оценки положения руки.[PDF] [Проект]
Филип Крейов, Эндрю Гилберт, Ричард Боуден
• [2015 TCSVT] Устранение неоднозначных прогнозов позы рук с помощью корреляций частей. [PDF]
Hui Liang, Junsong Yuan, Daniel Thalmann
• [2014 TMM] Глубокий анализ изображений. [PDF] [Проект] [Код]
Hui Liang, Junsong Yuan, Daniel Thalmann
[вверх]
Материалы конференции
2021 CVPR
• Монокулярный захват всего тела в реальном времени с корреляцией между частями.[PDF]
Юйсяо Чжоу, Марк Хаберманн, Ихсанул Хабиби, Аюш Тевари, Кристиан Теобальт, Фэн Сюй
• Сквозная реконструкция позы человека и сетки с помощью трансформаторов. [PDF] [Код]
Кевин Линь, Лицзюань Ван, Цзычэн Лю
• DexYCB: эталонный тест для захвата предметов руками. [PDF] [Проект] [Код]
Ю-Вэй Чао, Вей Ян, Юй Сян, Павло Молчанов, Анкур Ханда, Джонатан Тремблей, Яшрадж С. Наранг, Карл Ван Вик, Умар Икбал, Стэн Бирчфилд, Ян Каутц, Дитер Фокс
• Body2Hands: обучение выводам трехмерных рук по динамике тела с помощью диалоговых жестов.[PDF] [Проект]
Evonne Ng, Hanbyul Joo, Shiry Ginosar, Trevor Darrell
• Восстановление ручной сетки в пространстве камеры с помощью семантического агрегирования и адаптивной регистрации 2D-1D. [PDF]
Синю Чен, Юйфэн Лю, Чунъян Ма, Цзяньлун Чанг, Хуаянь Ван, Тянь Чен, Сяоянь Го, Пэнфэй Ван, Вэнь Чжэн
• Трехмерная реконструкция руки на основе модели посредством самостоятельного обучения. [PDF]
Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, Junsong Yuan
• Полуконтролируемая трехмерная оценка руки и объекта с взаимодействием во времени.[PDF] [Проект] [Код]
Shaowei Liu *, Hanwen Jiang *, Jiarui Xu, Sifei Liu, Xiaolong Wang
[вверх]
2021 Прочие
• [SIGGRAPH 2021] Реконструкция взаимодействий рук и предметов в реальном времени на основе просмотра одной глубины. [PDF]
Hao Zhang, Yuxiao Zhou, Yifei Tian, Jun-Hai Yong, Feng Xu
• [2021 AAAI] Использование обучаемых совместных групп для оценки положения рук. [PDF] [Код]
Моран Ли, Юань Гао, Нонг Санг
• [2021 WACV] Активное обучение для байесовской оценки положения руки в 3D.[PDF] [Код]
Razvan Caramalau, Binod Bhattarai, Tae-Kyun Kim
• [2021 WACV] Глобальная 3D-оценка позы двумя руками с использованием монокуляра RGB. [PDF] [Код]
Fanqing Lin, Коннор Вильгельм, Тони Мартинес
• [2021 WACV] MVHM: крупномасштабный эталонный тест ручной сетки с несколькими проекциями для точной оценки положения руки в 3D. [PDF]
Лянцзянь Чен, Ши-Яо Линь, Юшэн Се, Йен-Ю Линь, Сяохуэй Се
• [2021 WACV] Самоконтролируемое обучение с учетом времени для трехмерной позы руки и оценки сетки в видео.[PDF]
Лянцзянь Чен, Ши-Яо Линь, Юшэн Се, Йен-Ю Линь, Сяохуэй Се
• [2021 PETRA] Слабо контролируемая сегментация деталей руки по глубинным изображениям. [PDF]
Mohammad Rezaei, Farnaz Farahanipad, Alex Dillhoff, Ramez Elmasri, Vassilis Athitsos
[вверх]
2020 ECCV
• GRAB: набор данных о человеческом захвате объектов всем телом. [PDF] [Проект] [Код]
Омид Тахери, Нима Горбани, Майкл Дж.Черный, Димитриос Ционас
• Монокулярная регрессия экспрессивного тела через внимание, управляемое телом. [PDF] [Проект] [Код]
Василиос Чутас, Георгиос Павлакос, Тимо Болкарт, Димитриос Ционас, Майкл Дж. Блэк
• Поверхность Фонга: эффективная подгонка трехмерной модели с помощью поднятой оптимизации. [PDF]
(Устный)Цзинджинг Шен, Томас Дж. Кэшман, Ци Е, Тим Хаттон, Тоби Шарп, Федерика Бого, Эндрю Уильям Фицгиббон, Джейми Шоттон
• Оценка позы всего тела человека в дикой природе.[PDF] [Код]
Шэн Цзинь, Люмин Сюй, Цзинь Сюй, Цан Ван, Вентао Лю, Чэнь Цянь, Ванли Оуян, Пин Ло
• Dual Grid Net: регрессия вершин ручной сетки из одиночных карт глубины. [PDF]
Chengde Wan, Thomas Probst, Luc Van Gool, Angela Yao
• Hand-Transformer: неавторегрессионное структурированное моделирование для трехмерной оценки положения руки. [PDF]
Линь Хуан, Цзяньчао Тан, Цзи Лю и Цзюньсун Юань
• ContactPose: набор захватов с контактом с предметом и позой руки.[PDF] [Проект] [Код]
Самарт Брамбхатт, Ченгченг Тан, Крис Твигг, Чарльз К. Кемп и Джеймс Хейс
• SeqHAND: 3D-оценка позы и формы руки на основе последовательности RGB. [PDF]
Джон Ян, Хён Джин Чанг, Сынджуи Ли, Ноджун Квак
• HTML: параметрическая модель текстуры руки для трехмерной реконструкции и персонализации руки. [PDF] [Проект]
Нэн Цянь, Цзяи Ван, Франциска Мюллер, Флориан Бернар, Владислав Голяник, Кристиан Теобальт
• JGR-P2O: Сеть прогнозирования от пикселя к смещению на основе совместного графического анализа для трехмерной оценки положения руки на основе изображения с одной глубиной.[PDF] [Код]
(В центре внимания)Linpu Fang, Xingyan Liu, Li Liu, Hang Xu, Wenxiong Kang
• Адаптивная вычислительно эффективная сеть для монокулярной трехмерной оценки положения руки. [PDF]
(В центре внимания)Чжипенг Фань, Цзюнь Лю, Яо Ван
• Совместное обучение распознаванию жестов и трехмерной оценке положения руки с многоуровневым анализом функций. [PDF]
(В центре внимания)Сиюань Ян, Цзюнь Лю, Шицзянь Лу, Мэн Хва Эр, Алекс К.Кот
• DeepHandMesh: слабо контролируемая структура Deep Encoder-Decoder для высококачественного моделирования ручной сетки из одного изображения RGB. [PDF] [Проект]
(Устный)Gyeongsik Moon, Takaaki Shiratori, Kyoung Mu Lee
• InterHand2.6M: новый крупномасштабный набор данных и базовая линия для трехмерной оценки поз одной и взаимодействующих рук на основе одного изображения RGB. [PDF] [Проект] [Код]
Gyeongsik Moon, Shoou-i Yu, He Wen, Takaaki Shiratori, Kyoung Mu Lee
• I2L-MeshNet: сеть прогнозирования преобразования изображения в пиксель для точной оценки позы человека в трехмерном пространстве и оценки сетки на основе одного изображения RGB.[PDF] [Код]
Gyeongsik Moon, Kyoung Mu Lee
• Трехмерная оценка положения руки под слабым контролем с помощью биомеханических ограничений. [PDF]
Адриан Спурр, Умар Икбал, Павел Молчанов, Отмар Хиллигес, Ян Каутц
• Обобщение измерений для невидимых точек обзора, артикуляций, форм и объектов для трехмерной оценки позы руки при взаимодействии рук и предметов. [PDF] [Код]
Анил Армаган, Гильермо Гарсия-Эрнандо, Сынгрюл Бэк, Шреяс Хампали, Махди Рад, Чжаохуэй Чжан, Шипенг Се, Мин Сю Чен, Бошен Чжан, Фу Сюн, Ян Сяо, Чжиго Цао, Цзюньсун Юань, Вэйфэн Пэнфэй Сун, Марек Хруз, Якуб Канис, Зденек Крюул, Цинфу Ван, Шиле Ли, Линлин Ян, Донхэуи Ли, Анжела Яо, Вейгуо Чжоу, Сиджиа Мэй, Юнхуэй Лю, Адриан Спурр, Умар Икбал, Павло Молчанов, Филипп Вайнза, Филипп Вайнза Грегори Роджез, Винсент Лепетит, Тэ-Гюн Ким
[вверх]
2020 CVPR
• Слабо контролируемая сетко-сверточная реконструкция руки в естественных условиях.[PDF] [Проект]
(Устный) (Номинанты на бумажную премию)Доминик Кулон, Риза Альп Гюлер, Ясонас Коккинос, Михаэль Бронштейн, Стефанос Зафейриу
• Слабо контролируемая адаптация предметной области через GAN и сеточную модель для оценки трехмерных поз рук взаимодействующих объектов. [PDF] [Код]
(Устный) (Номинанты на бумажную премию)Сынрюль Бэк, Кван Ин Ким, Тэ-Гюн Ким
• GanHand: прогнозирование возможностей захвата человека в многообъектных сценах.[PDF]
Энрик Корона, Альберт Пумарола, Гиллем Аленья, Франческ Морено-Ногер, Грегори Рогез
• Кросс-модальное вариационное выравнивание скрытых пространств. [PDF]
Thomas Theodoridis, Theocharis Chatzis, Vassilios Solachidis, Kosmas Dimitropoulos, Petros Daras
• HUMBI: большой многовидовой набор данных выражений человеческого тела. [PDF] [Проект]
Чжиксуан Ю *, Джэ Шин Юн *, Прашант Венкатеш, Джесик Парк, Джихун Ю, Хён Су Парк
• Эпиполярные трансформаторы.[PDF] [Код]
Yihui He *, Rui Yan *, Shoou-I Yu, Katerina Fragkiadaki
• HandVoxNet: сеть на основе глубоких вокселей для трехмерной оценки формы и позы руки по одной карте глубины. [PDF]
Джамиль Малик, Ибрагим Абдельазиз, Ахмед Эльхайек, Соши Шимада, Ск Азиз Али, Владислав Голяник, Кристиан Теобальт, Дидье Стрикер
• Знания как первоисточники: кросс-модальное обобщение знаний для наборов данных без высшего знания. [PDF]
Long Zhao, Xi Peng, Yuxiao Chen, Mubbasir Kapadia, Dimitris N.Метаксас
• Использование фотометрической согласованности с течением времени для реконструкции рук и предметов с недостаточным контролем. [PDF] [Проект] [Код]
Яна Хассон, Бугра Текин, Федерика Бого, Иван Лаптев, Марк Поллефейс, Корделия Шмид
• Монокуляр для захвата формы руки и движения в реальном времени с использованием мультимодальных данных. [PDF] [Проект] [Код]
Юйсяо Чжоу, Марк Хаберманн, Вейпенг Сюй, Ихсанул Хабиби, Кристиан Теобальт, Фэн Сюй
• HOPE-Net: модель на основе графиков для оценки позы руки и предмета.[PDF] [Код]
Bardia Doosti, Shujon Naha, David Crandall, Majid Mirbagheri
• HOnnotate: метод 3D-аннотации поз рук и предметов. [PDF] [Проект] [Код]
Шреяс Хампали, Махди Рад, Маркус Обервегер, Винсент Лепетит
[вверх]
2020 Прочие
• [2020 ISMAR] 3D-оценка позы руки с помощью одной инфракрасной камеры с помощью обучения передачи домена. [PDF]
Gabyong Park, Tae-Kyun Kim, Woontack Woo
• [2020 ISMAR] Рисование глубины голыми руками для трехмерного отслеживания взаимодействия руки с объектом.[PDF]
Woojin Cho, Gabyong Park, Woontack Woo
• [2020 3DV] Grasping Field: изучение неявных представлений для человеческого понимания. [PDF] [Код]
(Награда за лучшую работу)Корраве Карунратанакул, Цзиньлун Ян, Ян Чжан, Майкл Блэк, Крикамол Муандет, Сию Тан
• [2020 UIST] DeepFisheye: технология отслеживания приповерхностных точек с помощью камеры «рыбий глаз». [PDF] [Проект] [Код]
Keunwoo Park, Sunbum Kim, Youngwoo Yoon, Tae-Kyun Kim, Geehyuk Lee
• [2020 SIGGRAPH Asia] Эластичность, ограничивающая отслеживание плотной поверхности руки.[PDF] [Проект]
Бриннан Смит, Ченглей Ву, Хэ Вен, Патрик Пелузе, Ясер Шейх, Джессика Ходжинс, Такааки Ширатори
• [2020 SIGGRAPH Asia] RGB2Hands: отслеживание трехмерных взаимодействий рук в реальном времени с помощью монокулярного RGB-видео. [PDF] [Проект]
Цзяи Ван, Франциска Мюллер, Флориан Бернар, Сюзанна Сорли, Александр Сотниченко, Ненг Цянь, Мигель А. Отадуй, Дэн Касас и Кристиан Теобальт
• [СИГГРАФ 2020] MEgATrack: Монохромное эгоцентрическое отслеживание сочлененных рук для виртуальной реальности.[PDF]
Шангчен Хан, Бэйбэй Лю, Рэнди Кабезас, Кристофер Д. Твигг, Пэйчжао Чжан, Джефф Петкау, Цз-Хо Ю, Чун-Юнг Тай, Музаффер Акбай, Чжэн Ван, Асаф Ницан, Ганг Донг, Ютин Е, Линлинг Тао, Чэндэ Ван, Роберт Ван
• [2020 MM] MM-Hand: трехмерная мультимодальная управляемая генерация руки для трехмерного синтеза позы руки. [PDF] [Код]
Zhenyu Wu, Duc Hoang, Shih-Yao Lin, Yusheng Xie, Liangjian Chen, Yen-Yu Lin, Zhangyang Wang, Wei Fan
• [2020 MM] Адаптивные песочные часы Вассерштейна для оценки положения руки под слабым контролем с помощью монокуляра RGB.[PDF]
Юмен Чжан, Ли Чен, Юйфэн Лю, Цзюньхай Юн, Вэнь Чжэн
• [2020 MM] HOT-Net: неавторегрессивный преобразователь для трехмерной оценки положения руки и объекта. [PDF]
Линь Хуанг, Цзяньчао Тан, Цзинцзин Мэн, Цзи Лю и Цзюньсун Юань
• [2020 BMVC] PMD-Net: сеть дистилляции привилегированных модальностей для трехмерной оценки положения руки на основе одного изображения RGB. [PDF]
Кевен Ван и Силинь Чен
• [2020 BMVC] SIA-GCN: Графическая нейронная сеть с поддержкой пространственной информации с двумерными свертками для оценки положения руки.[PDF]
Дэин Конг, Хаою Ма и Сяохуэй Се
• [2020 BMVC] Исключение явных знаний для трехмерной оценки позы руки с помощью монокулярной системы RGB. [PDF]
Юмен Чжан, Ли Чен, Юфэн Лю, Вэнь Чжэн и Цзюнь Хай Юн
• [2020 BMVC] BiHand: восстановление ручной сетки с помощью многоэтапной сети «песочные часы», разделенной пополам. [PDF] [Код]
Lixin Yang, Jiasen Li, Wenqiang Xu, Yiqun Diao, Cewu Lu
• [2020 Ubicomp] FingerTrak: непрерывное трехмерное отслеживание позы руки с помощью глубокого обучения силуэтов рук, снятых миниатюрными тепловизорами на запястье.[PDF] (
ECCV 2020 Demo Award Nomineer )Фанг Ху, Пэн Хэ, Сунлинь Сюй, Инь Ли, Чэн Чжан
• [2020 FG] Отслеживание рук с помощью монокуляра RGB с плотными семантическими метками. [PDF]
Питер Томпсон, Афродита Галата
• [2020 FG] Генеративная модель потерь для спасения: метод преодоления ошибок аннотаций для оценки положения руки на основе глубины. [PDF]
Цзяи Ван, Франциска Мюллер, Флориан Бернар, Кристиан Теобальт
• [2020 IROS] Физические ловкие манипуляции с расчетными позами рук и остаточным обучением с подкреплением.[PDF]
Гильермо Гарсия-Эрнандо, Эдвард Джонс, Тэ-Гюн Ким
• [2020 CHI] Оценка методов машинного обучения для оценки положения руки на портативном устройстве с датчиком приближения. [PDF]
Казуюки Аримацу, Хидеки Мори
• [2020 AAAI] AWR: Адаптивная регрессия взвешивания для оценки положения руки в 3D. [PDF] [Код]
Weiting Huang, Pengfei Ren, Jingyu Wang, Qi Qi, Haifeng Sun
• [2020 WACV] Машина непараметрической регуляризации структуры для 2D-оценки положения руки.[PDF] [Код]
Ифэй Чен *, Хаою Ма *, Дэйинг Конг, Сянъи Ян, Цзяньбао Ву, Вэй Фань, Сяохуэй Се
• [2020 WACV] 3D-оценка позы руки с распутанным кросс-модальным скрытым пространством. [PDF]
Jiajun Gu, Zhiyong Wang, Wanli Ouyang, Weichen Zhang, Jiafeng Li, Li Zhuo
• [2020 WACV] DGGAN: Генеративные состязательные сети с управляемым изображением глубины для разделения изображений RGB и глубины при оценке положения руки в 3D. [PDF]
Лянцзянь Чен, Ши-Яо Линь, Юшэн Се, Йен-Ю Линь, Вэй Фань, Сяохуэй Се
• [2020 WACV] Сеть со смешанной графической моделью, инвариантная к вращению, для 2D-оценки позы руки.[PDF]
Deying Kong, Haoyu Ma, Yifei Chen, Xiaohui Xie
• [2020 ICASSP] Оценка положения руки на основе слабо контролируемой сегментации при взаимодействии с неизвестными объектами. [PDF]
Cairong Zhang, Guijin Wang, Xinghao Chen, Pengwei Xie, Toshihiko Yamasaki
• [2020 ICASSP] Hand-3D-Studio: новая многовидовая система для трехмерной реконструкции руки. [PDF] [Проект]
Zhengyi Zhao, Tianyao Wang, Siyu Xia, Yangang Wang
[вверх]
2019 ICCV
• FreiHAND: набор данных для безмаркерной фиксации позы и формы руки из отдельных изображений RGB.[PDF] [Проект] [Код]
Кристиан Циммерманн, Дуйгу Джейлан, Джимей Ян, Брайан Рассел, Макс Аргус, Томас Брокс
• A2J: Сеть регрессии привязки к суставу для трехмерной оценки шарнирной позы на основе изображения с одной глубиной. [PDF] [Код]
Фу Сюн *, Бошен Чжан *, Ян Сяо, Чжиго Цао, Тайдун Ю, Джои Тяньи Чжоу и Цзюньсун Юань
• Использование пространственно-временных отношений для трехмерной оценки позы с помощью сверточных графических сетей.[PDF]
Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan и Nadia Magnenat Thalmann
• Устранение неоднозначности позы человека в 3D с помощью ограничений 3D-сцены. [PDF] [Проект]
Мохамед Хасан, Василиос Чутас, Димитриос Ционас и Майкл Дж. Блэк
• SO-HandNet: самоорганизующаяся сеть для трехмерной оценки положения рук с полу-контролируемым обучением. [PDF] [Код]
Yujin Chen, Zhigang Tu, Liuhao Ge, Dejun Zhang, Ruizhi Chen, Junsong Yuan
• Сквозное восстановление ручной сетки из монокулярного изображения RGB.[PDF] [Код]
Xiong Zhang *, Qiang Li *, Wenbo Zhang, Wen Zheng
• Выравнивание скрытых пространств для трехмерной оценки позы руки. [PDF]
Линлинь Ян *, Шиле Ли *, Донхэуи Ли, Анжела Яо
• [Мастерская HANDS19] Отделение позы от внешнего вида на монохромных изображениях рук. [PDF]
Икан Ли, Крис Твигг, Ютин Е, Линлинг Тао, Ван Сяоган
• [Мастерская HANDS19] 3D-оценка позы руки на основе RGB посредством привилегированного обучения с изображениями глубины.[PDF]
Shanxin Yuan, Bjorn Stenger, Tae-Kyun Kim
• [Мастерская HANDS19] Обучение явной деформации позы для отслеживания поз человека. [PDF]
Сяо Сунь, Чуанкан Ли, Стивен Линь
• [Практикум HANDS19] Изучение ансамбля позы руки на основе характеристик группировки наборов точек руки. [PDF]
Tianqiang Zhu, Yi Sun, Xiaohong Ma, Xiangbo Lin
2019 CVPR
• Распутывание скрытых рук для синтеза изображений и оценки поз.[PDF]
Линлинь Ян, Анжела Яо
• Оценка позы руки на основе голосования от точки к позе с использованием эквивалентного уровня остаточной перестановки. [PDF]
Шиле Ли, Донхэуи Ли
• H • O: Единое эгоцентрическое распознавание трехмерных поз и взаимодействий рук и объектов. [PDF]
(Устный)Бугра Текин, Федерика Бого, Марк Поллефейс
• Самостоятельная оценка позы руки в 3D. [PDF] [Код]
(Устный) (Финалисты Best Paper)Chengde Wan, Thomas Probst, Luc Van Gool, Angela Yao
• CrossInfoNet: многозадачная оценка положения руки на основе обмена информацией.[PDF] [Код]
Kuo Du, Xiangbo Lin, Yi Sun, Xiaohong Ma
• Выразительный захват тела: 3D руки, лицо и тело из одного изображения. [PDF] [Проект] [Код]
(Устный)Георгиос Павлакос *, Василиос Чутас *, Нима Горбани, Тимо Болкарт, Ахмед А. А. Осман, Димитриос Ционас, Майкл Дж. Блэк
• Обучение совместной реконструкции рук и предметов, которыми манипулируют. [PDF] [Код] [Код] [Проект]
Яна Хассон, Гюль Варол, Димитрис Ционас, Игорь Калеватых, Майкл Дж.Блэк, Иван Лаптев и Корделия Шмид
• Трехмерная оценка формы руки и позы на основе одного изображения RGB. [PDF] [Проект] [Код]
(Устный)Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, Junsong Yuan
• 3D форма и поза руки из изображений в дикой природе. [PDF] [Код]
(Устный)Аднане Бухайма, Родриго де Бем, Филип Х.С. Торр
• Нажатие на конверт для оценки плотной 3D-позиции руки на основе RGB с помощью нейронного рендеринга.[PDF]
Сынрюль Бэк, Кван Ин Ким, Тэ-Гюн Ким
• Монокуляр Total Capture: изображение лица, тела и рук в дикой природе. [PDF] [Проект] [Код]
(Устный)Donglai Xiang, Hanbyul Joo, Yaser Sheikh
[вверх]
2019 прочие
• [2019 SIGGRAPH] Интерактивная оценка позы руки с помощью чувствительной к растяжению мягкой перчатки. [PDF] [Проект]
Оливер Глаузер, Шихао Ву, Даниэле Паноццо, Отмар Хиллигес, Ольга Соркин-Хорнунг
• [2019 SIGGRAPH] InteractionFusion: реконструкция в реальном времени поз рук и деформируемых объектов при взаимодействии рук и объектов.[PDF]
Hao Zhang, Zi-Hao Bo, Jun-Hai Yong, Feng Xu
• [2019 SIGGRAPH] Реконструкция позы и формы двух взаимодействующих рук в реальном времени с помощью одной камеры глубины. [PDF] [Проект]
Франциска Мюллер, Мика Дэвис, Флориан Бернар, Александр Сотниченко, Микел Вершур, Мигель А. Отадуй, Дэн Касас, Кристиан Теобальт
• [2019 FG] Глубокая условная вариационная оценка для основанных на глубине поз рук. [PDF]
Лу Сюй, Чен Ху, Иньци Ли, Цзиань Тао, Цзянжу Сюэ, Куйжи Мэй
• [2019 BMVC] Унифицированная оценка положения руки в 2D и 3D на основе одного видимого или рентгеновского изображения.[PDF]
Akila Pemasiri, Kien Nguyen Thanh, Sridha Sridharan, Clinton Fookes
• [BMVC 2019] TAGAN: Генеративные состязательные сети с согласованной тональностью для реалистичного синтеза HandPose. [PDF]
Лянцзянь Чен, Ши-Яо Линь, Юшэн Се, Хуэй Тан, Юфань Сюэ, Сяохуэй Се, Йен-Ю Линь, Вэй Фань
• [2019 BMVC] Трехмерная реконструкция руки по одному изображению с помощью сверток сетки. [PDF] [Код]
Dominik Kulon, Haoyang Wang, Riza Alp Güler, Michael Bronstein, Stefanos Zafeiriou
• [2019 BMVC] Сеть адаптивных графических моделей для 2D ручной оценки.[PDF]
Deying Kong, Yifei Chen, Haoyu Ma, Xiangyi Yan, Xiaohui Xie
• [2019 BMVC] SRN: Сеть с накоплением регрессии для трехмерной оценки позы руки в реальном времени. [PDF]
Pengfei Ren, Haifeng Sun, Jingyu Wang, Qi Qi, Weiting Huang
• [2019 BMVC] Сквозная 3D-оценка позы руки со стереокамер. [PDF]
(Устный)Yuncheng Li, Zehao Xue, Yingying Wang, Liuhao Ge, Zhou Ren, Jonathan Rodriguez
• [2019 ACCV] Оценка положения руки на основе трехмерной остаточной сети с заполнением данных и стабилизацией скелета.[PDF]
Pai-Wen Ting, En-Te Chou, Ya-Hui Tang, Li-Chen Fu
• [2019 ICASSP] Каскадная точечная сеть для трехмерной оценки положения руки. [PDF]
Икунь Доу, Сюгуан Ван, Юйин Чжу, Сяомин Дэн, Цуйся Ма, Лян Чанг, Хунган Ван
• [ICASSP 2019] Новая концепция локализации руки и оценки положения руки. [PDF]
Юньлун Че, Юйсян Сун, Юэ Ци
• [2019 ICRA] Телеоперация теневой ловкой руки на основе видения с использованием сквозной глубокой нейронной сети.[PDF] [Код]
Шуанг Ли *, Сяоцзянь Ма *, Хунчжуо Лян, Михаэль Гёрнер, Филипп Руппель, Бинг Фанг, Фучунь Сунь, Цзяньвэй Чжан
• [2019 WACV] MURAUER: Отображение немаркированных реальных данных для маркировки AUstERity. [PDF] [Проект] [Код]
Георг Пуер, Майкл Опиц, Давид Шинагль и Хорст Бишоф
[вверх]
2018 ECCV
• HandMap: надежная оценка положения руки с помощью промежуточной плотной навигационной карты.[PDF] [Проект] [Код]
Xiaokun Wu, Daniel Finnegan, Eamonn O’Neill, Yongliang Yang
• HBE: Сеть Hand Branch Ensemble для оценки трехмерной позы руки в реальном времени. [PDF]
Идан Чжоу, Цзянь Лу, Го Ду, Сянбо Линь, И Сунь, Сяохун Ма
• Двухточечная регрессия PointNet для трехмерной оценки положения руки. [PDF]
Liuhao Ge, Zhou Ren, Junsong Yuan
• Слабо контролируемая оценка положения руки в 3D по изображениям RGB с помощью монокуляра.[PDF]
(Устный)Yujun Cai, Liuhao Ge, Jianfei Cai, Junsong Yuan
• Совместное трехмерное отслеживание деформируемого объекта при взаимодействии с рукой. [PDF] [Проект]
Аггелики Цоли, Антонис А. Аргирос
• Оценка положения руки с учетом окклюзии с использованием иерархической сети плотности смеси. [PDF]
(Устный)Ци Е, Тэ-Кюн Ким
• Оценка позы руки с помощью скрытой регрессии 2.5D тепловой карты.[PDF]
Умар Икбал, Павел Молчанов, Томас Бруэль, Юрген Галл, Ян Каутц
• [Мастерская Hands18] Адаптация эгоцентрической визуальной оценки позы руки к экзоскелету, управляемому роботом. [PDF]
Джеральд Баулиг, Томас Гульде, Кристобаль Курио
• [Мастерская Hands18] Оценка двумерных поз для нескольких рук на основе изображений с одной глубиной. [PDF]
Ле Зуан, Минмин Шен, Сон Цуй, Чжэсяо Го, Оливер Деуссен
• [Мастерская Hands18] Целенаправленное перенацеливание движений руки для имитации ловких манипуляций.[PDF] [Проект]
Dafni Antotsiou, Guillermo Garcia-Hernando, Tae-Kyun Kim
[вверх]
2018 CVPR
• Тест производительности рук от первого лица с видео в формате RGB-D и 3D-аннотациями позы рук. [PDF] [Проект] [Код]
Гильермо Гарсия-Эрнандо, Шаньсинь Юань, Сынрюль Пэк, Тэ-Гюн Ким
• Изучение конкретных представлений позы путем прогнозирования различных точек зрения. [PDF] [Проект] [Код]
Георг Пуер, Давид Шинагль, Хорст Бишоф
• Hand PointNet: 3D-оценка позы руки с использованием наборов точек.[PDF] [Проект] [Код]
(В центре внимания)Liuhao Ge, Yujun Cai, Junwu Weng, Junsong Yuan
• Плотная трехмерная регрессия для оценки позы рук. [PDF] [Код]
Chengde Wan, Thomas Probst, Luc Van Gool, Angela Yao
• Кросс-модальная глубокая вариационная оценка позы руки. [PDF] [Проект] [Код]
(В центре внимания)Адриан Спурр, Джи Сон, Парк Сонук, Отмар Хиллигс
• Отображение функций для быстрого и точного обучения трехмерной позе из синтетических изображений.[PDF] [Проект]
Махди Рад, Маркус Обервегер, Винсент Лепетит
• Управляемые руки для трехмерного отслеживания рук в реальном времени с помощью монокуляра RGB. [PDF] [Supp] [Project]
(В центре внимания)Франциска Мюллер, Флориан Бернар, Александр Сотниченко, Душьянт Мета, Сринат Шридхар, Дэн Касас, Кристиан Теобальт
• V2V-PoseNet: сеть прогнозирования от вокселя к вокселю для точной оценки позы руки и человека в 3D на основе единой карты глубины.[PDF] [Код]
Gyeongsik Moon, Ju Yong Chang, Kyoung Mu Lee
• Трехмерная оценка позы руки на основе глубины: от текущих достижений к будущим целям. [PDF]
(В центре внимания)Шаньсинь Юань, Гильермо Гарсия-Эрнандо, Бьорн Стенгер, Кёнсик Мун, Джу Ён Чанг, Кён Му Ли, Павло Молчанов, Ян Каутц, Сина Хонари, Люхао Ге, Цзюньсон Юань, Синхао Чен, Гуйцзинь Ван, Фань Янг, Кай Аки , Ян Ву, Цинфу Ван, Мейсам Мадади, Серхио Эскалера, Шиле Ли, Донхэуи Ли, Ясон Ойкономидис, Антонис Аргирос, Тэ-Гюн Ким
• Расширенный перенос пространства скелета для оценки позы руки на основе глубины.[PDF]
(Устный)Сынрюль Бэк, Кван Ин Ким, Тэ-Гюн Ким
• [Мастерская 3D HUMANS] Вывод позы руки монокуляра RGB с помощью неконтролируемых уточняющих сетей. [PDF]
Эндри Дибра, Сильван Мельхиор, Али Балкис, Томас Вольф, Дженгиз Озтирели, Маркус Гросс
[вверх]
2018 прочие
• [2018 ISMAR] Гибридное трехмерное отслеживание суставов руки на основе классификации и адаптации пространства поиска. [PDF]
Gabyong Park, Woontack Woo
• [2018 ACCV] Оценка положения руки на основе трехмерной остаточной сети с заполнением данных и стабилизацией скелета.[PDF]
Pai-Wen Ting, En-Te Chou, Ya-Hui Tang, Li-Chen Fu
• [2018 ACCV] Частично закрытые руки: новый сложный набор данных для оценки позы руки на одном изображении. [PDF] [Проект]
(Устный)Баттушиг Мьянганбаяр, Кристина Мата, Гиль Декель, Борис Кац, Гай Бен-Йосеф, Андрей Барбу
• [2018 ACCV] Перенос домена для оценки позы 3D по цветным изображениям без ручных аннотаций. [PDF]
(Устный)Махди Рад, Маркус Обервегер, Винсент Лепетит
• [2018 PCM] Оценка позы руки с помощью сети внимания и последовательности.[PDF]
Тяньпин Ху *, Вэньхай Ван *, Тонг Лу
• [2018 PCM] Многослойная передаточная сеть с ансамблем областей для оценки позы глубокой руки. [PDF]
Haoqian Wang, Da Li, Xingzheng Wang
• [2018 ICPR] Сеть песочных часов на основе локальной регрессии для оценки положения руки по изображению с одной глубиной. [PDF]
Цзя Ли, Цзэнфу Ван
• [2018 ICPR] Сети динамической проекции сегментации для оценки положения руки.[PDF]
Юньлун Че, Юэ Ци
• [2018 3DV] DeepHPS: Сквозная оценка трехмерной позы и формы руки путем изучения синтетической глубины. [PDF]
Джамиль Малик, Ахмед Эльхайек, Фабрицио Нуннари, Киран Варанаси, Киараш Тамаддон, Алексис Хелуар, Дидье Стрикер
• [2018 ICIP] Сети, эффективно использующие двухмерную пространственную информацию для точной трехмерной оценки положения руки. [PDF]
Baoen Liu, Shiliang Huang, Zhongfu Ye
• [ICIP 2018] О слиянии информации RGB и глубины для оценки позы руки.[PDF] [Код]
Евангелос Казакос, Христофорос Нику, Иоаннис Какадиарис
• [2018 ICIP] Fast Lifting для трехмерной оценки позы руки в приложениях AR / VR. [PDF]
Онур Гулерьёз, Кристина Кезер-Чен
• [2018 BMVC] Структурно-ориентированная трехмерная сеть «песочные часы» для оценки положения руки по изображению с одной глубиной. [PDF]
Fuyang Huang, Ailing Zeng, Minhao Liu, Jing Qin, Qiang Xu
• [2018 BMVC] 3D-оценка позы руки с использованием моделирования и частичного наблюдения с общим скрытым пространством.[PDF] [Код]
(Устный)Масуд Абди, Эхсан Аббаснеджад, Чи Пенг Лим, Саид Нахаванди
• [2018 FG] Кинематический ограниченный каскадный автоэнкодер для оценки положения руки в реальном времени. [PDF]
Юйшунь Линь, Сюцзюань Чай, Силинь Чен
• [2018 WACV] Использование одного кадра RGB для оценки трехмерной позы руки в реальном времени в дикой природе. [PDF] [Проект] [Код]
Paschalis Panteleris, Ясон Ойкономидис, Антонис Аргирос
[вверх]
2017 ICCV
• Учимся оценивать трехмерную позу руки по одиночным изображениям RGB.[PDF] [Проект] [Код]
Кристиан Циммерманн, Томас Брокс
• Отслеживание рук в режиме реального времени при окклюзии с помощью эгоцентрического датчика RGB-D. [PDF] [Проект]
Франциска Мюллер, Душьянт Мета, Александр Сотниченко, Сринат Шридхар, Дэн Касас, Кристиан Теобальт
• Оценка положения руки при взаимодействии с неизвестным объектом. [PDF] [Supp] [Проект]
Чихо Чой, Санг Хо Юн, Чин-Нин Чен, Картик Рамани
• Обучение артикуляции рук с помощью галлюцинации распределения тепла.[PDF] [Supp] [Проект]
Чихо Чой, Сангпил Ким, Картик Рамани
• Калибровка малой размерности посредством локального масштабирования анизотропии для персонализации надежной модели руки. [PDF] [Проект] [Код]
Эдоардо Ремелли *, Анастасия Ткач *, Андреа Тальясакки, Марк Паули
• [Мастерская Hands17] Назад к RGB: трехмерное отслеживание рук и взаимодействий рук и предметов на основе стереозвука с короткой базой. [PDF]
Paschalis Panteleris, Антонис Аргирос
• [Мастерская Hands17] DeepPrior ++: Улучшение быстрой и точной оценки положения руки в 3D.[PDF] [Проект] [Код]
Маркус Обервегер и Винсент Лепетит
• [Мастерская Hands17] Оценка положения руки с использованием глубокого стереозрения и цепей Маркова Монте-Карло. [PDF]
Рилван Ремилекун Басару, Крис Чайлд, Эдуардо Алонсо, Грег Слабо
[вверх]
2017 CVPR
• Обнаружение ключевых точек в отдельных изображениях с использованием многоэкранной загрузки. [PDF] [Проект] [Код]
Tomas Simon, Hanbyul Joo, Iain Matthews, Yaser Sheikh
• Пересекающиеся сети: объединение GAN и VAE с общим скрытым пространством для оценки положения руки.[PDF] [Код]
Chengde Wan, Thomas Probst, Luc Van Gool, Angela Yao
• Тест Big Hand 2.2M: набор данных по позе руки и современный анализ. [PDF]
Шаньсинь Юань *, Ци Е *, Бьорн Стенгер, Сиддханд Джайн, Тэ-Гюн Ким
• Трехмерные сверточные нейронные сети для эффективной и надежной оценки положения руки по изображениям с одной глубиной. [PDF] [Проект]
Liuhao Ge, Hui Liang, Junsong Yuan и Daniel Thalmann
[вверх]
2017 Прочие
• [2017 3DV] Одновременная оценка позы руки и длины костей скелета на основе одного изображения глубины.[PDF]
Джамиль Малик, Ахмед Эльхайек, Дидье Стрикер
• [2017 3DV] Как уточнить оценку позы руки в 3D на основе немаркированных данных о глубине? [PDF]
Эндри Дибра *, Томас Вольф *, Дженгиз Озтирели, Маркус Гросс
• [2017 ICIP] Сеть ансамбля регионов: улучшение сверточной сети для оценки положения руки. [PDF] [Код]
Hengkai Guo, Guijin Wang, Xinghao Chen, Cairong Zhang, Fei Qiao, Huazhong Yang
• [2017 ICIP] Тест отслеживания позы руки от Stereo Matching.[PDF] [Проект]
Цзявэй Чжан, Цзяньбо Цзяо, Минлян Чен, Лянцюн Цюй, Сяобинь Сюй и Цинсюн Ян
• [2017 SIGGRAPH Asia] Сочлененные поля расстояния для сверхбыстрого отслеживания взаимодействующих рук. [PDF]
Джонатан Тейлор *, Владимир Танкович *, Данханг Танг *, Джем Кескин *, Дэвид Ким, Филип Дэвидсон, Адарш Коудл, Шахрам Изади
• [2017 SIGGRAPH Asia] Персонализация генеративной онлайн-модели для отслеживания рук. [PDF] [Проект]
Анастасия Ткач *, Андреа Тальясакки *, Эдоардо Ремелли, Марк Поли, Эндрю Фицгиббон
• [2017 SIGGRAPH Asia] Воплощенные руки: моделирование и объединение рук и тел.[PDF] [Проект]
Хавьер Ромеро *, Димитриос Ционас * и Майкл Дж. Блэк
• [BMVC, 2017] Обучение позе руки: сочетание глубокого обучения и иерархического уточнения для трехмерной оценки положения руки. [PDF]
Мин-Ю Ву, Я Хуэй Тан, Пай-Вей Тин и Ли-Чен Фу
• [2017 BMVC] Генеративное трехмерное отслеживание рук с пространственно-ограниченной выборкой позы. [PDF] [Проект]
Константинос Родитакис, Александрос Макрис и Антонис Аргирос
• [2017 ICRA] Изучение глубокой сети со сферической моделью для оценки позы руки в 3D.[PDF]
Цзы-Ян Чен, Пай-Вэнь Тин, Мин-Ю Ву, Ли-Чен Фу
• [2017 FG] Восстановление позы руки с учетом окклюзии на основе последовательностей изображений глубины. [PDF] [Слайд]
Мейсам Мадади, Серхио Эскалера, Алекс Карруэско Льоренс, Карлос Андухар, Ксавье Баро, Хорди Гонсалес
• [2017 FG] Трехмерная оценка положения руки и объекта с глубины с помощью сверточных нейронных сетей. [PDF] [Проект]
Дункан Гуди, Афродита Галата
[вверх]
2016 ECCV
• Глубокая сеть пространственного внимания с частичным PSO для иерархической гибридной оценки положения руки.[PDF] [Проект]
Qi Ye *, Shanxin Yuan *, Tae-Kyun Kim
• Оценка положения руки на основе нормалей локальной поверхности. [PDF]
Чэндэ Ван, Анжела Яо и Люк Ван Гул
• Совместное отслеживание в реальном времени руки, манипулирующей объектом из входа RGB-D. [PDF] [Проект]
Шринат Шридхар, Франциска Мюллер, Михаэль Цоллхёфер, Дан Касас, Антти Уласвирта, Кристиан Теобальт
[вверх]
2016 CVPR
• Надежная трехмерная оценка положения руки на изображениях с одной глубиной: от однолинейных CNN до многовидовых CNN.[PDF] [Проект] [Код]
Liuhao Ge, Hui Liang, Junsong Yuan, Daniel Thalmann
• DeepHand: надежная оценка позы руки путем заполнения матрицы, вмененной с глубокими характеристиками. [PDF] [Проект]
Аян Синха *, Чихо Чой *, Картик Рамани
• Эффективное создание трехмерных тренировочных данных для оценки правильной позы руки. [PDF] [Проект] [Код]
Маркус Обервегер, Гернот Риглер, Поль Вольхарт, Винсент Лепетит
• Устанавливается как перчатка: быстрое и надежное изменение формы руки.[PDF] [Проект]
Дэвид Джозеф Тан, Томас Кэшман, Джонатан Тейлор, Эндрю Фицгиббон, Дэниел Тарлоу, Самех Хамис, Шахрам Изади, Джейми Шоттон
[вверх]
2016 прочие
• [2016 NIPS] DISCO Nets: сети коэффициентов несходства. [PDF] [Проект] [Код]
Дайан Бушакур, М. Паван Кумар, Себастьян Новозин
• [2016 ACCV] Регрессия позы руки с помощью подхода, основанного на классификации. [PDF]
Hongwei Yang, Juyong Zhang
• [2016 ICPR] Глубокое обучение для интегрированного обнаружения рук и оценки позы.[PDF]
Цзы-Ян Чен, Мин-Ю Ву, Ю-Синь Се, Ли-Чен Фу
• [2016 ICPR] Трехмерное отслеживание позы руки на основе глубины. [PDF]
Kha Gia Quach, Chi Nhan Duong, Khoa Luu и Tien D. Bui.
• [2016 IJCAI] Оценка позы глубокой руки на основе модели. [PDF] [Проект] [Код]
Xingyi Zhou, Qingfu Wan, Wei Zhang, Xiangyang Xue, Yichen Wei
• [SIGGRAPH 2016] Эффективное и точное интерактивное отслеживание рук через сустав, непрерывную оптимизацию позы и соответствий.[PDF]
Джонатан Тейлор и др.
• [SIGGRAPH Asia, 2016] Сферические сетки для моделирования и отслеживания рук в реальном времени. [PDF] [Проект] [Код]
Анастасия Ткач, Марк Паули, Андреа Тальясакки
[вверх]
2015 ICCV
• Тренировка обратной связи для оценки позы руки. [PDF] [Проект]
Маркус Обервегер, Пол Вольхарт, Винсент Лепетит
• Открытие черного ящика: оптимизация иерархической выборки для оценки позы руки человека.[PDF]
Данханг Тан, Джонатан Тейлор, Пушмит Кохли, Джем Кескин, Тэ-Гюн Ким, Джейми Шоттон
• Оценка позы руки на основе глубины: данные, методы и проблемы. [PDF] [Проект] [Код]
Джеймс Супанчич III, Дева Раманан, Грегори Роджез, Йи Ян, Джейми Шоттон
• Трехмерная оценка позы руки с использованием леса случайных решений с индексными точками сегментации. [PDF]
Peiyi Li, Haibin Ling
• Подход с совместной фильтрацией для оценки позы руки в реальном времени.[PDF] [Проект]
Чихо Чой, Аян Синха, Джун Хи Чой, Суджин Чан, Картик Рамани
• Протянуть руку: обнаружение рук и распознавание действий в сложных эгоцентрических взаимодействиях. [PDF]
Свен Бамбах, Стефан Ли, Дэвид Крэндалл, Чен Ю
• Основные сведения о повседневных руках в действии по изображениям RGB-D. [PDF]
Грегори Роджез, Джеймс Супанчич III, Дева Раманан
[вверх]
2015 CVPR
• Каскадная регрессия позы руки.[PDF]
Сяо Сунь, Ичэнь Вэй, Шуан Лян, Сяоу Тан и Цзянь Сунь
• Быстрое и надежное отслеживание рук с помощью оптимизации на основе обнаружения. [PDF] [Проект]
Шринатх Шридхар, Франциска Мюллер, Антти Уласвирта, Кристиан Теобальт
• Изучение эффективной модели изменения формы руки по изображениям глубины. [PDF]
Самех Хамис, Джонатан Тейлор, Джейми Шоттон, Джем Кескин, Шахрам Изади, Эндрю Фицгиббон
[вверх]
2015 Прочие
• [2015 BMVC] Гибридная однократная трехмерная оценка позы руки с использованием неопределенностей.[PDF] [Проект]
Георг Пойер, Константинос Родитакис, Самуэль Шультер, Дамьен Мишель, Хорст Бишоф и Антонис А. Аргирос
• [2015 BMVC] Практическое правило: глубокая дераотация для улучшения обнаружения кончиков пальцев. [PDF] [Проект]
Аарон Ветцлер, Рон Слоссберг и Рон Киммел
• [2015 CHI] Точное, надежное и гибкое отслеживание рук в реальном времени. [PDF] [Проект]
Тоби Шарп, Джем Кескин, Дункан Робертсон, Джонатан Тейлор, Джейми Шоттон, Дэвид Ким, Кристоф Риманн, Идо Лейхтер, Алон Винников, Ичен Вей, Дэниел Фридман, Пушмит Кохли, Эял Крупка, Эндрю Фицгиббони 9000 9000
• [2015 CVWW] Глубокое обучение для оценки позы рук.[PDF] [Проект] [Код]
Маркус Обервегер, Пол Вольхарт, Винсент Лепетит
• [2015 FG] Сочетание дискриминирующего и модельного подходов для оценки положения рук. [PDF] [Проект]
Филип Крейов, Эндрю Гилберт, Ричард Боуден
• [2015 SGP] Надежный шарнирно-сочлененный ICP для отслеживания рук в реальном времени. [PDF] [Проект] [Код]
Анастасия Ткач, Марк Паули, Андреа Тальясакки
[вверх]
2014 CVPR
• Надежное отслеживание рук с глубины в реальном времени.[PDF] [Проект]
Чэнь Цянь, Сяо Сунь, Ичэнь Вэй, Сяоу Тан и Цзянь Сунь
• Лес латентной регрессии: структурированная оценка трехмерной позы сочлененной руки. [PDF] [Проект]
Danhang Tang, Hyung Jin Chang, Alykhan Tejani, T-K. Ким
• Индивидуальное моделирование рук на основе глубинных последовательностей монокуляра. [PDF] [Проект]
Джонатан Тейлор, Ричард Стеббинг, Варун Рамакришна, Джем Кескин, Джейми Шоттон, Шахрам Изади, Аарон Герцманн, Эндрю Фицгиббон
• Эволюционный квазислучайный поиск для отслеживания суставов рук.[PDF] [Проект]
Ясон Ойкономидис, Манолис И.А. Луракис, Антонис А Аргирос
[вверх]
2014 Другое и до
• [SIGGRAPH 2014] Непрерывное восстановление позы рук человека в реальном времени с помощью сверточных сетей. [PDF] [Проект]
Джонатан Томпсон, Мерфи Штайн, Ян Лекун и Кен Перлин
• [2013 ICCV] Оценка положения шарнирной руки в реальном времени с использованием полууправляемых трансдуктивных регрессионных лесов.[PDF] [Проект]
Danhang Tang, Tsz Ho Yu и T-K. Ким
• [2013 ICCV] Интерактивное отслеживание движений шарнирной руки без маркеров с использованием данных RGB и глубины. [PDF] [Проект]
Шринатх Шридхар, Антти Уласвирта, Кристиан Теобальт
• [2013 ICCV] Эффективная оценка положения руки по одному изображению глубины. [PDF] [Проект]
Чи Сюй, Ли Ченг
• [2012 ECCV] Захват движений рук в действии с использованием отличительных особенностей.[PDF] [Проект]
Баллан, Л. и Танежа, А., Галл, Дж. И ван Гул, Л. и Поллефейс, М.
• [2012 ECCV] Оценка позы руки и классификация формы руки с использованием многоуровневых рандомизированных лесов решений.
Cem KeskinFurkan, KıraçYunus Emre, KaraLale Akarun
• [2011 CVPRW] Оценка положения руки в реальном времени с использованием датчиков глубины. [PDF]
Джем Кескин, Фуркан Кирак, Юнус Эмре Кара, Лале Акарун
• [2011 BMVC] Эффективное трехмерное отслеживание суставов руки на основе моделей с помощью Kinect.[PDF] [Проект] [Код]
Ясон Ойкономидис, Николаос Кириазис, Антонис А. Аргирос
[вверх]
Тезисов
• [2020] Обучение без маркировки для оценки позы руки в 3D. [PDF]
Георг Пойер, Технологический университет Граца
• [2018] Вычислительное обучение для оценки положения руки. [PDF]
Чихо Чой, Университет Пердью
• [2018] 3D-оценка позы руки: методы, наборы данных и проблемы.[PDF]
Шаньсинь Юань, Имперский колледж Лондона
• [2018] 3D-оценка позы руки с использованием сверточных нейронных сетей. [PDF]
Ци Е, Имперский колледж Лондона
• [2018] 3D-оценка позы руки по изображениям для интерактивных приложений. [PDF]
Маркус Обервегер, Технологический университет Граца
• [2018] Оценка позы человека в неограниченных изображениях и видео. [PDF]
Умар Икбал, Боннский университет
• [2018] Генеративное моделирование рук и отслеживание в реальном времени.[PDF]
Анастасия Ткач, ЕПФЛ
• [2018] Восстановление трехмерного виртуального человека: монокулярная оценка трехмерной формы и позы с использованием априорных точек, управляемых данными. [PDF] [Проект]
Endri Dibra, ETH Zürich
• [2017] Сегментация человека, оценка позы и приложения. [PDF] [Слайды]
Мейсам Мадади, Автономный университет Барселонато
• [2017] Захват взаимодействия рук и объектов и реконструкция объектов, которыми манипулируют.[PDF] [Проект]
Димитриос Ционас, Боннский университет
• [2016] Отслеживание рук в действии для компьютерного ввода на основе жестов. [PDF]
Шринат Шридхар, Институт информатики Макса Планка
• [2016] Трехмерная регрессия позы руки с вариантами лесов решений. [PDF] [Проект]
Danhang Tang, Имперский колледж Лондона
• [2016] Глубокое обучение для анализа движений человека. [PDF] [Проект]
Наталья Неверова, Национальный институт прикладных наук (INSA de Lyon), Франция
• [2016] Оценка позы руки в реальном времени при взаимодействии человека с компьютером.[PDF] [Проект]
Филип Крейов, Университет Суррея
• [2015] Эффективное отслеживание трехмерных движений рук человека. [PDF]
Ясон Ойкономидис, Университет Крита
• [2015] Оценка позы руки и распознавание жестов на основе зрения. [PDF]
Хуэй Лян, Наньянский технологический университет
• [2015] Локализация людей в изображениях с помощью сверточных сетей. [PDF]
Джонатан Томпсон, Нью-Йоркский университет
[вверх]
Наборы данных
- S / R: синтетический (S), настоящий (R) или оба (B)
- C / D: цвет (RGB) или глубина (D)
- Obj: Взаимодействие с объектами или нет
- #J: Нет.стыков или сетка (M)
- В: взгляд (3-й или эгоцентрический)
- #S: Количество предметов
- #F: Количество кадров (поезд / тест)
- Сетка: аннотации к сетке
Глубина
RGB + глубина
RGB
Кредиты:
- [1] Тест Big Hand 2.2M: набор данных по позе руки и современный анализ, CVPR 2017 [PDF]
- [2] Оценка позы руки на основе глубины: методы, данные и проблемы, ICCV 2015 Ссылка
- [3] Захват взаимодействия рук и объектов и реконструкция объектов, которыми манипулируют, IJCV 2016 [PDF]
- [4] MPI Hand Tracking Central
[вверх]
Мастерские
[1]
Семинары по наблюдению и пониманию рук в действии:• HANDS 2019, совместно с ICCV 2019
• HANDS 2018, совместно с ECCV 2018
- HANDS18: Методы, методы и приложения для наблюдения за руками.[PDF]
• HANDS 2017, совместно с ICCV 2017
- Трехмерная оценка позы руки на основе глубины: от текущих достижений к будущим целям. [PDF]
• HANDS 2016, в сочетании с CVPR 2016
• HANDS 2015, в сочетании с CVPR 2015
[2]
Мастер-классы по съемке и моделированию человеческих тел, лиц и рук:• PeopleCap 2018, совместно с ECCV 2018
• PeopleCap 2017, совместно с ICCV 2017
[вверх]
Вызовы
[1] HANDS19 Challenge
РУК 2019, ICCV 2019
[2] Конкурс «Руки на миллион» по оценке позы руки в 3D в 2017 году
РУК 2017, ICCV 2017
[вверх]
Прочие статьи по теме
• [arXiv 2011.07252] Ego2Hands: набор данных для эгоцентрической двуручной сегментации и обнаружения. [PDF] [Код]
Fanqing Lin, Тони Мартинес
• [2020 IJCV] Изучение оптического потока с участием нескольких людей. [PDF] [Проект] [Код]
Анураг Ранджан, Дэвид Т. Хоффманн, Димитриос Ционас, Сию Тан, Хавьер Ромеро и Майкл Дж. Блэк
• [2019 ICCV] Контекстное внимание для обнаружения рук в дикой природе. [PDF] [Проект] [Код]
Supreeth Narasimhaswamy *, Zhengwei Wei *, Yang Wang, Justin Zhang, Minh Hoai
• [SIGGRAPH 2018] Онлайн-отслеживание рук на основе оптических маркеров с глубокими этикетками.[PDF] [Код]
Shangchen Han, Beibei Liu, Robert Wang, Yuting Ye, Christopher D. Twigg, Kenrick Kin
• [2018 CVPRW] HandyNet: универсальное решение для обнаружения, сегментации, локализации и анализа рук водителя. [PDF] [Код]
Акшай Рангеш, Мохан М. Триведи
• [2018 CVPR] DensePose: оценка плотной позы человека в дикой природе. [PDF] [Проект] [Код]
Риза Альп Гюлер, Наталья Неверова, Ясонас Коккинос
• [2018 CVPR] Анализ сегментации рук в дикой природе.[PDF] [Код]
Айша Урудж Хан, Али Борджи
• [2018 CVPR] Total Capture: 3D-модель деформации для отслеживания лиц, рук и тел. [PDF] [Проект]
(Награда за лучшую студенческую работу CVPR)Ханбёль Джу, Томас Симон, Ясер Шейх
• [2017 CVPR] SurfNet: создание трехмерных поверхностей с использованием глубоких остаточных сетей. [PDF]
Аян Синха, Асим Унмеш, Цисин Хуанг, Картик Рамани
• [2017 CVPR] Обучение на смоделированных и неконтролируемых изображениях с помощью состязательного обучения.[PDF] [Проект] [Code-Tensorflow] [Code-Keras] [Code-Tensorflow-NYU-Hand]
(Награда за лучшую работу CVPR)Ашиш Шривастава, Томас Пфистер, Ондел Тузель, Джош Сасскинд, Венда Ван, Расс Уэбб
• [2016 3DV] Учимся ориентироваться в энергетическом ландшафте. [PDF] [Проект]
Жюльен Валентин, Анжела Дай, Матиас Нисснер, Пушмит Кохли, Филип Х.С. Торр, Шахрам Изади
• [2015 ICCV] Реконструкция 3D-объекта на основе взаимодействий рук и объектов.[PDF] [Проект]
Димитриос Ционас и Юрген Галль
[вверх]
Внести вклад
Взносы приветствуются! Сначала прочтите руководство по взносам.
Не стесняйтесь присылать запросы, открывать вопросы или отправлять мне электронные письма ([email protected]), чтобы добавить отличные статьи.
Лицензия
Насколько это возможно в соответствии с законом, xinghaochen отказался от всех авторских прав и смежные или смежные права на это произведение.
Обнаружение тела и позы руки с помощью Vision — WWDC20 — Видео
Скачать
♪ Здравствуйте и добро пожаловать на WWDC.
Бретт Китинг: Всем привет. Меня зовут Бретт Китинг.
Надеюсь, вам всем нравится WWDC 2020.
Давайте продолжим ваше путешествие и поговорим о некоторых новых API в Vision в этом году.
Давайте узнаем все о том, как получить позу тела и руки с помощью системы Vision.
Одна из основных тем концепции Vision — это то, как ее можно использовать, чтобы помочь вам понять людей в ваших визуальных данных.
Когда впервые была представлена платформа Vision, она поставлялась с новым детектором лиц, основанным на технологии глубокого обучения.
И с тех пор он был улучшен второй версией, которая могла обнаруживать перевернутые лица.
Также с дебютом Vision было добавлено обнаружение ориентиров по лицу, которое также улучшилось в новых версиях.
В прошлом году мы начали предлагать вам новый, более богатый набор ориентиров, по которым можно определить местонахождение учеников.
Также новинка прошлого года — обнаружение человеческого торса.
А теперь я рад показать вам, что нового в теме People for Vision framework в этом году.
Мы предоставим позу рук и позу человеческого тела из фреймворка Vision.
Начнем с позы руки.
Поза руки может иметь множество интересных применений.
Надеюсь, вы согласитесь и найдете удивительные способы воспользоваться этим.
Посмотрите, насколько хорошо это работает, на видео, где ребенок играет на гавайской гитаре.
Давайте рассмотрим несколько примеров того, что можно сделать с помощью позы руки.
Возможно, ваша миссия как разработчика — избавить мир от селфи-палочек.
Платформа Vision теперь может помочь с оценкой позы руки.
Если вы разрабатываете свое приложение для поиска определенных жестов для запуска фотосъемки, вы можете создать опыт, подобный тому, что сделал здесь мой коллега Сяосиа Сунь.
Может быть, вы хотели бы иметь возможность накладывать забавную графику на руки, как многие разработчики уже сделали с лицами.
В своем приложении вы можете смотреть на позы рук, которые предлагает вам Vision, и если вы напишете код для их классификации, вы можете наложить смайлики или любой другой вид графики, который вы выберете, на основе найденных жестов.
Так как же использовать Vision для этого? Как мы и обещали с самого начала, все запросы нашего алгоритма обычно следуют тому же шаблону, что и другие.
Первым шагом является создание обработчика запросов.
Здесь мы используем ImageRequestHandler.
Следующим шагом будет создание запроса.
В этом случае используйте VNDetectHumanHandPoseRequest.
Следующим шагом является предоставление запроса обработчику посредством вызова performRequests.
После успешного завершения у вас будут свои наблюдения в свойстве результатов запросов.
В этом случае возвращаются VNRecognizedPointsObservation.
Наблюдения содержат местоположения всех найденных ориентиров для руки.
Они представлены в новых классах, предназначенных для представления 2D точек.
Эти классы образуют иерархию наследования.
Если используемый вами алгоритм возвращает только местоположение, вам будет предоставлена VNPoint.
VNPoint содержит местоположение CGPoint, и при желании можно получить прямой доступ к координатам X и Y этих местоположений.
Координаты используют то же нижнее левое начало, что и другие алгоритмы Vision, и также возвращаются в нормализованные координаты относительно размеров вашего изображения в пикселях.
Если используемый вами алгоритм также связан с доверием, вы получите объекты VNDetectedPoint.
Наконец, если алгоритм также маркирует точки, вы получите объекты VNRecognizedPoint.
Для позы руки возвращаются объекты VNRecognizedPoint.
Вот как вы получаете доступ к этим точкам из наблюдения позы руки.
Сначала вы запросите словарь ориентиров, вызвав .recognizedPoints (forGroupKey: по наблюдению.
Я расскажу более подробно о групповых ключах через минуту, но знайте, что если вам нужны все точки, вы будете использовать VNRecognizedPointGroupKeyAll .
Мы предоставляем другие ключи VNRecognizedPointGroupKeys, например, только для тех точек, которые являются частью указательного пальца, и вы можете получить доступ к ориентирам, перебирая их.
Или, как в этом примере, получите доступ к конкретному ключу для кончика указательного пальца, указав его VNRecognizedPointKey.
Здесь я показываю вам краткий обзор возвращаемых ориентиров рук.
По четыре для каждого пальца и большого пальца и по одному для запястья, всего двадцать один ориентир руки.
Как я только что упомянул, в этом году у нас появился новый тип, который называется VNRecognizedPointGroupKey.
Каждый из ручных ориентиров принадлежит хотя бы к одной из этих групп.
Вот определение групповой клавиши для указательного пальца, и вот ориентиры, которые содержатся в этой группе, визуально отображаются на руке.
Кроме того, в примере кода, показанном ранее, я показал вам один из ключей VNRecognizedPointKey, который вы можете использовать для извлечения кончика указательного пальца.
Давайте посмотрим, как это выглядит для остальных частей пальца.
Спускаясь к руке, первый сустав — это дистальный межфаланговый сустав, который мы сокращаем как DIP.
Обратите внимание, что тип VNRecognizedPointKey использует это сокращение, чтобы отличить себя.
Следующим суставом является проксимальный межфаланговый сустав, который мы сокращаем как PIP.
Наконец, у основания пальцев находится пястно-фаланговый сустав, который для пальцев мы сокращаем как MCP.
Все эти четыре точки, которые я упомянул, можно восстановить с помощью клавиши группы указательных пальцев.
Шаблон повторяется для каждого пальца.
В качестве примера приведем групповую клавишу и соответствующие клавиши ориентиров для безымянного пальца.
Большой палец немного другой.
Большой палец также имеет кончик.
Первый сустав — это межфаланговый сустав, который мы сокращаем как IP.
Следующий сустав — пястно-фаланговый сустав, который для больших пальцев мы сокращаем как MP.
Следующий сустав большого пальца — запястно-пястный сустав, сокращенно CMC.
Ниже для справки показаны соответствующие групповые клавиши и клавиши ориентиров для большого пальца, которые контрастируют с тем, что мы предоставляем для пальцев.
И еще есть основание запястья, у которого тоже есть свой ориентир.
Ориентир на запястье находится в центре запястья и не является частью какой-либо группы, кроме всей группы.
Другими словами, это не часть какой-либо группы пальцев или больших пальцев.
В сочетании с ориентирами для пальцев и больших пальцев это образует набор ориентиров, которые мы определяем для рук.
Теперь позвольте мне показать вам наш пример приложения для позы руки.
Итак, в этом примере я рисую на экране рукой.
Когда мои пальцы сложены вместе, я начинаю рисовать.
И здесь я использую это, чтобы написать слово «привет».
И все! Итак, давайте посмотрим, как это выглядит в коде.
Здесь я собираюсь начать с CameraViewController в нашем выводе захвата, где мы получаем CMSampleBuffers из потока камеры.
Первое, что мы делаем, это создаем VNImageRequestHandler, используя этот образец буфера.
Затем мы используем этот обработчик для выполнения нашего запроса.
Наш запрос — это запрос VNDetectHumanHandPoseRequest.
Если мы найдем руку, мы получим результат наблюдения, и из этого наблюдения мы сможем получить точки большого и указательного пальцев, используя их VNRecognizedPointGroupKey, вызывая признанные точки (forGroupKey.
С этими коллекциями мы можем посмотреть для кончиков пальцев и кончиков большого пальца, и мы делаем это здесь.
Мы игнорируем любые точки низкой достоверности, а затем в конце этого раздела мы конвертируем точки из координат Vision в координаты AVfoundation.
Единственное, на что я хочу обратить ваше внимание, это то, что мы создали отдельную очередь для обработки этих точек.
Итак, перейдем к processPoints.
Здесь мы просто проверяем, ничего ли не происходит; если так, мы сбрасываем.
В противном случае мы конвертируем наши точки большого пальца и указателя в координаты AVfoundation здесь.
Затем обрабатываем эти точки.
У нас есть еще один класс, который называется gestureProcessor, и в нем мы вызываем processPointsPair.
Итак, здесь, в processPointsPair, мы смотрим на расстояние между кончиком указательного пальца и кончиком большого пальца.
Если расстояние меньше порогового значения, то мы начинаем накапливать доказательства того, находимся ли мы в состоянии защемления или в возможном состоянии защемления.
Порог, который у нас есть, равен 40, и сколько доказательств нам требуется, это три кадра одного и того же состояния защемления.
Итак, как только мы собрали три кадра состояния сжатия, мы переходим от возможного состояния сжатия к состоянию сжатия.
То же самое проделываем и для обособленного состояния.
Если пальцы не достигают порога, мы рассматриваем их отдельно.
Пока мы не накопим достаточно доказательств, мы находимся в возможном обособленном состоянии.
Когда у нас будет достаточно доказательств, мы переходим в состояние обособленности.
Возвращаясь к файлу CameraViewController, эти изменения состояния обрабатываются в handleGestureStateChange.
Здесь мы смотрим, в каком случае мы находимся.
Если мы находимся в состоянии возможного ущемления или возможного обособления, мы хотим отслеживать точки, которые мы нашли, чтобы позже решить, будем ли мы хотите их нарисовать или нет.
И мы собираем их здесь.
Если в конечном итоге мы оказываемся в состоянии защемления, мы продолжаем и рисуем эти точки.
Как только мы их нарисовали, мы можем удалить их из нашего буфера доказательств, а затем продолжить рисование.
Если мы окажемся в разъединенном состоянии, мы не будем рисовать эти точки; мы все равно удалим все эти точки из нашего буфера доказательств.
Но затем мы обновим путь до последней точки и укажем, что с логическим значением isLastPointsPair установлено значение true.
И последнее, что я хотел бы упомянуть в этом примере, это то, что мы также настроили обработчик жестов, который ищет двойное касание для очистки экрана.
Вот как вы используете наш пример позы руки, чтобы использовать Visual framework для рисования на экране рукой.
Vision предоставляет пару дополнительных вещей в API, о которых вы должны знать, которые предназначены для того, чтобы иметь дело с тем фактом, что на сцене может быть много рук.
Возможно, вас интересуют только одна или две самые большие руки в сцене и вы не хотите, чтобы результаты возвращались для каких-либо более мелких рук, найденных на заднем плане.
Вы можете контролировать это, указав в запросе maximumHandCount.
По умолчанию два.
Поэтому, если вам нужно больше двух, важно настроить этот параметр.
Предположим, вы хотите, чтобы все обнаруженные руки не были слишком размытыми или закрытыми.
Вы можете установить это значение настолько высоко, насколько хотите, но знайте, что установка этого параметра на большое число будет иметь влияние на задержку, потому что поза будет генерироваться для каждой обнаруженной руки.
Если для параметра установлено меньшее значение, поза не будет вычисляться для любых рук, обнаруженных за пределами запрошенного максимального значения, что может помочь в производительности.
Поэтому рекомендуется настраивать этот параметр в соответствии с потребностями вашего приложения с учетом производительности.
При использовании позы руки в Vision может помочь воспользоваться VNTrackObjectRequest.
VNTrackObjectRequest потенциально полезен при ручном анализе по двум причинам.
Во-первых, если все, что вы хотите сделать, это отслеживать положение рук и меньше заботиться о позе, вы можете использовать запрос позы руки, чтобы найти руки, а затем использовать VNTrackObjectRequest с этого момента, чтобы знать, куда движутся руки. .
Во-вторых, если вы хотите более точно определять, какая рука какая, вам может помочь запрос на отслеживание.
Устройство отслеживания зрения хорошо поддерживает идентификаторы объектов, когда объекты уходят за пределы экрана или временно закрываются.
Для получения дополнительной информации о трекере объектов, пожалуйста, ознакомьтесь с нашим сеансом WWDC по этому вопросу с 2018 года.
Я уверен, что вы уже полностью продали позу и не можете дождаться начала внедрения приложений вы уже начали мечтать.
Но прежде чем вы это сделаете, следует помнить о некоторых аспектах точности.
Руки у краев экрана будут частично закрыты, и поза руки не гарантирует правильной работы в таких ситуациях.
Кроме того, у алгоритма могут возникнуть трудности с руками, параллельными направлению обзора камеры, как на изображении этого вертолета для карате.
Руки в перчатках также иногда могут вызывать затруднения.
Наконец, алгоритм иногда определяет ноги как руки.
При разработке приложения полезно помнить обо всех этих предостережениях, которые могут включать инструкции для пользователей, чтобы максимально использовать возможности, которые вы планируете им предоставить.
И это поза руки.
Давайте теперь обсудим позу человека в Vision.
Новинка этого года Vision предоставляет вам возможность анализировать позы многих людей одновременно, как показано в этом видео.
Итак, как и в случае с позой рук, давайте рассмотрим некоторые интересные идеи для приложений, которые вы можете разработать с помощью позы тела.
Как насчет того, чтобы делать снимки лучше? Если у вас есть доступная поза тела, вы можете определить интересные части действия, например, вершину этого прыжка.
Это, наверное, самый интересный кадр в этой последовательности.
Или создание снимков стромоции.
Здесь мы используем позу человека, чтобы найти кадры, в которых баскетболист не пересекается с самим собой, и мы можем создать это круто выглядящее изображение.
Просмотр позы тела для работы и безопасности может быть интересен для вашей области применения.
Возможно, это поможет с обучением правильной эргономике.
Поза человеческого тела также может использоваться как часть другой новой функции в этом году: классификация действий с помощью CreateML.
Может быть, вы хотели бы создать фитнес-приложения, которые классифицировали бы спортсмена как выполняющего ожидаемое действие, например, этого человека, выполняющего прыжки.
Или, возможно, вы хотите знать, добились ли эти дети каких-либо успехов в попытках того, что по праву считается танцем.
Эта технология использовалась в приложении Action and Vision.
Итак, посмотрите сеанс, посвященный этому, чтобы получить более подробное представление о том, как собрать все вместе в действительно крутое приложение.
Для анализа изображений позы человеческого тела поток очень похож на позу руки.
Как и при любом использовании Vision, первое, что нужно сделать, — это создать обработчик запросов.
Следующим шагом является создание VNDetectHumanBodyPoseRequest, а затем использование обработчика запросов для выполнения запросов.
Разница между этим примером и примером позы руки в том, что мы используем слово «тело» вместо «рука», и все.
Взгляд на ориентиры также аналогичен позе руки.
Получение всех точек выполняется точно так же, вызывая признанные точки (forGroupKey с VNRecognizedPointGroupKeyAll, или вы можете получить определенную группу ориентиров, как мы делаем здесь для левой руки.
Затем вы можете запросить конкретный ориентир, key, как мы это делаем здесь, чтобы получить ориентир на левом запястье
Давайте пройдемся по ориентирам человеческого тела
Для каждой группы есть ключи VNRecognizedPointGroupKeys, и здесь мы начнем с лица.
Значения VNRecognizedPointKey для лица включают нос, левый и правый глаз, а также левое и правое ухо.
Давайте теперь посмотрим на группу правой руки.
Обратите внимание, что это правая рука объекта, а не та, которая находится в правой части изображения.
В этой группе есть три ориентира: плечо, локоть и запястье.
Левая рука подопытного также имеет группу для плеча, локтя и запястья с соответствующими клавишами, перечисленными здесь.
Далее торс.
Обратите внимание, что он также содержит плечи.
Итак, ориентиры на плечах появляются более чем в одной группе.
Также имеется шейная точка между плечами, левым и правым тазобедренными суставами и корневой сустав между двумя тазобедренными суставами.
Далее идет правая нога испытуемого; обратите внимание, что тазобедренные суставы появляются как в группе туловища, так и в каждой группе ног.
Также в группе ног находятся ориентиры колена и лодыжки.
И, наконец, то же самое с левой ногой: ориентир бедра, колена и щиколотки.
Есть некоторые ограничения, о которых следует помнить в отношении позы тела в Vision.
Если люди на сцене согнуты или перевернуты, алгоритм позы тела не сработает.
Также поза не может быть определена из-за мешающих движений одежды.
Также, как вы могли заметить в примере с танцами, если один человек частично закрывает другого в поле зрения, алгоритм может запутаться.
Как и в позе руки, результаты могут ухудшиться, если объект находится близко к краям экрана.
И, наконец, те же соображения, которые применялись к позе руки для отслеживания, также применимы к позе тела.
Как вы, возможно, знаете, Vision — не первая платформа в наших SDK, предлагающая анализ позы тела.
С прошлого года ARKit предоставляет разработчикам позу тела в контексте сеанса дополненной реальности.
Здесь мы противопоставляем это деление и то, когда имеет смысл использовать одно по сравнению с другим.
В любом случае вы получите тот же набор ориентиров, но Vision предоставляет значение достоверности для каждой точки, а ARKit — нет.
В целом, Vision framework может использоваться для неподвижных изображений или изображений с камеры.
Таким образом, как и все остальное, что предлагает Vision, позу человеческого тела из Vision можно использовать в автономном режиме для анализа целых библиотек изображений.
Решение ARKit разработано для приложений захвата движения в реальном времени.
Кроме того, из-за своего конкретного варианта использования позу тела ARKit можно использовать только с камерой, обращенной назад, в сеансе AR на поддерживаемых устройствах iOS и iPadOS.
API Vision можно использовать на всех поддерживаемых платформах, кроме часов.
Идея предоставления этого API через Vision заключается в том, чтобы сделать доступной технологию позы тела Apple вне сеанса ARKit.
Однако для большинства случаев использования ARKit, особенно для захвата движения, вы должны использовать ARKit для получения информации о позе тела.
Как упоминалось ранее в этом обсуждении, вы можете использовать позу тела в сочетании с CreateML для классификации действий.
Давайте рассмотрим пару советов, как лучше всего тренировать классификатор действий с данными позы тела.
Если вы используете видео непосредственно для тренировки, вы должны понимать, что Vision будет использоваться для создания поз тела от вашего имени.
Если в видео несколько тем, то по умолчанию будет использоваться самый крупный из них.
Чтобы избежать применения этого поведения по умолчанию к обучающим видео, лучше всего убедиться, что в кадре находится только интересующий объект.
Вы можете сделать это, обрезав свои обучающие видео так, чтобы присутствовал только один актер.
Если вы не используете видео, вы также можете использовать буферы ML MultiArray, полученные из метода MultiArray ключевых точек Vision.
С помощью этого метода вы точно контролируете, какие позы тела используются для тренировки.
Поскольку Vision используется во время обучения, его также следует использовать для вывода.
Попытка использовать позу тела ARKit в качестве входных данных для модели, обученной с помощью поз тела Vision, приведет к неопределенным результатам.
Наконец, имейте в виду, что как только вы дойдете до выполнения логического вывода, вам нужно будет обратить внимание на задержку на старых устройствах.
В то время как новейшие и самые лучшие устройства могут не отставать от потока камеры при выполнении логического вывода для классификации действий, более старые устройства этого не делают.
Предположим, это ваша последовательность изображений.
Вы все равно захотите получать позу тела для каждого кадра, потому что классификаторы будут ожидать, что позы тела будут дискретизированы с такой частотой.
Но не забывайте слишком долго держаться за буферы камеры.
В противном случае вы можете заморозить поток.
Но ваше приложение будет работать лучше, особенно на старых моделях устройств, если вы разберете выводы классификации.
Распознавание действия за доли секунды в большинстве случаев происходит довольно быстро, поэтому делать выводы всего несколько раз в секунду должно быть нормально.
Пример Action and Vision — отличный пример того, как использовать Vision и CreateML для классификации человеческих действий.
Вот небольшой демонстрационный ролик примера Action and Vision в действии.
В этом ролике мы видим, как мой коллега Фрэнк кидает мешки с фасолью в доску для кукурузной кукурузы.
Он подбрасывает пакеты, используя несколько различных техник, которые классифицируются в приложении с помощью CreateML.
Итак, давайте посмотрим на код в примере Action and Vision, чтобы увидеть, как это делается.
Начнем с GameViewController.
Здесь, в cameraViewController, мы получаем наши CMSampleBuffers от камеры и передаем их обработчику запроса изображения здесь.
Позже мы используем этот обработчик запроса изображения для выполнения нашего запроса.
Вот это VNDetectHumanBodyPoseRequest.
Если мы получили результат, то вызываем humanBoundingBox.
Давайте зайдем в humanBoundingBox и посмотрим, что он делает.
В humanBoundingBox мы пытаемся найти человеческую ограничивающую рамку вокруг человека.
Начнем с того, что извлечем все точки из наблюдения, вызвав acceptPoints forGroupKey all.
Затем мы можем перебрать все точки здесь.
Мы смотрим здесь, чтобы убедиться, что точка достаточно уверена, и если да, мы добавляем ее в наш normalizedBoundingBox.
Здесь мы делаем что-то, где мы пытаемся найти суставы тела для правой стороны тела, чтобы мы могли наложить их на экран.
Но поскольку мы говорим о классификации действий, я пока пропущу это.
Позже мы сохраним эти наблюдения.
Давайте посмотрим, что происходит в storeObservation и почему мы это делаем.
В storeObservation у нас есть буфер наблюдений, который мы называем позойObservation.
Мы собираемся использовать это как кольцевой буфер.
Если этот буфер заполнен, мы удалим первый.
В любом случае мы добавим следующий.
Мы используем это позже, когда обнаруживается бросок.
Бросок обнаруживается, когда анализ траектории обнаруживает бросок, а затем мы вызываем эту функцию getLastThrowType, чтобы узнать, какой был сделан бросок.
Мы собираемся использовать для этого наш actionClassifier, но нам нужно поместить все наши наблюдения в правильный формат.
Итак, мы вызовем prepareInputWithObservations, чтобы сделать это.
Давайте посмотрим, что делает эта функция.
В prepareInputWithObservations мы видим, что нам нужно 60 наблюдений, и нам нужно поместить их в multiArrayBuffer типа MLMultiArray.
Здесь, в этом цикле, мы перебираем все наблюдения, которые есть в нашем буфере, и для каждого наблюдения мы вызываем keypointsMultiArray и помещаем его в наш буфер.
Если у нас нет 60, мы добавляем нули.
Обратите внимание на ожидаемую форму MLMultiArray и тип данных.
Затем мы объединяем их и возвращаем.
Возвращаясь к getLastThrowType, мы предоставляем этот ввод в PlayerActionClassifierInput, который является нашим поставщиком функций машинного обучения.
Получив это, мы передаем его нашему классификатору действий, вызывая прогноз с вводом.
Затем, получив результат, мы просматриваем все вероятности, чтобы увидеть, какая из возможностей наиболее вероятна.
Затем мы возвращаем тип выброса, который соответствует этой максимальной вероятности.
Вот как вы делаете классификацию действий, используя позу тела из Vision framework.
Теперь, когда вы поближе познакомились с кодом приложения Action and Vision для позы тела, поздравляем! Наряду со всем остальным, чему вы научились на этом занятии, вы готовы создавать потрясающие приложения.
Приложения, которые делают больше, когда дело доходит до анализа людей с компьютерным зрением с помощью инфраструктуры Vision.
И это поза рук и тела в Vision.
Хорошо провести время, продолжая ваше путешествие по WWDC.
Оценка позы руки при взаимодействии с объектами на основе глубокого обучения для приложений виртуальной реальности
Мин-Ю Ву родился 7 сентября 1991 года. Он получил степень бакалавра наук. степень в области химического машиностроения от Национального Тайваньского университета, Тайбэй, Тайвань, в 2013 году и M.Имеет степень в области компьютерных наук и информационной инженерии Национального Тайваньского университета, Тайбэй, Тайвань, в 2017 году. Его исследовательские интересы включают область компьютерного зрения, распознавания образов и взаимодействия человека с компьютером (HCI).
Pai-Wen Ting получил степень бакалавра наук. Степень в области компьютерных наук и информационной инженерии в Национальном Тайваньском университете, Тайбэй, Тайвань, в 2016 году и получила степень магистра наук. Степень в области компьютерных наук и информационной инженерии Национального Тайваньского университета, Тайбэй, Тайвань, 2018Его исследовательские интересы включают области компьютерного зрения, распознавания образов и виртуальной реальности.
Ya-Hui Tang получил B.S. степень от Национального университета Ченг Кунг, Тайвань, в 1996 году, и M.S. Получила степень в Национальном университете Цзяо Дун, Тайвань, в 1999 году. степень в области компьютерных наук и информационной инженерии Национального Тайваньского университета, Тайбэй, Тайвань. До поступления в Тайваньский национальный университет с 2000 по 2014 год она работала инженером-программистом в IBM, Тайвань.Сферы ее научных интересов включают компьютерное зрение, распознавание образов и виртуальную реальность.
En-Te Chou получил степень бакалавра наук. степень в области электротехники и вычислительной техники в Национальном университете Цзяо Дун, Синьчжу, Тайвань, в 2017 году и степень магистра. Степень в области компьютерных наук и информационной инженерии от Национального Тайваньского университета, Тайбэй, Тайвань, в 2019 году. Его исследовательские интересы включают области компьютерного зрения, распознавания образов и виртуальной реальности.
Ли-Чен Фу получил Б.S. степень Национального Тайваньского университета, Тайвань, 1981 г., и M.S. и к.т.н. степени Калифорнийского университета в Беркли, США, в 1985 и 1987 годах соответственно. С 1987 года он присоединился к кафедре электротехники и кафедры компьютерных наук и информационной инженерии, Национальный университет Тайваня (NTU), Тайвань, R.O.C. в качестве преподавателя и был удостоен звания Заслуженного профессора в 2007 году. В настоящее время он является директором Центра искусственного интеллекта (ИИ) и передовой робототехники НТУ, а также содиректором MOST (Министерство науки и технологий) / NTU Joint Исследовательский центр технологий искусственного интеллекта и всего Vista Healthcare.На данный момент он получил множество наград, в том числе член IEEE (2004 г.) и член IFAC (2017 г.). На международном уровне он является главным редактором Азиатского журнала контроля и членом Консультативного комитета Азиатской ассоциации контроля. Его исследовательские интересы включают социальную робототехнику, умный дом, визуальное обнаружение и отслеживание, виртуальную реальность, а также теорию управления и приложения.
© 2020 Elsevier Inc. Все права защищены.
Проект оценки позы руки в 3D
Проект оценки позы руки в 3D Василис Афитсос VLM LabТрехмерная поза руки определяется углами суставов и ориентация руки.Различные конфигурации углов шарнира ведут к разным формам рук. Одна и та же форма руки может выглядеть по-разному в зависимости от его трехмерной ориентации руки. Углы сочленения в руке могут можно указать с помощью 20 параметров. Три дополнительных параметра: необходимо для трехмерной ориентации руки. Следовательно, трехмерная поза руки — это задано с использованием 23 параметров.
Рисунок 1: Три разные формы рук.Каждая форма руки соответствует различная конфигурация стыковых углов. |
Рисунок 2: Три разных вида одной формы руки. Каждый вид соответствует другой трехмерной ориентации руки. |
В этом проекте оценка позы руки в 3D формулируется как изображение. проблема индексации базы данных. Большая база синтетических изображений рук создан, содержащий изображения различных форм рук под разными 3D ориентации.Для каждого синтетического изображения система знает руку форма и трехмерная ориентация, которые использовались для его создания. Чтобы оценить 3D поза руки входного изображения, наиболее похожие изображения в базе данных извлекаются. Параметры позы руки, связанные с изображения используются в качестве оценок для позы руки во входном изображении. В изображения базы данных создаются с использованием компьютерной графики.
Рисунок 3: Система ввода и вывода.Учитывая входное изображение, система проходит через базу данных синтетических изображений, чтобы идентифицировать те, которые наиболее похожи на исходное изображение. Восемь примеров здесь показаны изображения из базы данных, и наиболее похожая из них прилагается на красной площади. Используемая в настоящее время база данных содержит более 100000 изображений. |
Создание большой базы данных
Чтобы правильно оценить позу руки на изображении, база данных должен содержать синтетическое изображение с аналогичной позой руки.Вопрос, который возникает вопрос: сколько изображений базы данных нам нужно, чтобы гарантировать что для каждой возможной позы руки будет аналогичная база данных изображение? На данный момент у нас нет ответа на этот вопрос. В ответ частично зависит от определения того, когда два изображения «похожий»; чем строже наши критерии сходства, тем нам нужно больше изображений базы данных.В нашей текущей реализации база данных включает изображения 26 рук. формы.Каждая форма руки визуализирована из 4128 различных трехмерных рук. ориентации. Всего в базе содержится 107 328 изображений. Наш выборки из 26 форм рук определенно недостаточно для захвата весь спектр возможных форм рук. С другой стороны, наша выборка трехмерных ориентаций рук представляет собой примерно однородную и плотную выборку пространства трехмерных ориентаций.
Рисунок 4: 26 форм рук, использованных для создания более 100 000 образы базы данных. |
Распознавание фиксированного количества форм рук не так широко, как распознавание произвольная 3D поза руки. Однако этого может хватить для многих жестов приложения для распознавания. Например, количество используемых основных форм рук. на американском жестовом языке (ASL) меньше 100, что означает, что наш структура применима для распознавания позы руки в контексте ASL.
Определение точных мер сходства
Учитывая входное изображение, система должна получить наиболее похожие образы базы данных.Следовательно, нам необходимо ответить на вопрос: как нам определить сходство? Нам нужно определить меры сходства, которые возвращают высокое значение сходства для изображений схожей позы руки и низкое значения сходства для изображений разных поз рук.Мы экспериментировали с несколькими разными мерами сходства: расстояние фаски, геометрические моменты, гистограммы ориентации кромок, палец сопоставление и сопоставление строк. Наши эксперименты показывают, что расстояние фаски является наиболее точной мерой подобия, но также и наиболее вычислительно дорогая мера.Текущая работа сосредоточена на разработке мер сходства. что может повысить точность и эффективность системы. Мы особенно интересен в показателях подобия, устойчивых к шуму, беспорядок и ошибки сегментации. Наш метод сопоставления линий, описанный в наша публикация CVPR 2003 года является первым результатом в этом направлении.
Достижение эффективного поиска
Для каждого входного изображения система должна оценить его сходство с все образы базы данных.Эта задача может занять очень много времени, учитывая размер базы данных. С другой стороны, чтобы система быть полезным для приложений взаимодействия человека с компьютером, поиск время нужно делать с интерактивной скоростью.Мы обнаружили, что эффективность поиска значительно повышается, если мы используем многоэтапное извлечение: сначала используйте недорогие в вычислительном отношении меры сходства (например, сопоставление пальцев и геометрические моменты), чтобы отклонить большую часть базы данных изображения, а затем используйте более точные меры сходства (например, фаска расстояние) для оценки оставшихся изображений из базы данных.Точность извлечения, на с другой стороны, это очень похоже на точность, достигаемую при применении всех меры сходства для всех изображений.
Еще одно направление, которое мы исследовали для повышения эффективности поиска, — это получение эффективных приближений вычислительно затратных меры сходства, такие как расстояние фаски. В наших GW 2003 и В публикациях CVPR 2003 мы определяем аппроксимации фаски. расстояния с помощью техники, называемой липшицевым вложением.Эти приближения идеальны для первых шагов поиска, которые определяют наиболее вероятные совпадения. Тогда точные меры могут быть применены только выбранным совпадениям, так что общая эффективность улучшен. В нашей статье CVPR 2004 года представлен метод BoostMap, общий метод построения вложений. Нанесенные на руки изображения, BoostMap значительно улучшает аппроксимацию расстояния фаски.
Статьи в Cues in Communications 2001, и Face and Gesture 2002 описывают общую структуру, предположения и цели проекта.Статьи в CVPR 2003 и Gesture Workshop 2003 фокусируются на методах повысить эффективность и точность при наличии беспорядка и ошибки сегментации. В документе CVPR 2004 вводится общий метод встраивания, который можно использовать для эффективного приближения расстояние фаски.- 3D-оценка позы руки путем поиска совпадений на основе внешнего вида в большом
База данных тренировочных просмотров.
Василис Атисос и Стэн Скларофф.
IEEE Workshop on Cues in Communication , December 2001.
[Postscript 2,5 МБ] [Сжатый Postscript 597 КБ] [PDF 367 КБ] Расширенная версия (технический отчет BUCS-2001-021):
[ Postscript 4,0 МБ] [ Сжатый Postscript 777 КБ] [ PDF 470 КБ] - Основанный на внешнем виде фреймворк для 3D-классификации формы руки и
Оценка точки обзора камеры.
Василис Атисос и Стэн Скларофф.
Конференция IEEE по автоматическому распознаванию лиц и жестов , страницы 45-52, май 2002 г.
[Postscript 1,7 МБ] [Сжатый Postscript 682 КБ] [PDF 549KB]
Расширенная версия (технический отчет BUCS-2001-022):
[ PostScript 6.3MB] [ Сжатый Postscript 1,3 МБ] [ PDF 716 КБ] - Методы индексации базы данных для трехмерной оценки позы руки.
Василис Атисос и Стэн Скларофф.
Gesture Workshop , страницы 288-299, апрель 2003 г.
[Postscript 3,7 МБ] [Сжатый Postscript 587 КБ] [PDF 267KB] - Оценка трехмерной позы руки по загроможденному изображению.
Василис Атисос и Стэн Скларофф.
Конференция IEEE по компьютерному зрению и шаблонам Признание (CVPR) , страницы 432-439, июнь 2003 г.
[Postscript 7,4 МБ] [Сжатый Postscript 1,7 МБ] [PDF 594 КБ] - BoostMap: метод эффективного приблизительного ранжирования подобия.
Василис Атитсос, Джонатан Алон, Стэн Скларофф и Джордж Коллиос.
Конференция IEEE по компьютерному зрению и шаблонам Признание (CVPR) , страницы 268-275, июнь 2004 г.
[Postscript 2,6 МБ] [Сжатый Postscript 588 КБ] [PDF 229 КБ] - Василис Атитсос, Джонатан Алон, Стэн Скларофф и Джордж Коллиос.
BoostMap: метод встраивания для эффективного поиска ближайшего соседа.
Транзакции IEEE по анализу шаблонов и машинному анализу (PAMI) , г. 30 (1), страницы 89-104, январь 2008 г.
[Postscript 51 МБ] [PDF 3,2 МБ] [Предварительная печать в PDF с цветными изображениями 632 КБ] - Михалис Потамиас и Василис Афитсос.
Методы поиска ближайшего соседа для распознавания рукопожатия.
Конференция по распространенным технологиям, связанным с вспомогательными средами (PETRA) , июль 2008 г.
[Postscript 10,4 МБ] [PDF 259 КБ]
Василис Афитсос VLM Lab
Мастер-классы РУКИ 2015 РУКИ 2016 РУКИ 2017 Публикации
Большое спасибо Гильермо Гарсиа за помощь в публикации этого набора данных. Большое спасибо Danhang Tang, Shanxin Yuan и Qi Ye за помощь в повторном аннотировании этого набора данных. |
Оценка позы руки
Филипп Крежев: Личная страница Эндрю Гилберт: Персональная страница Ричарда Боудена: Персональная страницаОбзор
В данной работе представлен подход к поиску каждого из суставов рука с помощью датчика глубины.Затем совместные позиции можно использовать в подход машинного обучения для помощи в распознавании языка жестов Суставы рук определяются с помощью машинного обучения, которое сочетает в себе оба дискриминативные и модельные методы. Этот комбинированный подход направлен на преодолеть ограничения каждой техники по отдельности. В результаты демонстрируют производительность в реальном времени и современное состояние точность.
Мотивация
Определение суставов руки — очень сложная задача, Следует учитывать следующее.
- Большой диапазон движений руки позволяет использовать разные руки позы.
- Стрелки состоят из сложной кинематической цепи. отношения, и эта гибкость может вызвать крупномасштабные окклюзия и деформация.
- Поскольку руки составляют лишь небольшую часть изображения, ограниченное разрешение для исследования руки.
Метод
Комбинированный достойный метод направлен на использование сильных сторон обоих дискриминационный и модельный подходы.Дискриминантный метод используется в качестве глобального приближения с использованием рандомизированного определения Лес (rdf) обучен с использованием помеченных данных глубины. Это обеспечивает грубая оценка позы, которую нужно быстро принять. Далее модель основанный на подходе подходит к этому наблюдению. Вместо поиска несколько состояний, как и в других подходах, наша цель — оптимизировать только единая модель с использованием подхода, основанного на данных. Примерка с использованием результата RDF значительно сокращает время выполнения.Эффективное ведение поиска ближе к глобальному оптимальному. Это снижает сложность оптимизация, поскольку сегментация лесов гораздо менее неоднозначна чем только глубина. Модель оптимизирована с использованием шарнирно-сочлененного корпуса. Dynamics и ставится в рамках управляемой физикой структуры. Это означает отслеживание неявно обрабатывается симуляцией. Последняя регрессия Затем этап используется для характеристики случаев отказа и предоставления дополнительные ограничения, повышающие производительность.
Обзор метода, который показывает обработку потока камеры глубины. (a, b, c) Глубина преобразуется в соответствующее облако точек для фильтрации и подвыборка. (d) Классификация лесов отмечает каждую точку по глубине. е) это обеспечивает соответствие для оптимизации на основе ограничений. (f) Линейная регрессия с использованием пространственных объектов с глубинной выборкой корректируются несоответствия модели.
Результаты
Изображения (a) и (c) показывают результат сходимости модели на основе на выходе классификации на изображениях (b) и (d) соответственно.Классификация первой позы показывает путаницу в маркировке указательного пальца, что без использования второго стадия уточнения будет определена неправильно. Та же проблема может можно увидеть на указательном и среднем пальцах на изображении (d)
Видео демонстрации нашей более ранней связанной работы
Публикации
Филипп
Крейов , Эндрю Гилберт, Ричард Боуден
Сочетание дискриминационного и модельного подходов к позе руки
Оценка .
На Международной конференции по автоматическому торцевому и
Распознавание жестов , IEEE, 2015.
Бесконтактный режим: обнаружение и отслеживание кончиков пальцев в реальном времени Использование Geodesic Maxima
На Международной конференции по автоматическому торцевому и Распознавание жестов , IEEE, стр.7, 2013.
Скачать: (набор данных) [bib] [pdf] Project страница
Благодарности
Эта работа была частью проекта EPSRC «Учимся распознавать динамические Визуальный контент из трансляции Сюжеты «Грант EP / I011811 / 1.Нарисуйте выразительные позы рук из воображения!
В этом уроке я покажу процесс, который помог мне точно рисовать руки с помощью воображения.Это также отличный процесс, если вы черпаете из справочника.
Имейте в виду, хотя сам процесс довольно прост, рисование рук никогда не будет легким. Есть предпосылки, которые делают его сложным, например анатомия, перспектива и затенение. Если вы хотите рисовать простые руки, а не изучать простой процесс рисования настоящих рук, у меня также есть урок рисования мультяшных рук. Но все это взаимосвязано, так что приступим…
Идея
Первый шаг — получить четкое представление о руке , которую вы собираетесь нарисовать.Не прыгайте вслепую и не начинайте рисовать. Выясните, под каким углом мы смотрим на руку. Можем ли мы увидеть тыльную сторону ладони или ладони? Какую часть фронта мы видим? Или мы смотрим на него со спины? Что делают каждый палец и большой палец? А как насчет запястья?
Четко представьте это в уме, прежде чем делать отметку. И у вас всегда есть собственная рука, с помощью которой вы можете это понять.
И не рисуй скучные руки. Нажмите жест.Продвиньте историю позы. Если в результате вы разводите пальцы, подумайте, что произойдет, если вы раздвинете их дальше. Когда я пытаюсь развести пальцы как можно дальше, мое запястье немного сгибается, а пальцы сгибаются назад. Это делает позу немного интереснее.
Руки необычайно выразительны. Когда вы рисуете руки , вы должны быть актером . Так же, как когда вы рисуете мимику. Вы должны почувствовать выражение руки, которую рисуете.
Как только идея станет ясной, начнем строить руки, используя простые формы . Я собираюсь много говорить об этом на этом уроке … важно сделать шаг назад и подумать о простых формах . Сложный набор костей, мышц, сухожилий, жира и кожи ладони становится простой коробкой . Запястье представляет собой более узкую коробку, которая изгибается в области запястья. Пальцы становятся цилиндрами или коробками. С такой упрощенной рукой становится намного проще позировать, добавить анатомию и затемнить ее.
The Palm
Я упоминал, что области ладоней можно упростить до квадратной формы с одинаковой высотой и шириной. Это хорошее место для начала, но если вы хотите быть более точным, лучше подумать о нюансах. Обратите внимание, что кости на стороне мизинца немного короче. Итак, мы должны изогнуть эту переднюю плоскость. Область среднего пальца должна быть самой длинной. Позже мы добавим мышечные слезы с обеих сторон. А пока давайте проигнорируем мышечную массу и сохраним ладонь как простую вогнутую коробку.
Мы смотрим на этот ящик сверху. Мы можем видеть правую сторону и переднюю плоскость суставов пальцев. Это то, что вам нужно выяснить на ранней стадии рисунка — пропорции и перспектива всех простых форм. Это применимо независимо от того, что вы рисуете. Пока вы не выясните всю основную информацию, не следует рисовать никаких деталей. Будет труднее заметить и исправить ошибки, если у вас есть такие детали, как ногти, складки и тени, заполняющие рисунок.Не говоря уже о потраченном впустую времени и усилиях!
Давай перемотаем назад. Прежде чем добавлять пальцы, давайте разделим эту переднюю плоскость на 4 части . Таким образом, мы знаем, откуда выходит каждый палец. Не забываем про ракурс!
Если вы можете это сделать, у вас есть действительно хорошая отправная точка, и вы на пути к тому, чтобы вытянуть отличную руку.
Пальцы
На этом этапе вы можете начать выдавливание сегментов пальцев, но это помогает мне начать с каких-то жестов или направляющих каркаса.Я дам вам 3 варианта, из которых вы можете выбрать. У каждого свои предпочтения, и разные позы могут требовать разных подходов.
Если пальцы сгруппированы вместе, вы можете попытаться представить форму варежки для всех из них. Если один или несколько пальцев отделены от группы, нарисуйте их отдельно. Сгруппируйте те, которые вы можете, и решите, гнутся ли они.
Другой способ — это добавить несколько линий и точек для суставов .Это может помочь определить положение и длину каждого сегмента с минимальными линиями, которые легко настроить.
Третий вариант — нарисовать жест каждого пальца . Не беспокойтесь о разделении каждой фаланги. Не обращайте внимания на суставы и просто определяйте движение каждого пальца. Делайте это очень легко.
Как я уже сказал, разные позы требуют разных подходов или их комбинации. И у каждого свои предпочтения. Попробуйте их и посмотрите, что вам нравится.
Хороший совет — начать с мизинца и указательного пальца . Два средних значения легко определить, если у вас есть мизинец и указатель. Они либо распределены между ними равномерно, либо каким-то образом сгруппированы. Лично мне нравится искать способы сгруппировать пальцы вместе, если только выражение не станет более сильным без группировки, как в этом случае. Какие пальцы сгруппировать, решать вам. Все, что приводит к лучшему выражению лица.
Хорошо, теперь давайте добавим немного структуры пальцам .Обычно я использую цилиндры для каждого сегмента. Цилиндр, потому что они легче и быстрее коробок. А потом довольно легко превратить цилиндр в коробку, если я хочу указать вращение этого цилиндра. Достаточно указания коробки на стыке.
В пальцах 12 сегментов, не считая большого пальца. Надо подумать о множестве цилиндров и коробок. Заманчиво провести через них , но побороть чувство срочности.Расположите их в нужном месте, с правильными пропорциями и перспективой. По мере того, как вы работаете и исправляете свои ошибки, вы можете заметить, что ваша линия становится все темнее, темнее и темнее … Это затрудняет дальнейшую работу над деталями. Сделайте все возможное, чтобы линии оставались легкими и чистыми на протяжении всего процесса строительства. Не строчите и не создавайте беспорядка. Продумайте рисунок.
Большой палец
На уроке по костям кисти мы узнали о треугольной коробке для основания большого пальца.
Узнайте больше о рисовании костей руки в этом уроке:
Эту треугольную коробку можно растягивать, сжимать и вращать в зависимости от положения пястной кости большого пальца. Посмотрите на свой большой палец и посмотрите, как он может двигаться. Иногда я представляю себе пястную кость, чтобы убедиться, что ее положение правдоподобно, а длина соотносится с остальными. Промежуток между большим пальцем и ладонью заполнен мышцами и кожей треугольной формы.Итак, треугольная коробка. Или просто длинный жест сквозь кости, а затем указание на кожу между суставами. Вам решать.
Из этой треугольной коробки вытяните цилиндр для первой фаланги. А затем треугольную форму клина для конца большого пальца. Вроде как шпатель. И помните, что если смотреть в профиль, это будет голова собаки.
Запястье
На поверхности запястье изгибается, чтобы заполнить промежуток между ладонью и предплечьем.Итак, хорошее место для начала — это форма костей предплечья 2 × 4. Когда есть изгиб, запястье будет переходной плоскостью. Посмотрите на Бриджмена за вдохновением при создании дизайна запястья. Вот несколько разных поз, чтобы вы могли увидеть, как ведет себя запястье. Обратите внимание, как он делает небольшой шаг вниз от предплечья к руке. Это красивый дизайн, который сделает ваш рисунок более интересным и динамичным. Вместо того, чтобы ставить кисть и предплечье на одном уровне, опустите руку ниже предплечья. Этот шаг дает хороший поток через запястье.
На этом этапе у нас есть рука. Отсюда мы просто развиваем формы мышц и такие детали, как кожные складки, жир, вены и сухожилия. Если вы думаете, что до сих пор процесс был довольно скрупулезным, вы правы. Когда вы освоитесь с процессом, вы сможете пропустить некоторые шаги или просто быстро указать формы вместо того, чтобы строить все тщательно продуманные коробки. Дело в том, что для того, чтобы стать достаточно хорошим для этого, вы должны сначала тщательно отработать этот метод.Благодаря этому формы укоренились в вашей голове, так что вы сможете нарисовать их точные обозначения позже. Быстрое и свободное рисование — это навык, развиваемый медленным и осторожным рисованием. Это руководство предназначено для тех, кто занимается им надолго. Студенты, которые готовы потратить время на то, чтобы стать одними из лучших. Надеюсь, это ты!
Мышцы
Основные мускулистые формы рук можно разделить на три части, которые я называю Папа Медведь, Мама Медведь и Медвежонок.
Папа Медведь на большой стороне ладони самый большой. Я всегда думаю об этом как о голени. Истонченная растянутая голень, если большой палец отрывается от ладони. Толстая круглая голень, когда большой палец прижимается к ладони.
Мышцы на мизинце тоже имеют форму слезы, но в основном они покрыты толстым слоем жира на ладони. Я добавляю жир и рисую форму в виде выпуклой рамки. Когда мизинец сгибается или отводится, появляется складка между жиром и мышцами.Я покажу угол жировой подушечки и круглую форму мышечного живота. Если бы мизинец был расслаблен, я бы закруглял этот край.
Когда большой палец зажат, эти две формы разделяются складкой. В противном случае не заставляйте там складку. Помните, руки бьют…
Итак, в этой позе, поскольку мизинец отводится от других, я бы увидел складку между жиром и мышцами.
Этот учебник более подробно рассматривается в следующем видео.Ознакомьтесь с ним, чтобы узнать больше о процессе рисования и подробное объяснение рисования руки.
О компании Proko
Proko — это ресурс для художников, где можно найти хорошие обучающие видео по искусству.
https://www.proko.com/
Помимо бесплатных ресурсов, он также предлагает курсы премиум-класса, предназначенные для того, чтобы дать художникам подробное представление о конкретном предмете. Премиум-курсы доступны для загрузки и включают расширенные видеоролики, демонстрации и примеры заданий, электронные книги, видео с критикой и 3D-модели.
Другие видео из этой серии
Ознакомьтесь с остальными уроками этой серии, чтобы узнать больше о рисовании костей и мышц руки, чтобы сделать свои рисунки реалистичными.
Переуступка
Итак, давайте сделаем это. Ваше задание — проследить этот процесс и нарисовать 5 рук из воображения. Разместите их в Анатомической группе. Я мог бы раскритиковать ваш рисунок в следующем видео с критикой.
Get the Hand Model Pack
Кстати, я только что опубликовал новый справочник рук. Они должны помочь вам попрактиковаться в рисовании рук, изучить анатомию и могут служить ориентирами для ваших иллюстраций. Есть множество разных поз. Всего более 1500 фотографий. А Маршалл Вандрафф — одна из главных моделей. Если хочешь, возьми здесь.
Хорошо, развлекайся.
Затенение и детали
На данный момент мне нравится закрашивание первичных форм.Я выбираю направление света, которое, как мне кажется, лучше всего подходит для этой позы. Чтобы посмотреть, как я оттеняю и придумываю все детали для этих рук, посетите премиальный курс анатомии. Есть столько всего, что нужно узнать об анатомии человека, и если вы готовы погрузиться в нее, посетите наш курс анатомии.
Рисование воображения хорошо сочетается с рисованием с натуры. Если вы рисуете на основе воображения и действительно боретесь с определенной позой, сфотографируйте свою руку в этой позе и изучите ее.