Сплошное наблюдение это наблюдение: Сплошное наблюдение и новая отчетность в Росстат в 2021 году

9.1 Пациенты и их опекуны / родственники должны быть проинформированы о политике и процедурах наблюдения, используемых в рамках службы.Если наблюдение должно быть настоящим партнерством, тогда должен иметь место ясный, честный и открытый диалог относительно причин повышенного уровня наблюдения. Письменная информация о политике и практике наблюдения должна быть предоставлена ​​ всем пациентам. Также должна быть предоставлена ​​конкретная информация о текущем уровне наблюдения за пациентом. Рекомендуется, чтобы эта информация разрабатывалась совместно с локальными группами пользователей услуг.

9.2 Хотя это не подходит для формальной «апелляции» (как в Законе о психическом здоровье), пациенты должны иметь доступ к услугам по защите интересов, чтобы помочь им и направить их в случае разногласий относительно любых ограничений их свободы, к которым может привести наблюдение.Как пациенту, так и опекуну / родственнику должны быть даны письменные объяснения относительно уровня наблюдения при использовании и его цели. Пациентам также должна быть предоставлена ​​возможность обсудить свои проблемы со старшим сотрудником.

9,3 Если процесс спроектирован так, чтобы быть действительно совместным и решающим образом «ощущается» пациентом таким образом, то шансы пациента не согласиться с решением уменьшаются. Пациенты должны иметь право официально обсуждать свои взгляды на свой уровень наблюдения с персоналом и, если они хотят, привлекать кого-нибудь (например, из адвокатской службы или друга / родственника) к этим обсуждениям.Для облегчения этого процесса сотрудничества следует поощрять местные группы пользователей к участию в разработке местной политики наблюдения, письменной информации и обучении персонала.

10,1 Необходимость качественного обучения была подчеркнута в исходном документе. Из нашего обзора видно, что обучение практике наблюдения многими все еще рассматривается как проблема, требующая большего внимания. В этом документе уже упоминалась конкретная потребность в обучении медицинских сестер обязанностям наблюдения.Следует отметить, что хотя медсестры традиционно являются профессией, наиболее тесно связанной с наблюдением, похоже, что лишь немногие из них прошли специальную подготовку. Группа проверки не знала о каких-либо текущих официальных курсах, но рекомендовала местным службам разработать планы обучения для всего персонала, участвующего в наблюдении. Это обучение должно включать вклад пользователей и должно исследовать как практические аспекты процедуры местного наблюдения, так и философию, лежащую в ее основе.

10.2 Обучение должно также включать обучение клиническим навыкам по мере необходимости, чтобы позволить персоналу иметь необходимый «набор инструментов» психологического и практического вмешательства, чтобы помочь пациентам справиться с их недугом и болезнью. Уместно включить такие навыки, как терпимость к стрессу, уменьшение суицидальных мыслей, управление психотическими мыслями, решение проблем и управление тревогой. Эти два элемента тренировки должны быть направлены на то, чтобы процесс наблюдения был терапевтическим и безопасным.

10.3 Недавняя Программа развития лидерства — это один из путей, по которому можно определить ключевых игроков во внедрении местных протоколов наблюдения. Следует сделать ссылку на «Совместное обучение _ Стратегия обучения и обучения на протяжении всей жизни» (1999 г.).

10,4 Обучение не должно рассматриваться как «разовое», поскольку, помимо текущих обновлений, весь персонал, работающий в психиатрических отделениях, нуждается в постоянной организационной поддержке в их клинической работе. Это может быть система клинического наблюдения, наставничества или наставничества.В недавней стратегии сестринского дела «Уход за Шотландией _ Стратегия сестринского дела и акушерства в Шотландии» (2001 г.) подчеркивается важная роль клинического надзора в сестринском деле. Необходимость клинического наблюдения относится ко всем профессиональным группам и должна рассматриваться как неотъемлемая часть качественной медицинской помощи, а не как дополнительная опция. Это также часть поддержки процесса обучения или рефлексивной практики, которая исходит как из формального аудита, так и из анализа критических инцидентов, и способствует постоянному профессиональному развитию, которое важно для всех профессионалов.

11,1 Многому можно научиться путем тщательного анализа многопрофильной группой управления конкретными инцидентами, которые не должны были произойти. Обзоры критических инцидентов (CIR) считаются ценным инструментом обучения для персонала, а также форумом поддержки. Все палаты / отделения, обслуживающие пациентов с острыми заболеваниями, должны принять практику проведения проверок при возникновении нежелательных инцидентов («критическое» относится к серьезности события для общей цели организации, а не к выраженному намерению возложить на себя «вину». «на кого-то).Хотя CIR связаны с расследованием самоубийств, попыток самоубийств и инцидентов насилия и агрессии, этот процесс упоминается здесь как средство рассмотрения «возможных ситуаций». Под этим подразумевается любой отказ систем или отказ от применения правильных процедур. Следовательно, когда происходит событие, для предотвращения которого было разработано постоянное или специальное наблюдение,
стоит изучить, как в будущем команда (и организация) может обеспечить лучший результат. Протокол проведения CIR описан в разделе «Управление рисками».Чтобы убедиться, что они являются полезными инструментами обучения, CIR должны проводиться в режиме обучения, отдельно от дисциплинарных процедур и не связаны с ними, и должны проводиться таким образом, чтобы способствовать развитию как на личном, так и на организационном уровне.

11.2 Если CIR происходят часто, возможно, что-то не так со способностью организации извлекать уроки и включать уроки в свои процессы управления рисками. Можно получить больше, если честно взглянуть на ситуации, когда дела шли не очень хорошо, но существует тонкий баланс формальных и неформальных систем, применяемых в человеческом контексте.Этот вопрос исследуется в «Организации с памятью _ Отчет группы экспертов об изучении неблагоприятных событий в NHS» (Department of Health, 2000) и в последующем документе «Создание более безопасной NHS для пациентов» (Department of Health 2001).

12,1 Клиническое руководство определяется как «корпоративная ответственность за клиническую эффективность». Ключевая цель Clinical Governance — улучшить качество помощи и гарантировать, что везде, где это возможно, выявляются и устраняются плохие результаты.Предполагается, что на местах комитеты по клиническому управлению Trust обеспечат внедрение в своих организациях систем, позволяющих извлекать уроки из жалоб или критических инцидентов. Важно, чтобы практика наблюдения вместе с присущим ей управлением рисками рассматривалась как ключевой вопрос психического здоровья для изучения в рамках процесса клинического руководства.

12.2 Простой аудит частоты и продолжительности практики наблюдения в палатах является важным инструментом мониторинга эффективности и использования этой процедуры.Пример такого подхода см. В Porter, McCann & Kettles (1998). Процесс аудита также должен гарантировать, что отзывы пользователей собираются и используются для формирования как политики, так и обучения.

12,3 Системы записи должны быть спроектированы таким образом, чтобы обеспечивать четкий контрольный журнал. Запись должна быть простой и быстрой для заполнения, но должна включать: используемый уровень наблюдения, представляющую клиническую картину, кто участвует в этих решениях, мнения пациента и лица, осуществляющего уход, информацию, предоставленную пациенту и лицу, осуществляющему уход, и любые конкретные планы на возможное снижение уровня наблюдения.В ожидании разработки электронной записи практических данных будет достаточно простой бумажной записи. Такие записи являются важными компонентами при обсуждении критических инцидентов и в защите профессиональной практики в случае расследования несчастного случая со смертельным исходом.

13,1 Уход за людьми, переживающими периоды острого психического заболевания или стресса, является сложной и сложной задачей — это должно быть еще сложнее. Комплексный уход включает и , обеспечивающих безопасность пациента и предлагающих терапевтическую помощь и поддержку.Одно без другого неполно. Риск состоит в том, что службы уделяют значительное внимание компоненту безопасности, но, возможно, меньше — тому, чтобы сделать наблюдение исцеляющим и сострадательным. Чтобы обеспечить достижение и , персонал должен чувствовать себя ценным и поддерживаемым, а также иметь время и навыки, чтобы по-настоящему взаимодействовать с пациентом. Процесс должен быть партнерским подходом между персоналом и пациентом, при котором потребности пациента признаются и уважаются. Одна группа может многому научиться у другой в том, как можно разработать и провести безопасное терапевтическое наблюдение.

Границы | От постоянных наблюдений к символическим концепциям: основанная на дискриминации стратегия обучения обоснованным концепциям

1. Введение

Концепция может быть описана как отображение между символической меткой и набором атрибутов, которые могут использоваться для различения образцов от не-образцов различных категорий (Bruner et al., 1956). В контексте обоснованных автономных агентов эти атрибуты соответствуют потокам непрерывно значимых данных, полученных с помощью различных датчиков агента.Чтобы общаться и рассуждать о мире, агентам необходим репертуар концепций, который абстрагируется от сенсомоторного уровня. Без этого уровня абстракции общение могло бы происходить путем прямой передачи числовых наблюдений. Такая система легко приводит к ошибкам в коммуникации, например, когда агенты наблюдают за миром с разных точек зрения или когда калибровка затруднена из-за изменения условий освещения или других внешних факторов. Чтобы получить репертуар концепций, т.е.Например, при отображении меток в комбинации атрибутов автономные агенты одновременно сталкиваются с двумя проблемами обучения. Во-первых, агентам необходимо выяснить, какие атрибуты важны для каждой концепции. Это требует механизма для идентификации значимых комбинаций атрибутов из их потоков сенсомоторных данных и прикрепления символической метки к каждой из этих комбинаций. Во-вторых, агенты должны уметь распознавать экземпляры определенных концепций и отличать концепции друг от друга. Для представления концепций мы используем теорию прототипов (Rosch, 1973), хотя в психологической литературе были предложены и другие подходы (McCarthy and Warrington, 1990; Squire and Knowlton, 1995; Patalano et al., 2001; Гроссман и др., 2002).

К концептуальному обучению был применен ряд различных подходов, включая пространства версий и методы глубокого обучения. Однако мы отмечаем ряд недостатков этих подходов. При обучении пространству версий понятие представлено как область в пространстве гипотез. Это пространство может, например, обозначать возможные диапазоны значений различных атрибутов концепта. Каждая концепция связана с наиболее общей и наиболее конкретной последовательной гипотезой.Используя положительные и отрицательные примеры, эти границы могут быть обновлены с помощью алгоритма исключения кандидатов (Mitchell, 1982). Однако хорошо известным недостатком этого метода является его неспособность обрабатывать зашумленные данные. В подходах к глубокому обучению концепции часто представлены с помощью встраиваний, то есть многомерных числовых представлений, которые не могут быть интерпретированы человеком (см., Например, Mao et al., 2019; Shi et al., 2019). Кроме того, поскольку эти вложения изучаются статистическим способом, они часто не могут адаптироваться к невидимым сценариям и требуют огромных объемов обучающих данных.Ни один из этих подходов не предлагает механизм обучения, который был бы подходящим для автономного агента, то есть реагирующим на изменения в среде, способным поддерживать инкрементное обучение и способным динамически расширять репертуар концепций агента.

В этой статье мы предлагаем новый подход к изучению обоснованных концепций. Используя методологию языковых игр (Steels, 2001), мы устанавливаем серию сценариев, ориентированных на задачу коммуникативных взаимодействий в сценарии преподаватель-ученик. Среда, в которой происходят эти взаимодействия, взята из набора данных CLEVR (Johnson et al., 2017). Эта среда состоит из сцен, составленных из геометрических объектов, где объекты различаются по цвету, размеру, форме, материалу и пространственному положению. С помощью коммуникативной задачи агент должен изучить концепции, представленные в этом наборе данных, такие как МАЛЕНЬКИЙ , КРАСНЫЙ или ЛЕВЫЙ . Изучение этих концепций требует не только поиска соответствующих комбинаций атрибутов (например, «r», «g» и «b» для цвета), но и их прототипных значений (например, «r: 44», «g: 76» и «B: 215» для СИНИЙ ).И наставник, и обучающийся агент используют понятие различения, то есть максимально отделяют один конкретный объект от других объектов сцены. Дискриминация — часто используемый механизм в экспериментах по возникновению и эволюции языка (Steels, 1997; Vogt, 2002; Pauw, Hilferty, 2012; Wellens, 2012; Bleys, 2016). В языковом производстве репетитор ищет концепцию, которая максимально различает конкретный объект, тем самым помогая учащемуся решить коммуникативную задачу.С другой стороны, учащийся использует обратную связь и дискриминацию наставника для обновления своего репертуара концепций после каждого взаимодействия. Это гарантирует, что концепции оптимально соответствуют коммуникативной задаче и среде, в которой они возникают.

Основным вкладом этой статьи является новый метод представления и изучения символических концепций, которые обеспечивают уровень абстракции над непрерывными наблюдениями. Этот метод основан на более ранней работе Wellens (2012) и расширяет изучение концепций, основанных на различении, представленных взвешенными комбинациями атрибутов, чтобы их можно было изучить из непрерывных потоков данных.Посредством различных экспериментов мы демонстрируем, как учащийся приобретает набор интерпретируемых человеком концепций таким образом, который является (i) общим, (ii) адаптивным к окружающей среде, (iii) требует небольшого взаимодействия и (iv) допускает композиционность.

Остальная часть этого документа построена следующим образом. В разделе 2 мы обсуждаем существующие подходы к изучению концепций. Раздел 3 знакомит с окружающей средой, в которой работают агенты, и языковой настройкой игры. В разделе 4 мы представляем эксперименты, каждый из которых демонстрирует желаемое свойство нашего подхода.Результаты экспериментов представлены и обсуждаются в разделе 5. Наконец, в разделе 6 мы подводим итоги и делаем выводы.

2. Сопутствующие работы

2.1. Версия Space Learning

Один из методов представления и изучения концепций — использование пространств версий (Mitchell, 1982). В этом методе понятие представлено как область в пространстве с размерностью, равной количеству атрибутов. Область понятий ограничена как наиболее конкретной непротиворечивой гипотезой, так и самой общей непротиворечивой гипотезой.Гипотеза состоит из комбинации значений атрибутов и считается согласованной, если согласуется с наблюдаемыми примерами. При таком представлении самый простой способ изучения концепций — это алгоритм исключения кандидатов. С учетом как положительных, так и отрицательных обучающих примеров алгоритм работает следующим образом. Наиболее общие и наиболее конкретные гипотезы обновляются таким образом, что первая охватывает все положительные обучающие примеры, включая как можно больше из оставшегося пространства атрибутов, но исключая любые отрицательные примеры, а последняя охватывает все положительные обучающие примеры с минимальным как можно больше из оставшегося пространства атрибутов.Эти обновления происходят постепенно, ища минимальную специализацию для наиболее общей гипотезы и минимальное обобщение для наиболее конкретной гипотезы.

Основным недостатком алгоритма исключения кандидатов является его неспособность обрабатывать зашумленные данные. Шумные или неправильно обозначенные обучающие примеры могут неправильно обновлять одну или обе границы, и восстановление после таких ошибок часто затруднено. С положительной стороны, из-за относительно простого алгоритма представления и обучения концепции, изученные с использованием пространств версий, часто понятны и прозрачны для человека.Кроме того, когда разрешено обновлять границы после обучения, концепции остаются адаптивными с течением времени.

2.2. Нейронные подходы

В более поздних подходах к концептуальному обучению преобладают методы глубокого обучения. Ультрасовременные результаты были достигнуты Higgins et al. (2016) и Ши и др. (2019). Эти два подхода сильно различаются по архитектуре нейронной сети, режиму обучения (например, бинарная или мультиклассовая классификация или обучение без учителя), представлению концепции (например,g., метка в классификаторе или группе скрытых переменных) и задача или область, в которой изучаются концепции (например, рукописные символы или сгенерированная графика). Однако вышеупомянутые статьи особенно интересны, поскольку обе они черпают вдохновение из человеческого концептуального обучения и включают его в свои модели. Например, то, как людям требуется только один или несколько примеров для усвоения концепции, включается посредством однократного или кратковременного обучения, или как известные концепции могут использоваться для распознавания новых примеров, достигается посредством постепенного обучения и модулей памяти.Существует гораздо больше подходов к концептуальному обучению с использованием методов глубокого обучения (например, Wang et al., 2015; Dolgikh, 2018; Xu et al., 2018; Rodriguez et al., 2019). В целом эти подходы обеспечивают высокий уровень точности, но требуют огромных объемов обучающих данных и / или времени обучения. Кроме того, концепции представлены способом, который часто не поддается интерпретации человеком, а набор концепций часто предопределен и фиксирован с течением времени. Некоторые из вышеупомянутых подходов решают одну или две из этих проблем, но не все вместе.

В других подходах концепции изучаются как «побочный эффект» при решении другой, обычно более крупной задачи. В работе Mao et al. (2019) и Хан и др. (2019) не только концепции, но также слова и семантические разборы предложений изучаются в контексте задачи с визуальным ответом на вопрос. В частности, модуль восприятия изучает визуальные концепции, представленные в виде вложений, на основе лингвистического описания объекта, на который делается ссылка. Как сообщает Mao et al. (2019), концепции получены с почти идеальной точностью (99.9%) и относительно небольшой объем обучающих данных (5K изображений), но полученные в результате представления концепций не поддаются интерпретации человеком. Предлагаемая модель допускает постепенное обучение и хорошо обобщается на невидимые комбинации атрибутов. Однако это обобщение требует точной настройки модели на имеющемся наборе данных.

2.3. Вызов Omniglot и обучение по байесовской программе

Одно конкретное направление исследований, которое сосредоточено исключительно на изучении концепций, подобных человеческому, сосредоточено вокруг набора данных Omniglot (Lake et al., 2015). Это набор данных рукописных символов из 50 различных алфавитов. Каждый символ написан 20 людьми и сохраняется как изображение, так и данные росчерка пера. Задача Omniglot направлена ​​на продвижение новейших достижений в концептуальном обучении, подобном человеческому. Основная задача состоит в однократной задаче классификации внутри алфавита: учитывая новый символ и алфавит, идентифицировать символ в алфавите, который является тем же символом, что и представленный. Эта задача направлена ​​на воспроизведение способности людей усваивать новую концепцию только на одном примере.Рядом с этим есть еще три задачи, предназначенные для проверки нескольких способностей, связанных с изучением концепций: разбор образцов на части и отношения, создание новых образцов данной концепции и создание новых концепций определенного типа.

В своей работе Lake et al. (2015) представляет байесовскую программу обучения (BPL) для решения проблемы Omniglot. Здесь концепции представлены в виде вероятностных генеративных моделей, обученных с использованием данных штрихов пера и построенных таким композиционным образом, что сложные концепции могут быть построены из (частей) более простых концепций.В этом случае модель создает библиотеку штрихов пера, и символы можно создавать, комбинируя эти штрихи пером множеством различных способов. Этот подход имеет множество преимуществ, включая возможность однократного обучения и мощное композиционное представление концепций, которое позволяет не только классифицировать концепции, но и генерировать их. Хотя эта модель дает впечатляющие результаты, обучение с помощью данных штрихов пера предлагает ограниченный диапазон возможностей. Другие исследователи решили проблему Омниглота, в основном используя нейронные подходы, как сообщает Lake et al.(2019). Почти все они сосредоточились на задаче однократной классификации, используя данные изображения в качестве входных. В результате подход BPL остается моделью SOTA для всех задач в задаче Omniglot.

2.4. Обучение с подкреплением

Концептуальное обучение также рассматривалось с точки зрения обучения с подкреплением. В этом контексте понятие рассматривается как абстракция состояний или действий агента. Абстракция по дискретным состояниям может быть достигнута с помощью кодирования тайлов (Sutton, 1996).Однако в последнее время, вслед за достижениями в области глубокого обучения с подкреплением, абстракция непрерывных состояний часто выполняется с помощью аппроксимации функций (Mnih et al., 2015). Абстракция над действиями обычно достигается за счет использования вариантов (Sutton et al., 1999).

Одно направление исследований, которое имеет особое отношение к нашему подходу, — это работа Конидариса и его коллег. Первоначально авторы сопоставили пропозициональные символы с набором состояний низкого уровня (Konidaris et al., 2014). Эти состояния были получены из непрерывной среды через классификатор. Затем решается проблема планирования с использованием пропозициональных символов в качестве операторов, которые могут быть переведены в наборы низкоуровневых состояний, выполняемых в среде. В более поздних работах представление на основе множеств было заменено распределением вероятностей, чтобы лучше отразить неопределенность в отношении успешного выполнения каждого шага высокого уровня (Konidaris et al., 2015, 2018). Опять же, этот подход был подтвержден с помощью задачи планирования в непрерывном пространстве состояний, где политики для высокоуровневых задач планирования в игровой среде, такие как «получить ключ» или «получить сокровище», могли быть вычислены эффективно.

Символические высокоуровневые шаги могут быть представлены интерпретируемым человеком способом, поскольку предварительные и постусловия могут быть легко визуализированы в игровой среде. Кроме того, модель, предложенная Konidaris et al. (2015) можно эффективно изучить с относительно небольшим количеством точек данных: 40 итераций из 100 случайно выбранных действий были использованы для извлечения шагов высокого уровня. Как это обычно бывает при обучении с подкреплением, этапы планирования усваиваются на собственном опыте. Следовательно, новые шаги планирования должны быть изучены путем сбора нового опыта, специфичного для этой концепции.Кроме того, итоговые шаги относительно зависят от предметной области. Не сообщается об экспериментах, которые исследуют общность, например, JUMP-LEFT обобщает на другие игровые настройки, или адаптивность, например, меняет ли концепция JUMP-LEFT при изменении физики игры.

2,5. Робототехника

В сообществе робототехники существует большой объем работ, которые рассматривают различные задачи, очень похожие на то, что мы называем концептуальным обучением. Общие названия этой задачи включают появление символа, перцептивную привязку, обучение аффордансу и обучение по категориям.

В качестве первого подхода мы рассматриваем задачу перцепционной привязки. Целью перцептивного закрепления является установление и поддержание связи между символами и данными датчиков, которые относятся к одному и тому же физическому объекту (Coradeschi and Saffiotti, 2003). Эта связь должна оставаться стабильной во времени и пространстве, например, когда объект движется в поле зрения робота, когда он накрывается другим объектом или когда он исчезает, а затем снова появляется. Система символов может управлять отдельными символами, относящимися к объектам в целом, а также предикатами, отражающими свойства объектов.Сенсорная система может использовать различные представления, например, набор функций с непрерывным знаком или вектор в некотором пространстве вложения. Система привязки может быть восходящей, начиная с уровня восприятия, и нисходящей, начиная с символического уровня. В контексте перцепционной привязки комбинацию символа, набора предикатов и данных датчиков можно рассматривать как единое понятие.

В недавней работе восходящая система перцепционной привязки была объединена с системой вероятностных символических рассуждений (Persson et al., 2019). Этот подход позволил улучшить общий процесс привязки за счет прогнозирования на символическом уровне состояния объектов, которые не воспринимаются напрямую. У этого подхода есть несколько преимуществ. Во-первых, авторы достигают высокой точности (96,4%) привязки объектов и поддержания этих привязок в динамических сценах с окклюзиями, используя относительно небольшой объем обучающих данных (5400 сцен, 70% используются для обучения). Кроме того, их система полностью открыта и допускает инкрементное обучение, поскольку функция сопоставления привязок просто создает новые привязки при обнаружении ранее невидимых объектов.Функция сопоставления якорей, в некотором роде мера сходства, тесно связана с понятием дискриминации. Разница в том, что при различении учитываются и другие объекты. Наконец, представление концепции может быть интерпретировано человеком в зависимости от представления объектов в сенсорной системе и соответствующих символов и предикатов.

Что касается второго подхода, мы сосредоточимся на обучении аффордансам. При таком подходе основное внимание уделяется взаимодействию между системой восприятия и двигательной системой автономного агента.Иными словами, аффорданс можно рассматривать как усвоенную связь между действием в окружающей среде, вызванным двигательной системой, и эффектом, наблюдаемым в окружающей среде, зафиксированным системой восприятия (Шахин и др., 2007). Основываясь на этом, агент может изучать концепции с точки зрения аффордансов. По предложению Угур и др. (2011) и дополнительно разработанные в Ugur and Piater (2015a, b), аффордансы можно сгруппировать по категориям эффектов. Следовательно, они сопоставляются со свойствами кластеризованного объекта, чтобы сформировать конкретную концепцию.Например, концепт BALL представляет собой объект со сферическими свойствами, который проявляет эффект качения при нажатии и эффект исчезновения при поднятии, поскольку он скатывается со стола при падении. В этих работах авторы используют концепции, полученные благодаря их аффордансам, при создании и выполнении плана, при этом агент способен планировать необходимые действия с участием конкретных объектов для достижения заданного состояния цели. Этот подход предлагает более ориентированный на действия взгляд на мир агента, который дополняет наш подход.Он не только позволяет агенту распознавать и описывать объекты в мире, но и правильно с ними действовать. Приобретенные концепции, сочетающие категории эффектов со свойствами объекта, предлагают прозрачное представление. Категории эффекта выражаются в терминах изменения видимости, формы и положения, а свойства объекта сохраняются в числовом векторе с объяснимыми записями, такими как особенности, относящиеся к положению и форме (Ugur et al., 2011). Кроме того, поскольку концепции изучаются в процессе неконтролируемого исследования, предлагаемая модель адаптируется к окружающей среде.Новые концепции можно добавлять постепенно посредством дополнительных исследований, а изученные концепции могут постепенно обновляться (Угур и Пиатер, 2015b). Как это типично для робототехники, предлагаемый подход сочетает обучение в моделировании и использование физических роботов. В частности, концепции могли быть приобретены только после 4000 смоделированных взаимодействий (Ugur et al., 2011). Робот используется для проверки этих концепций в нескольких задачах планирования. Наконец, когда агент оценивает характеристики объекта, релевантные для каждой категории эффекта, полученные сопоставления предлагают некоторую общность, например.g., мяч демонстрирует одни и те же категории эффектов независимо от его цвета.

Другие подходы основаны на вероятностной перспективе концептуального обучения, как и в случае с Lake et al. (2015), но сосредоточив внимание на области робототехники. Понятия изучаются с помощью неконтролируемых алгоритмов онлайн-обучения, комбинирующих мультимодальные потоки данных (чаще всего перцепционные данные и необработанные речевые данные) с помощью статистических подходов, таких как байесовские генеративные модели или латентно-семантический анализ (Nakamura et al., 2007; Aoki et al., 2016; Танигучи и др., 2016, 2017). Благодаря этой интеграции потоков данных приобретенные концепции представляют собой сопоставления между словами и объектами, как исследовали Накамура и др. (2007) и Aoki et al. (2016), или между словами и пространственными положениями, как исследовали Танигучи и др. (2016, 2017). Последний также использовал эти концепции, чтобы помочь мобильному роботу создать карту окружающей среды без какой-либо предварительной информации. Преимущество статистических методов состоит в том, что они позволяют вывести значительный объем информации из ограниченного числа наблюдений, и поэтому они подходят для использования в сценариях робототехники.Кроме того, они в определенной степени предлагают интерпретируемость модели посредством графического представления модели, такого как байесовская сеть. Наконец, предлагаемые модели адаптируются к изменениям в окружающей среде и предлагают пошаговое обучение с помощью алгоритмов онлайн-обучения.

Среди различных подходов к концептуальному обучению, обсуждавшихся до сих пор, предлагаемый нами подход наиболее тесно связан с литературой по робототехнике, поскольку многие из этих исследований касаются схожих вопросов, таких как заземление, адаптивность, универсальность и быстрое обучение.Для более полного обзора возникновения символов с точки зрения когнитивных систем / робототехники мы обратимся к Танигучи и др. (2018).

2,6. Обучение на основе дискриминации

Один конкретный эксперимент Велленса (2012) сильно вдохновил на эту работу. Wellens использует методологию языковых игр для изучения многомерности и композиционности во время появления лексики в популяции агентов. В этой языковой игре, называемой композиционной игрой в угадайку, говорящий пытается с помощью языка привлечь внимание слушателя к определенному объекту в общей сцене.Каждый объект в такой сцене рассматривается агентом как набор символических атрибутов, например, «а-1», «а-2», «а-3» и так далее. Слова, используемые агентами, имеют один или несколько таких же символов в качестве значения (многомерность), и агенты могут использовать несколько слов для описания конкретного объекта (композиционность). В конце игры агенты сообщают друг другу обратную связь об исходе игры, а говорящий указывает на намеченный объект в случае неудачи. Такая установка приводит к большой неопределенности для агентов, поскольку они должны выяснить, какая часть значения должна быть связана с каким словом в многословном высказывании.

В своей работе Велленс предлагает два различных типа стратегий для уменьшения этой неопределенности: конкурентные стратегии и адаптивные стратегии. Оба используют понятие различения, то есть максимального отделения одного объекта от других, как для языкового производства (говорящий), так и для интерпретации (слушающий). Однако в стратегиях первого типа агенты явно перечисляют конкурирующие гипотезы (то есть одно и то же слово с другим значением), и существуют механизмы для постепенного сокращения этого перечисления.Вскоре это становится трудноразрешимым, что приводит к проблемам масштабирования в средах с множеством объектов или множеством атрибутов на каждый объект. С другой стороны, последний тип стратегий позволяет избежать перечисления конкурирующих гипотез. Вместо этого для каждого слова сохраняется только одно значение, состоящее из набора атрибутов. В ходе взаимодействия это значение постепенно формируется на основе обратной связи, предоставляемой после каждого взаимодействия. Как будет реализовано это формирование, зависит от конкретной стратегии. Адаптивные стратегии сосредоточены на повторном использовании, позволяя агентам использовать слова, даже если связанные значения (пока) не полностью совместимы с тематическим объектом.Рисунок 1 иллюстрирует разницу между двумя типами стратегий.

Рисунок 1 . (A) Конкурентные стратегии перечисляют конкурирующие гипотезы. (B) Адаптивные стратегии позволяют постепенно формировать смысл. Добавляя веса, это можно сделать более детально.

В области адаптивных стратегий различают базовую адаптивную стратегию и взвешенную адаптивную стратегию. В первой стратегии идеи, лежащие в основе адаптивных стратегий, реализуются довольно грубо.Агенты постепенно формируют значение слов, просто добавляя или удаляя атрибуты из набора на основе отзывов после игры. Последняя стратегия предлагает более постепенное формирование смысла. Здесь значение больше не является обычным набором атрибутов, а вместо этого является взвешенным набором. Каждый атрибут получает оценку, выражающую уверенность в том, что атрибут важен для слова, с которым он связан. На основе полученных отзывов агенты могут не только добавлять или удалять атрибуты, но и изменять оценку атрибутов, чтобы отразить изменения в достоверности.Со временем значения формируются так, чтобы охватить комбинации атрибутов, которые функционально актуальны в мире, движимые силой достижения коммуникативного успеха и понятиями различения и согласования. Для получения более подробной информации о композиционной игре в угадайку и различных стратегиях мы отсылаем к Wellens (2012).

Наш подход к изучению концепций во многом основан на взвешенной адаптивной стратегии. Как мы обсудим позже, концепции в нашем подходе также представлены наборами взвешенных атрибутов.Однако там, где в предыдущей работе рассматриваются только символьные атрибуты, мы расширяем этот подход на атрибуты с непрерывными значениями, внося потребность в более сложных механизмах представления и обработки.

3. Методология

Цель этой работы состоит в том, чтобы агент извлекал значимые концепции из потока непрерывных сенсорных данных посредством ряда коммуникативных взаимодействий, называемых языковыми играми. Эти взаимодействия устанавливаются в сценарии «наставник-ученик» и происходят в общей среде, состоящей из сцен геометрических форм.Управляемый коммуникативной задачей и представлением о различении, агент будет постепенно формировать свой репертуар концепций, который будет функционировать в своей среде. В этом разделе мы подробно рассмотрим методологию языковой игры (раздел 3.1), среду, в которой работают агенты (раздел 3.2), механизм представления концепций и обновления, используемый учащимся (раздел 3.3), и механизмы, используемые наставником. (раздел 3.4).

3.1. Язык игры

Методология языковой игры обычно используется для изучения того, как совокупность агентов может самоорганизовать систему коммуникации, которая является эффективной и действенной в их родной среде.Играя в языковые игры, агенты принимают участие в серии коммуникативных взаимодействий по сценариям и задачам. В языковую игру обычно играют два представителя населения, один из которых является говорящим, а другой — слушающим. Нет централизованного управления, и агенты не умеют читать мысли. Агентам разрешено общаться только на языке. После ряда игр население объединяется в общую систему коммуникации посредством отбора и самоорганизации. Эта методология использовалась для изучения возникновения широкого спектра языковых явлений, включая грамматическое согласие (Beuls and Steels, 2013), цветную лексику (Bleys, 2016), маркировку аргументов (Lestrade, 2016), квантификаторы (Pauw and Hilferty, 2016). 2012), пространственный язык (Spranger and Steels, 2012), case (van Trijp, 2016) и др.

Языковая игра в этой работе построена по сценарию «репетитор-ученик». Репертуар — это агент с установленным репертуаром концепций, в то время как ученик начинает эксперимент с пустым репертуаром. Репетитор всегда говорит, а ученик всегда слушает. Перед каждой игрой оба агента наблюдают за случайно выбранной сценой из геометрических фигур. Сама среда будет более подробно объяснена в разделе 3.2. А пока отметим, что преподаватель имеет доступ к высокоуровневой символической аннотации сцены, в то время как учащийся наблюдает за сценой через потоки непрерывных данных.Символическая аннотация представляет собой основную истину сцены и обучающую цель для обучающегося агента. Это позволяет избежать необходимости вручную разрабатывать ряд концепций с точки зрения наблюдаемого потока данных для преподавателя, что может привести к смещению системы.

Сценарий взаимодействия, который представляют собой шаги, которые проходят оба агента во время игры на одном языке, выглядит следующим образом. Преподаватель начинает взаимодействие, выбирая в качестве темы один объект из сцены. Используя символическую аннотацию, преподаватель ищет концепцию, которая оптимально различает тему, и произносит ее.В поисках наиболее разборчивой концепции преподаватель активно пытается помочь учащемуся в решении коммуникативной задачи. Если тема не может быть выделена с помощью одной концепции, преподаватель выбирает другой объект или сцену. Это ограничение будет снято позже в одном из более сложных экспериментов. Учащийся получает это слово и проверяет свой набор понятий. Если понятие, обозначаемое этим словом, неизвестно, обучающийся указывает на неудачу наставнику. В качестве альтернативы, если учащийся знает слово, он попытается интерпретировать соответствующее понятие в текущей сцене.Другими словами, учащийся будет искать объект, который лучше всего соответствует концепции. Учащийся указывает на этот объект, а преподаватель сообщает, правильно это или нет.

После каждого взаимодействия репетитор дает обратную связь, указывая на предполагаемую тему. Это возможность обучения для учащегося. Мы называем этот этап игры «выравниванием». Если концепция была неизвестна учащемуся, теперь он может создать новую концепцию. На этом этапе учащийся еще не может знать, какие атрибуты важны для концепции.Однако он знает, что преподаватель может различать тему, используя эту концепцию. Таким образом, учащийся сохраняет точную копию тематического объекта как начальное семя для соответствующей концепции. Каждый атрибут получает начальную оценку 0,5, что отражает неопределенность в том, что атрибут важен для вновь созданной концепции. В качестве альтернативы, если учащийся знал концепцию, он может уточнить ее представление, используя только что приобретенный пример. Это включает обновление прототипных значений и оценок достоверности атрибутов.Мы подробно рассмотрим этот механизм в разделе 3.3. Схематический обзор всего сценария взаимодействия показан на рисунке 2.

Рисунок 2 . Во время одного взаимодействия оба агента наблюдают сцену из геометрических фигур. Преподаватель выбирает тему и производит слово, обозначающее понятие, которое различает эту тему. Учащийся ищет это слово в своем репертуаре. Если слово известно, ученик пытается интерпретировать его в сцене. В противном случае учащийся указывает на неудачу.После взаимодействия репетитор предоставляет учащемуся обратную связь, позволяя ему учиться.

Обратите внимание, что в нашем описании сценария взаимодействия в предыдущих абзацах мы использовали слова «концепция» и «слово» как синонимы. Мы продолжим делать это в оставшейся части статьи, так как в описываемых нами экспериментах существует взаимно однозначное соответствие между словами и понятиями.

Чтобы оценить обучаемого агента, мы измеряем коммуникативный успех и размер концептуального репертуара.Коммуникативный успех показывает, было ли взаимодействие успешным. Другими словами, он сообщает нам, может ли учащийся успешно использовать концепцию в интерпретации, и, следовательно, указывает на тему, заданную преподавателем. Кроме того, мы можем отслеживать количество взаимодействий, необходимых для достижения определенного уровня коммуникативного успеха, указывая скорость, с которой агент обучается. Отслеживая размер репертуара концепций учащихся с течением времени, мы можем проверить, сколько взаимодействий требуется учащемуся, чтобы усвоить все концепции, известные преподавателю.Всего в экспериментальной среде нужно изучить 19 концепций. Они приведены в таблице 1.

Таблица 1 . Все концепции в экспериментальной среде.

3.2. Окружающая среда

3.2.1. Набор данных CLEVR

Среда агента основана на наборе данных CLEVR (Johnson et al., 2017). Этот набор данных содержит 100 000 визуализированных сцен с геометрическими объектами. Каждая сцена содержит от 3 до 10 случайно расположенных объектов. У объектов есть четыре основных свойства: цвет, размер, материал и форма.Всего существует 8 различных цветов, 2 размера, 2 материала и 3 формы. Рядом с изображением сцены есть также достоверная символьная аннотация, закодированная в формате JSON. Пример сцены и аннотации показаны на рисунке 3. Набор данных CLEVR разделен на обучающий набор (70K изображений), набор для проверки (15K изображений) и тестовый набор (15K изображений). В этой работе мы используем только изображения проверочного набора, так как для набора тестов нет достоверных аннотаций. Кроме того, поскольку парадигма языковых игр предусматривает интерактивное онлайн-обучение, отдельные этапы обучения и тестирования отсутствуют.Агент оценивается во время обучения, и, следовательно, не требуется никакого хранимого набора данных. Набор данных CLEVR идеально подходит для экспериментов по изучению концепций, так как набор данных был специально разработан для того, чтобы максимально избежать смещения набора данных. На практике это означает, что в сценах будет столько же синих объектов, сколько красных, столько же кубиков, сколько цилиндров и т. Д.

Рисунок 3 . Пример изображения из набора данных CLEVR (A) с соответствующей символьной аннотацией одиночного объекта (B) , а именно зеленого цилиндра.

Агент-обучающийся наблюдает за окружающей средой через потоки непрерывно значимых данных датчиков. Для этого сцены CLEVR необходимо преобразовать в числовые данные. Мы рассматриваем два способа сделать это преобразование. В качестве первого метода мы используем написанные вручную правила и процедуры для преобразования символьной аннотации JSON в числовые данные. Этот метод объясняется в разделе 3.2.2. Для второго метода мы используем современную модель Mask R-CNN (Yi et al., 2018), чтобы обнаруживать и сегментировать объекты непосредственно на изображении.Раздел 3.2.3 посвящен этому методу.

3.2.2. Смоделированные атрибуты

Первый метод начинается с символических аннотаций сцены и преобразует их в атрибуты с непрерывным значением на основе простых правил и процедур. Мы предоставляем обзор этих правил в таблице 2. Каждый символический атрибут отображается на один или несколько непрерывных атрибутов с возможным диапазоном значений. Например, цвет сопоставлен с тремя атрибутами, по одному для каждого канала цветового пространства RGB, а размер сопоставлен с одним атрибутом, а именно с областью .Мы также включаем координаты x и y. Эти атрибуты уже присутствовали в наборе данных CLEVR и просто принимаются.

Таблица 2 . Правила, используемые для преобразования символьных свойств объекта в атрибуты с непрерывным значением.

Значения для различных атрибутов не выбраны произвольно. Для цветовых концепций, например, RED , мы используем значение RGB, которое использовалось в процессе рендеринга изображения набора данных CLEVR. Это значение используется в качестве начального значения и добавляется случайное дрожание.Тот же метод используется для концепций, связанных с размером. Величина дрожания показана в крайнем правом столбце таблицы 2. Генерация непрерывных атрибутов для атрибута, связанного с формой, происходит следующим образом. Мы считаем, что у сферы 1 сторона, 0 углов и отношение ширины к высоте 1, у цилиндра должно быть 3 стороны, 2 угла и отношение ширины к высоте 0,5, а у сферы 6 сторон, 8 углов и ширина. -высота 1. Наконец, материал определяется по шероховатости поверхности.

Получение сенсорных данных таким способом несложно и создает контролируемую среду.В самом деле, даже при наличии случайного джиттера нет перекрытия между разными экземплярами конкретной концепции, такими как СИНИЙ и СИНИЙ или БОЛЬШОЙ и МАЛЕНЬКИЙ . Для каждого конкретного типа концепции каждый экземпляр занимает непересекающуюся область в пространстве атрибутов с непрерывными значениями. Это упрощает задачу изучения концепции и позволяет нам проверить предложенные механизмы обучения перед переходом в среду с более реалистичной обработкой восприятия.

3.2.3. Извлеченные атрибуты

Чтобы проверить наш подход с использованием более реалистичной обработки восприятия, мы используем современную модель Mask R-CNN для обнаружения и сегментирования объектов непосредственно на изображении. После сегментации мы извлекаем ряд числовых атрибутов из предложенных сегментов. При таком подходе разные экземпляры определенного концепта больше не будут занимать непересекающиеся области в пространстве атрибутов. Кроме того, числовые значения будут подвержены большему шуму из-за различий в изображениях, таких как перекрывающиеся объекты, условия освещения или эффекты тени.

Для обнаружения объектов мы используем предварительно обученную модель нейронной сети, разработанную Yi et al. (2018) с использованием модели Mask R-CNN (He et al., 2017), присутствующей в структуре Detectron (Girshick et al., 2018). Учитывая изображение, эта сеть генерирует маску для каждого из объектов сцены. Все маски с показателем достоверности ниже 0,9 удаляются. Модель была предварительно обучена на отдельно созданном наборе изображений CLEVR. За подробностями о тренировочном режиме мы обращаемся к Yi et al. (2018). Насколько нам известно, отдельной оценки точности обнаружения объектов не проводилось.

Мы объединяем полученные сегменты с исходным изображением для извлечения ряда атрибутов с непрерывным значением. Они сведены в Таблицу 3. Как и в предыдущей среде, мы предвидим ряд непрерывных атрибутов для каждого символьного атрибута объектов CLEVR. Для цветов мы извлекаем как среднее, так и стандартное отклонение цвета области, выраженное в цветовом пространстве HSV и разделенное для каждого канала. Для форм мы извлекаем предполагаемое количество углов, расстояние Хэмминга между контуром формы и окружающим кругом, а также отношение ширины к высоте.Атрибуты, связанные с размером, просты, за исключением двух последних. Коэффициент bb-area выражает соотношение между площадью области и площадью повернутой ограничительной рамки. Точно так же соотношение площади изображения выражает соотношение между площадью области и площадью всего изображения. Наконец, материал объектов выражается соотношением как темных, так и ярких пикселей. Эти атрибуты основаны на том, что металлические объекты обладают большей отражающей способностью и, следовательно, содержат больше ярких пикселей.

Таблица 3 . Преобразование символьных атрибутов в непрерывные атрибуты, полученные в процессе сегментации изображения.

3.3. Представление концепции

Концепция представлена ​​как отображение символической метки, в данном случае используемой как слово, в набор атрибутов с непрерывным значением. Подобно Велленсу (2012), мы используем представление взвешенного множества, в котором каждая связь понятие-атрибут имеет оценку (∈ [0, 1]), представляющую уверенность в том, что данный атрибут важен для концепции.В отличие от Wellens (2012), атрибуты непрерывны и представлены через нормальное распределение. Это позволяет использовать такие концепции в обоснованных, воплощенных сценариях. Пример концепции показан на рисунке 4.

Рисунок 4 . Концепция CUBE связана с взвешенным набором атрибутов. Вес представляет определенность атрибута, принадлежащего концепции. Каждый атрибут моделируется как нормальное распределение, которое отслеживает его прототипное значение (т.е., среднее) и стандартное отклонение. Значения в квадратных скобках обозначают два стандартных отклонения от среднего. Они не используются напрямую в расчетах подобия, но дают представление о наблюдаемом диапазоне прототипных значений.

Для вычислительной операционализации этого представления концепции в сценарии языковой игры нам требуются две части функциональности: возможность сопоставления концепции с объектом и возможность обновления существующего представления концепции.Первый используется учащимся во время устного перевода, а второй — во время согласования.

3.3.1. Соответствие концепции объекту

Чтобы сопоставить концепцию с объектом из окружающей среды, мы должны предусмотреть некоторую форму измерения расстояния или сходства. На основе этой меры агент может решить, применима или нет конкретная концепция для конкретного объекта, например, во время интерпретации. Эта идея аналогична Wellens (2012), поскольку она позволяет агенту использовать концепцию, даже если она не совсем соответствует конкретному объекту.Однако Велленс (2012) рассматривает только символические атрибуты, что позволяет ему реализовать такую ​​меру, используя операции над множествами. В этой работе мы используем непрерывную меру подобия. В частности, сходство между концепцией C и объектом O может быть вычислено по среднему сходству между каждым из атрибутов, взвешенному по уверенности в том, что атрибут принадлежит концепции. Формально подобие S ( C, O ) реализуется следующим образом:

, где A _C — набор атрибутов, связанных с концепцией C , | A _c | представляет количество атрибутов, c ( C _a ) возвращает оценку достоверности для определенного атрибута a в концепции C и C _a и O _a представляют значение атрибута для атрибута a в концепции C и объекте O , соответственно.

Учитывая приведенное выше определение меры сходства S между концептом и объектом, нам нужна мера сходства S ‘для конкретного атрибута a концепции и объекта, соответственно. Для этого мы представляем значение атрибута в рамках концепции ( C _a ) как нормальное распределение. Функция подобия S ‘основана на оценке z значения атрибута объекта ( O _a ) относительно этого нормального распределения.Мы встроили оценку z в линейную функцию, чтобы преобразовать маленькую оценку z в высокое значение сходства и большую оценку z в низкое значение подобия. Эта функция сопоставляет z -счет 0 с подобием 1, и когда z -счет достигает 2, сходство падает до 0. Если z -оценка будет больше 4, сходство будет обрезать на -1. Мера подобия S ′ может быть выражена следующим уравнением:

, где z _{O a} относится к z -оценке значения атрибута объекта O _a по отношению к атрибуту концепции, C , представленное как нормальное распределение.

Учитывая, что функция подобия S ‘возвращает значение от -1 до 1, а оценка всегда находится между 0 и 1, мера сходства S также возвращает значение от -1 до 1.

3.3.2. Обновление концепций

После каждой игры концепция, используемая в этой игре, может быть обновлена ​​с точки зрения как прототипного значения, так и оценки достоверности каждого атрибута. Таким образом, агент может постепенно формировать свое концептуальное представление в соответствии с окружающей средой, опять же, аналогично Велленсу (2012).Механизм обновления основан на обратной связи, предоставленной преподавателем после взаимодействия. В частности, учащийся обновит концепцию, которую он использовал во время взаимодействия, чтобы она была ближе или лучше соответствовала объекту темы. Эта процедура обновления работает в два этапа:

1. Агент обновляет прототипное значение всех атрибутов в концепции. Здесь мы решили обновить все атрибуты, поскольку оценки достоверности атрибутов могут еще не быть стабильными. Когда особый атрибут внезапно становится важным, e.g., из-за изменений в окружающей среде мы также хотим, чтобы его ценность отражала уже увиденные примеры. Механизм обновления использует онлайн-алгоритм Велфорда (Welford, 1962). Это онлайн-алгоритм, который определяет повторяющиеся отношения для среднего и стандартного отклонения. Это позволяет нам пересчитать среднее значение и стандартное отклонение распределения, добавив одно наблюдение, без необходимости хранить все наблюдения. На уровне реализации каждый атрибут отслеживает количество наблюдений N , прототипное значение p _n и сумму квадратов разностей от текущего среднего M _{2, n} с n обозначает текущее взаимодействие.Последний инициализируется на 0,05. Учитывая новое наблюдение x _n , эти значения можно обновить с помощью следующих уравнений:

Стандартное отклонение, необходимое для вычислений подобия, описанных выше, может быть вычислено из N и M _{2, n} следующим образом:

2. Агент повысит достоверность того подмножества атрибутов, которое является наиболее характерным для темы.Оценка достоверности снижена для всех остальных атрибутов. Подмножество атрибутов является отличительным, когда оно больше похоже на тему, чем на любой другой объект в сцене. Поскольку это может быть верно для нескольких подмножеств, мы определяем наиболее различающее подмножество как такое, в котором разница между сходством с темой и наиболее похожим другим объектом максимальна. Таким образом, во время процедуры обновления мы не только используем сам объект темы, но и сравниваем его с другими объектами сцены.Это гарантирует, что комбинация атрибутов и, в конечном итоге, весь набор концепций функционально актуален в среде агента. Чтобы вычислить наиболее различимое подмножество атрибутов, мы используем функции подобия S и S ‘, как определено выше. Наконец, чтобы уменьшить вычислительную нагрузку, учитываются не все подмножества атрибутов. Они фильтруются, чтобы содержать по крайней мере набор атрибутов, которые сами по себе являются различительными. Процедуру обновления оценок достоверности можно резюмировать следующим образом:

• Определить отличительные атрибуты, т.е.е., атрибуты, которые больше похожи на тему, чем на любой другой объект в сцене. Здесь мы используем функцию подобия S ′. Это дает, например, площадь и количество углов .

• Вычислить все подмножества атрибутов концепции.

• Отфильтруйте все подмножества, чтобы они содержали хотя бы атрибуты, найденные на первом шаге. В результате получаются такие подмножества, как { площадь, количество углов }, { площадь, количество углов, соотношение ширины }, { площадь, количество углов, шероховатость } и т. Д.

• Найдите отличительные подмножества атрибутов, то есть подмножество, для которого сходство с темой больше, чем с любым другим объектом в сцене. Здесь мы используем функцию подобия S .

• На предыдущем шаге можно создать несколько подмножеств. Мы берем тот, который максимизирует разницу в сходстве между темой и наиболее похожим другим объектом.

• Увеличьте оценку достоверности атрибутов в этом подмножестве и уменьшите оценку достоверности всех других атрибутов.

Хотя это концептуальное представление легко понять, существует, однако, важное предположение, а именно, что значения атрибутов моделируются с использованием нормальных распределений. Статистическое тестирование с использованием теста нормальности Д’Агостино и Пирсона (д’Агостино, 1971; Д’Агостино и Пирсон, 1973) показывает, что это не относится ни к одному из атрибутов. Распределения атрибутов действительно приближаются к нормальному распределению, но имеют более тонкие хвосты на обоих концах. Тем не менее, это может показаться странным, особенно для некоторых изученных концепций.В качестве примера возьмем концепт LEFT . Важно отметить, что концепция LEFT означает «слева на изображении», а не «слева от другого объекта». При таком определении left координата x является важным атрибутом этой концепции. Если мы рассмотрим изображения набора данных CLEVR, координата x объекта может быть где угодно между 0 и 480. В этой настройке мы считаем, что объект имеет значение ЛЕВЫЙ , когда координата x меньше 240. Основная масса объектов, которые можно рассматривать LEFT не будет ни близко к 0, ни близко к 240, но где-то посередине, например.g., вокруг координаты x 170. Из этого легко понять, что наше предположение не вызовет много проблем в этом конкретном наборе данных, но в целом можно утверждать, что объекты с координатой x меньше 170 действительно могут рассматриваться «Более левым», в то время как объекты с координатами x больше 170 постепенно «менее левыми». В настоящее время это не отражено в нашем концептуальном представлении.

3.4. Поведение репетитора

Как упоминалось в разделе 3.1, преподаватель ищет наименьший набор концепций, который отличает тему от других объектов сцены, на основе символической аннотации истинности сцены.Учитывая тему, которую можно символически описать как (ЗЕЛЕНЫЙ, КУБИЧЕСКИЙ, БОЛЬШОЙ, РЕЗИНОВЫЙ, ЛЕВЫЙ, ПЕРЕДНИЙ) , преподаватель попытается описать ее с помощью единой концепции. Обходя концепции темы в случайном порядке, преподаватель проверяет, не разделяют ли другие объекты сцены эту концепцию. Например, если тема — единственный куб в сцене, будет возвращен концепт CUBE . В большинстве экспериментов мы ограничиваем преподавателя использованием только одного понятия для описания объекта. Однако в некоторых сценах невозможно описать объект с помощью единой отличительной концепции.В этом случае преподаватель выберет новый объект темы или пробует новую сцену.

В эксперименте по изучению композиции, описанном в разделе 4.4, мы снимаем ограничение на использование одного слова. Там, если не удается найти единую отличительную концепцию, преподаватель пробует все подмножества двух концепций. Например, может быть несколько кубов и несколько зеленых объектов, но только один зеленый куб. В этом случае комбинация GREEN и CUBE является дискриминационной.Опять же, эти подмножества рассматриваются в случайном порядке. Эту процедуру можно повторять для подмножеств из трех концепций и четырех концепций, пока не будет найдено отличительное подмножество.

4. Экспериментальная установка

В этом разделе мы описываем различные эксперименты, предназначенные для демонстрации различных аспектов предлагаемого подхода к изучению концепций. В первом эксперименте мы устанавливаем базовые характеристики нашего подхода (раздел 4.1). В следующих экспериментах мы проверяем, насколько хорошо эти концепции обобщаются (раздел 4.2), как их можно изучать постепенно (раздел 4.3) и как их можно комбинировать композиционно (раздел 4.4). Графический обзор экспериментов представлен на рисунке 5.

Рисунок 5 . Обзор экспериментов, каждый из которых демонстрирует определенный аспект нашего подхода к изучению концепций.

4.1. Прозрачные, многомерные концепции

В первом эксперименте мы проверяем механизмы обучения с помощью настройки языковой игры, изложенной в разделе 3.1. Мы сравниваем успеваемость учащегося с использованием симулированных (раздел 3.2.2) и более реалистичных (раздел 3.2.3) атрибутов с непрерывными значениями. В обоих случаях мы используем сцены из проверочного разделения набора данных CLEVR. Агент обучающегося оценивается с точки зрения коммуникативного успеха и размера концептуального репертуара. Наша цель — проверить, может ли агент успешно усвоить и использовать концепции, известные преподавателю. Кроме того, мы исследуем приобретенные концепции, чтобы увидеть, находит ли агент комбинации атрибутов, релевантные в текущей среде.

4.2. Обобщение

Используя набор данных CLEVR CoGenT (Johnson et al., 2017), мы проверяем, являются ли приобретенные концепции достаточно общими, чтобы распространяться на невидимые экземпляры и комбинации атрибутов. Набор данных CLEVR CoGenT состоит из двух условий. В состоянии A кубики могут быть серыми, синими, коричневыми или желтыми, цилиндры — красными, зелеными, пурпурными или голубыми, а сферы могут иметь любой из этих цветов. В условии B цвета кубиков и цилиндров меняются местами. Как и исходный набор данных CLEVR, данные CoGenT имеют символьную аннотацию, которая может быть преобразована в атрибуты с непрерывным значением с помощью методов, описанных в разделе 3.2. Наша цель — проверить, действительно ли обучающийся агент усваивает концепции, независимо от статистического распределения или совпадений в среде. Мы оцениваем это, играя в несколько взаимодействий в условии A, после чего выключаем обучение, а затем выполняем несколько игр в условии B для оценки коммуникативного успеха. Здесь мы ожидаем увидеть, что коммуникативный успех остается стабильным между условиями A и B, указывая на то, что концепции, приобретенные агентом, не полагаются на совместное появление в окружающей среде, как это часто бывает с другими типами моделей.Кроме того, варьируя количество взаимодействий в условии A, мы получаем представление о том, как быстро учащийся может усвоить концепции, которые работают в этом мире.

4.3. Пошаговое обучение

Постепенно расширяя среду, мы демонстрируем адаптивность и открытость нашего подхода к изучению концепций. Для этого эксперимента мы создали наш собственный вариант набора данных CLEVR, состоящий из пяти разделов. В каждом разбиении добавляется больше концепций и доступно меньше данных.В первом разделе мы предлагаем 10 000 изображений, где все объекты представляют собой большие резиновые кубики четырех разных цветов. Во втором разделе есть 8000 изображений, и эти кубики могут быть большими или маленькими. Сферы и цилиндры добавляются в третьем разделе, и данные сокращаются до 4000 сцен. Четвертый разделитель снова уменьшает вдвое количество данных, и добавляются металлические объекты. Наконец, в пятом разделе добавлены еще четыре цвета, и доступно только 1000 сцен. Разделы сведены в Таблицу S1.

Учащийся агент последовательно подвергается каждому из разбиений, не сбрасывая свой репертуар концепций или не отключая обучающие операторы.Мы отслеживаем коммуникативную успешность и размер репертуара концептов на протяжении всего эксперимента. Наша цель в этом эксперименте двоякая. Во-первых, мы показываем, что механизмы обучения могут легко и быстро адаптироваться к меняющейся среде. Нет необходимости полностью или даже частично переобучать репертуар, когда становятся доступными новые концепции, или указывать количество концепций, которые необходимо изучить заранее, как это было бы в случае с другими типами моделей. Глядя на эволюцию концепций, мы можем изучить, как определенные атрибуты могут стать более или менее важными по мере изменения окружающей среды.Во-вторых, мы снова показываем эффективность данных нашего подхода, уменьшая доступное количество сцен в разбиениях.

4.4. Композиционные концепции

Представление концепции, как описано в разделе 3.3, можно легко расширить до композиционных высказываний из нескольких слов. Для этого необходимо объединить взвешенное представление множества концепций. Это достигается с помощью операции, аналогичной оператору объединения из теории нечетких множеств (Zadeh, 1965). При наличии двух концепций, C ₁ и C ₂ , их соответствующие наборы атрибутов объединяются таким образом, что для каждого атрибута, встречающегося в обоих концепциях, выбирается тот, который имеет наивысшую оценку достоверности.Это показано на рисунке 6.

Рисунок 6 . При композиционном сочетании концепций один и тот же атрибут может встречаться несколько раз. В этом случае результирующая концепция получает ту, которая имеет наивысший балл достоверности.

В этом эксперименте преподаватель может использовать до четырех слов для описания тематического объекта. Когда все слова в высказывании неизвестны учащемуся, он принимает их все, а объект темы является исходным семенем. Если все слова известны, учащийся выполняет выравнивание, используя составленную концепцию.Из-за этого не все атрибуты всех задействованных концепций получат обновленное значение прототипа и оценку достоверности, а только те, которые встречаются в объединенном концепте. Например, в объединенном понятии «C1 + C2» на Рисунке 6 атрибуты «a-2» и «a-3» из понятия «C1» и атрибуты «a-1» и «a-7» из понятия «C2». »Получит обновление. Наконец, если некоторые слова высказывания известны, а другие неизвестны, учащийся сначала усваивает неизвестные слова, а затем выполняет выравнивание, используя известные слова.В этом эксперименте мы исследуем, как коммуникативный успех, скорость обучения и результирующие концепции агента влияют на настройку произнесения нескольких слов, и сравниваем это с экспериментом с одним словом, описанным в разделе 4.1.

5. Результаты

В этом разделе мы подробно остановимся на результатах экспериментов, описанных выше. Чтобы построить графики, мы провели все эксперименты пять раз для 10 000 взаимодействий и усреднили результаты. Планки погрешностей показывают стандартное отклонение.Графики были созданы с использованием скользящего окна на 250 взаимодействий. Все эксперименты проводились на проверочном разделе набора данных CLEVR (15K сцен) с использованием случайно выбранной сцены для каждого взаимодействия. Эксперименты проводились с использованием набора инструментов Babel с открытым исходным кодом (Loetzsch et al., 2008; Nevens et al., 2019).

5.1. Прозрачные, многомерные концепции

В первом эксперименте мы проверяем механизмы обучения, предложенные ранее в этой статье. Мы оцениваем обучающегося агента по его способности успешно общаться и по репертуару концепций, как в более простой, смоделированной среде, так и в более реалистичной и шумной.На рисунке 7A мы показываем коммуникативный успех агентов в этих средах. Агенты могут достичь 100% коммуникативного успеха в симулированном мире всего после ~ 500 взаимодействий. Из того же рисунка мы видим, что механизмы обучения работают несколько хуже в более реалистичной и шумной среде. Агенты достигают довольно стабильного уровня коммуникативного успеха после ~ 500 взаимодействий, достигая 91% коммуникативного успеха (стандартное отклонение 0,3%).

Рисунок 7 . (A) Коммуникативный успех быстро растет и достигает 100% в симулированном мире и 91% в шумном мире. (B) В обеих средах агент получает ровно 19 концепций. Эти концепции интерпретируются человеком и охватывают отличительные комбинации атрибутов. Концепция СФЕРА фокусируется на атрибутах, связанных с формой, как в моделируемой среде (C) , так и в извлеченной среде (D) . Атрибуты с оценкой достоверности 0 скрыты.

На рис. 7B показан размер словаря обучаемого агента в обеих средах. Как и в случае коммуникативного успеха, мы видим, что он быстро увеличивается и стабилизируется на 19 концепциях, которые являются концепциями, присутствующими в наборе данных CLEVR. Мы отсекаем эти цифры после 2500 из 10000 взаимодействий, так как показатели достигли стабильного уровня.

Представление концепций, предложенное в этой работе, позволяет ясно и легко интерпретировать изученные концепции. Мы демонстрируем это на рисунках 7C, D, где показана концепция СФЕРА , полученная после 5000 взаимодействий как в смоделированной, так и в шумной среде.В обоих случаях мы видим, что некоторые атрибуты стали важными для учащегося, что отражено в высоких оценках достоверности. В моделируемом мире это кол-во углов и кол-во сторон , в то время как в шумном мире это соотношение ширины и высоты , окружность-расстояние и bb-area- соотношение . Атрибут круговое расстояние представляет собой расстояние Хэмминга между контуром объекта и минимальным охватывающим кругом, а атрибут bb-area-ratio представляет соотношение между площадью объекта и площадью его ограничивающего прямоугольника.Все эти атрибуты действительно интуитивно связаны с формой. Мы даем обзор всех изученных концепций, полученных в симулированном мире и зашумленном мире на рисунках S1, S2, соответственно.

С помощью этого эксперимента мы показали, что обучающийся агент может автоматически выделять значимые концепции из потока непрерывных данных в форме различающих подмножеств атрибутов и их прототипных значений и может успешно использовать их в общении. Более того, поскольку эти концепции выражаются с использованием интерпретируемых человеком каналов функций, модель и результирующий набор концепций полностью прозрачны.

5.2. Обобщение

В эксперименте по обобщению мы показываем, что способность агента изучать концепции полностью независима от статистических распределений или совпадений в наборе данных. Для этого эксперимента мы используем набор данных CLEVR CoGenT, который состоит из двух условий. Агент сначала учится во время ряда взаимодействий в условии A. Затем обучающие операторы отключаются, и мы оцениваем коммуникативный успех агента в условии B для оставшихся взаимодействий.Мы ожидаем, что агенты сохранят стабильный уровень коммуникативного успеха при переходе от условия А к Б. Мы снова оцениваем как смоделированную, так и шумную среду. Кроме того, мы варьируем количество обучающих взаимодействий при условии A, чтобы проверить скорость, с которой обучающийся агент может усвоить полезные концепции.

На рисунке 8 мы показываем коммуникативный успех агентов как во время обучения в условии A, так и во время оценки в условии B. Из этого рисунка ясно, что обучающийся агент не может достичь того же уровня успеха, что и в предыдущем эксперименте, после 100 тренировок. взаимодействия.Однако такой успех достигается всего за 500 тренировочных взаимодействий. Это указывает на то, что репертуар концепций учащегося формируется быстро и его достаточно для успешного взаимодействия. Кроме того, при переходе от условия A к B не происходит снижения коммуникативного успеха в смоделированной среде и только незначительное снижение в шумной среде. Это указывает на то, что концепции, приобретенные агентом, абстрагируются от наблюдаемых примеров.

Рисунок 8 .Коммуникативный успех после обучения для 100 взаимодействий (A) , 500 взаимодействий (B) или 1000 взаимодействий (C) в состоянии A. Концепции усваиваются полностью независимо от совпадений в окружающей среде. Агенты достигают того же уровня коммуникативного успеха, что и в предыдущем эксперименте, при условии не менее 500 взаимодействий в условии A.