Формальные методы представления композициональности в семантических моделях

Соколов Константин Владимирович

Формальные методы представления композициональности в семантических моделях

В работе описан подход к построению композициональных семантических моделей, совмещающих векторные репрезентации с теоретико-типовым механизмом контроля композиции. Рассматриваются возможности расширения традиционных методов моделирования композиции на основе унификации и функционального применения. Предложенные модификации позволяют отразить такие языковые явления, как логическая полисемия и изменение значения под влиянием контекста.

Комплексные проблемы общественных наук

Диссертации

Вуз: Санкт-Петербургский государственный университет (СПбГУ)

ID: 587d36915f1be77c40d5929b

UUID: daacc233-15d5-49bb-b721-cf2af832e2d8

Язык: Русский

Опубликовано: больше 7 лет назад

Просмотры: 27

Соколов Константин Владимирович

Источник: Санкт-Петербургский государственный университет

Комментировать 0

Рецензировать 0

Скачать - 507435 bytes

Поделиться работой

ПРАВИТЕЛЬСТВО РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ» (СПбГУ) Выпускная квалификационная работа аспиранта на тему: Формальные методы представления композициональности в семантических моделях Образовательная программа «Прикладная и математическая лингвистика» (специальность научных работников 10.02.21 «Прикладная и математическая лингвистика») Автор: Соколов Константин Владимирович Научный руководитель: кандидат филологических наук, доцент Захаров Виктор Павлович Научный консультант: кандидат филологических наук, доцент Митрофанова Ольга Александровна Рецензент: кандидат филологических наук, доцент Азарова Ирина Владимировна Санкт-Петербург 2016

2 ОГЛАВЛЕНИЕ Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 Методы моделирования композиции в семантических формализмах . . . . . . . . . 6 2 Расширения композиционального аппарата . . . . . . . . . . . . . . . . . . . . 9 2.1 Расширения для унификационных формализмов . . . . . . . . . . . . . . . 9 2.2 Расширения для систем с теоретико-типовым контролем композиции. . . . . . 11 Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 Приложение А. Основные определения . . . . . . . . . . . . . . . . . . . . . . . 16 A.1 Типизированные структуры признаков . . . . . . . . . . . . . . . . . . . 16 A.2 Гибридная логика . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 A.3 Зависимое произведение (Π-тип) . . . . . . . . . . . . . . . . . . . . . . 18 A.4 Векторное расслоение . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3 ВВЕДЕНИЕ Данная работа посвящена поиску путей совмещения формальных (символьных, композиционных) подходов в лексической семантике и семантике предложения [Carpenter, 1992; Montague, 1975; Pustejovsky, 1991; Ranta, 1994] и дистрибутивных (квантитативных, векторных, некомпозиционных) подходов в лексической семантике [Landauer, Dumais, 1997; Lenci, 2008]. Оба эти направления имеют длительную историю развития и занимают заметное положение среди различных концепций лингвистической семантики, а в ряде прикладных областей (обработка естественного языка, извлечение знаний, информационный поиск, семантико-синтаксические анализаторы и др.) играют ключевую роль [Blackburn, Bos, 2005; Manning, Raghavan, Schütze, 2008]. Методы и теоретические предпосылки этих направлений существенно различны, что делает затруднительным их объединение в рамках единой семантической модели. Тем не менее, потребность в таком объединении неоднократно подчеркивалась [Baroni, Bernardi, Zamparelli, 2014; Coecke, Sadrzadeh, Clark, 2010; Mitchell, Lapata, 2010; Widdows, 2008]. В то время как формальная семантика, руководствуясь принципом композициональности [Partee, 1984], смогла предложить анализ большого числа нетривиальных лингвистических явлений, охват языкового материала в рамках этого подхода оказывается скромным, так как предполагает осуществление анализа и формализации языковых явлений вручную.1 Кроме того, в большинстве случаев значения слов трактуются в качестве примитивов.2 В свою очередь, дистрибутивные модели, строящиеся на основе обработки больших массивов текстов и позволяющие определить понятие семантической близости между отдельными словами, представляются в достаточной мере эмпирически обоснованными, однако при этом значительно менее выразительными. В частности, они оказываются нечувствительны ко многим аспектам лексической семантики (полисемия, фразеология, метафорические и метонимические переносы) и не допускают распространения на уровень предложения. Предположительно, совмещение сильных сторон формальной и дистрибутивной семантики может позволить преодолеть эти ограничения. Задача реализации композициональных дистрибутивных семантических моделей в последние годы приобрела приоритетный характер в рамках прикладной лингвистики. Практика реализации дистрибутивных (векторных) семантических моделей претерпела за последние несколько лет значительные изменения. В ранних подходах, таких как латентный семантический анализ [Landauer, Dumais, 1997], компоненты векторных репрезентаций отдельных слов строились на основе непосредственного подсчета совместной встречаемости в контекстном окне фиксированного размера, возможно, с последующей обработкой полу1 В последние годы также получило развитие направление, ставящее своей целью разработку методов ав- томатического восстановления логических форм средствами машинного обучения [Liang, Potts, 2015; Zettlemoyer, Collins, 2012]. 2 Но ср. с концепцией генеративного лексикона Дж. Пустейовского [Pustejovsky, 1991; 1995].

4 ченной разреженной матрицы с целью понижения размерности. Это приводило к построению векторов с большим числом компонентов, каждый из которых тем не менее мог быть проинтерпретирован (либо как встречаемость некоторой словоформы в общих контекстах, либо как коэффициент при «латентном» семантическом признаке). В работе [Mikolov (et al.), 2013] была впервые применена техника аппроксимации компонентов векторов средствами машинного обучения, что позволило достигать сопоставимого качества моделей при значительном уменьшении размерности и снижении вычислительных затрат на их построение. При этом отдельные компоненты векторов оказывается невозможным интерпретировать непосредственно. Проблема реализации композициональных механизмов в рамках дистрибутивной семантики была поставлена в работах [Coecke, Sadrzadeh, Clark, 2010; Mitchell, Lapata, 2010; Widdows, 2008]. Среди предлагавшихся методов реализации композиции в дистрибутивных моделях можно назвать методы на основе «смешивания векторов» (vector mixture), т. е. аддитивные и мультипликативные способы композиции [Mitchell, Lapata, 2010], методы на основе тензорных операций (тензорного умножения, свертки и т. п.) [Smolensky, 1990; Widdows, 2008], линейных отображений [Baroni, Bernardi, Zamparelli, 2014; Coecke, Sadrzadeh, Clark, 2010], декомпозиции тензоров [Van de Cruys, Poibeau, Korhonen, 2013], композиции на основе проекций [Tsubaki (et al.), 2013], методы реализации репрезентаций слов в искусственных нейронных сетях с одновременной обработкой композиции [Pennington, Socher, Manning, 2014; Socher (et al.), 2013] и другие. Несмотря на множество известных подходов, задача реализации композициональных дистрибутивных моделей ещё далека от окончательного решения. Простые методы композиции на основе сложения и умножения векторов не способны учитывать синтаксическую структуру языковых конструкций, более сложные подходы оказываются крайне неэффективными с вычислительной точки зрения. Этим определяется актуальность рассматриваемой темы. Обращаясь к данной проблеме, мы выбираем формальный подход. Выбор основан на уверенности в том, что для убедительной реализации композициональных механизмов в семантике следует прежде всего изучить природу композиции. Ключом к пониманию могут служить многочисленные случаи нарушения композициональности в естественном языке, анализ которых должен позволить установить область применимости принципа композициональности в семантических моделях. Цель данного исследования состоит в разработке методов построения композициональных семантических моделей, совмещающих векторные репрезентации с формальными механизмами композиции. Достижение этой цели требует решения следующих задач. Во-первых, в связи с необходимостью учета языковых явлений, анализ которых в рамках традиционных моделей затруднен, исследуются возможности построения механизмов контроля композиции. В представленных работах мы рассматриваем два возможных пути – на основе унификации с контролем равенства и на основе функционального применения с внешним контролем, осуществляемым с помощью некоторой дедуктивной системы. Во-вторых, требуется предложить

5 способы повышения выразительности известных в настоящее время композициональных семантических моделей, в т. ч. дистрибутивных. Отталкиваясь от вычислительной характеристики композиции в формальной семантике, основанной на соответствии Карри-Ховарда и позволяющей соотнести процедуры конструирования семантических представлений с некоторым логическим исчислением, предлагаются модификации, способые отразить такие явления, как логическая полисемия и изменение значения под влиянием контекста. Теоретическая значимость работы связана с тем, что предлагаемые обобщения механизмов композиции позволяют сопоставить квантитативные и формальные методы в лексической семантике и семантике предложения и выявить пути их совмещения в рамках гибридной модели. Практическая значимость определяется тем фактом, что описанные методы позволяют добиться большей выразительности семантических моделей, в том числе основанных на обработке корпусных данных, что ведет к повышению их эмпирической обоснованности. Возможности практического применения рассматриваемых моделей связаны с разработкой систем семантического анализа текстовых фрагментов, играющих ключевую роль при решении таких задач, как голосовое управление оборудованием, обработка больших объемов однотипных запросов при автоматизации контактных центров и служб технической поддержки, оценка семантической близости, логический вывод на основе текста и др. Основные положения и результаты работы представлены в следующих публикациях: – Соколов К. В. Формализация локальных свойств в структурах типизированных признаков // Материалы XLIII Международной филологической конференции. Секция прикладной и математической лингвистики. – Филологический факультет СПбГУ – 2014. – Sokolov K., Timofeev D., Samochadin A. Process Extraction from Texts using Semantic Unification // Proceedings of the 7th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management (IC3K 2015) – Vol. 3: KMIS – 2015. – Sokolov K. A Vector Model for Dependent Type Semantics // Proceedings of the First Workshop on Representation Learning for NLP (ACL–2016 Workshop), to appear.

6 ГЛАВА 1. МЕТОДЫ МОДЕЛИРОВАНИЯ КОМПОЗИЦИИ В СЕМАНТИЧЕСКИХ ФОРМАЛИЗМАХ Общепринятая в настоящее время в лингвистических работах формулировка принципа композициональности принадлежит Б. Парти: “Значение языкового выражения определяется значениями его составных частей и способом их комбинирования” [Partee, 1984]. Формальная семантика – направление, сложившееся в начале 1970-х годов благодаря работам Р. Монтегю, – строго следует данному принципу, из-за чего иногда характеризуется как “композициональная семантика”, что призвано подчеркнуть её принципиальное отличие от ряда других подходов к моделированию семантического уровня языка, таких как дистрибутивная семантика или лексическая семантика, где механизмы композиции не рассматриваются в качестве основного компонента модели. Трактовка композиции в формальной семантике основана на понятии функционального применения, а аппарат заимствуется из λ-исчисления. Семантическое представление здесь – это метаязыковое (логическое) выражение. Конкатенация двух таких выражений с последующей редукцией приводит к формированию нового семантического представления, основанного на исходных. Связанные переменные в λ-терме могут пониматься как позиции, подлежащие заполнению, поэтому стандартный механизм редукции позволяет осуществлять подстановку одних выражений в другие. Например, (λx.man(x))john редуцируется к форме man(john). Важным свойством простого типизированного λ-исчисления является возможность построить нормальную форму независимо от порядка редукций в случае, если она существует. Это позволяет отвлечься от последовательности применения операций семантической композиции и считать, что формальная запись отражает семантическую информацию в силу своей внутренней структуры (использованных предикатных символов, количества и имен переменных с учетом их области видимости). “Сборка” семантического представления при этом полностью подчинена синтаксическому процессу. Другой важный аспект данной техники моделирования композиции заключается в возможности рассматривать пару λ-выражений как асимметричную. Так, в предыдущем примере выражение λx.man(x) может быть истолковано как функция, “применяемая” к выражению john, или действующая на него. Другой подход к реализации композиции связан с понятием унификации (в т. ч. для систем переписывания термов) и системами ограничений (формальные языки описания структур признаков, такие как логика Каспера-Раундса, Джонсона, гибридная логика; ситуационная семантика; дескрипционные логики и пр.) Этот подход сложился в связи с разработками в области нетрансформационного синтаксиса (грамматики присоединения деревьев, категориальные грамматики, вершинные грамматики, унификационные грамматики; синтаксические теории на основе типизированных структур признаков, включая вершинную грамматику составляющих и лексико-функциональную грамматику) и построения для них

7 синтактико-семантического интерфейса (А. Джоши, М. Стидман и др.) Композиция в данном подходе реализуется как унификация. В основе аппарата лежат т. н. структуры признаков (возможно, типизированные), которые могут быть строго формализованы с привлечением алгебраических, логических и теоретико-графовых конструкций. Активные исследования в рамках этого направления проводятся в 1980-е годы [Shieber, 1986], формулируются теории, претендующие на общелингвистическую значимость [Kaplan, Bresnan, 1982; Pollard, Sag, 1994], c начала 1990-х выходят обобщающие теоретические работы [Carpenter, 1992], ведутся работы по созданию практических программных реализаций грамматик [Copestake, 2002; Doran (et al.), 1994]. Наконец, третье из известных направлений можно условно назвать алгебраическим. Речь идет об отдельных исследованиях в области алгебраической и топологической семантики, операционной семантики, теоретико-игровой семантики, теории доменов и пр. Среди них топологические модели для модальной логики S4 по А. Тарскому и Дж. Маккинси и FOS4 по С. Аводею и К. Кисида, теоретико-категорная семантика для окрестностных грамматик Шрейдера, построенная В. А. Лапшиным, работы О. Б. Прозорова, семантика для структур репрезентации дискурса на основе теории пучков по C. Абрамскому и М. Садрзаде, операционная семантика для системы Д. Галлина Ty2 по Я. Московакису, работы в области абстрактных категориальных грамматик и др. Алгебраический подход к композиции тесно связан с системами на основе ограничений, ср. ранние варианты семантики для лексико-функциональной грамматики [Dalrymple, Lamping, Saraswat, 1993], лексикализованная грамматика на основе ограничений (Constraint Based Lexicalized Grammar). Указанные способы моделирования композиции можно обобщить. Ближайшие результаты такого рода – теоретико-категорные обобщения унификации, напр. по Ж. Гогену [Goguen, 1989]. В рамках подобных обобщений возможность реализации функционального применения определяется декартовой замкнутостью категории (т. е. связью с вычислениями в силу соответствия Карри-Ховарда-Ламбека); топологическая интерпретация возникает естественно из свойств категории, предпучок вводится как контравариантный функтор и т. п. Возможность построения семантического формализма с универсальным механизмом композиции значений часто подвергалась сомнению. Обзор проблем можно найти в работах [Hodges, 2004; Janssen, 1996; Szabó, 2013]. Проблемы связаны с целым рядом языковых явлений. Помимо очевидных случаев некомпозиционного характера значений фразеологизмов (под каблуком), метафорических (падение рынка) и метонимических (переговоры с Москвой) переносов, особые сложности связаны с композициональной трактовкой многозначности и влиянием контекста. К числу таких явлений можно отнести обычную полисемию (ручка), логическая полисемия (книга – физический объект и информационный носитель; обед – еда и событие; Иван – тело и личность), контекстную адаптацию значения аргумента (тяжелая книга и скучная книга), контекстную адаптацию значения предиката (красный арбуз, красное лицо, красный кристалл) [Lahav, 1989], коадаптацию значений (красная книга), сопредика-

8 цию, т. е. конфликт трактовок единственного аргумента (обед был вкусный, но длился вечность) [Pustejovsky, 1995], противопоставления части и целого, в том числе при употреблении классификаторов (выпить стакан, разбить стакан), коллокации как неслучайные сочетания лексических единиц (свободные, т. е. устроенные композиционально, и несовободные, т. е. некомпозициональные, степень «свободы» или «проницаемости» определяется свойствами отдельных лексических единиц), затруднения с композициональным анализом некоторых случаев неопределенности области действия квантора, ограничения на референциальные переменные и анафору, ведущие к невозможности однозначной экстенсиональной трактовки высказывания (случаи вроде каждый из рецензентов оставил отзыв на статью каждого из авторов). Возникновение трудностей при анализе этих случаев может быть объяснено не проблематичностью самого понятия композиции значений, а ограничениями используемого технического аппарата. Традиционный подход к моделированию композиции – функциональное применение, при котором значение отдельного предиката или агрумента трактуется как некоторый примитив (однозначный символ), а процедура композиции – как применение одного к другому, согласованное с направлением связи между словами (синтаксической зависимости, валентности и т.п.), т. е. как асимметричное действие. Наличие направленных связей отражает существенные свойства языка, игнорировать их нежелательно (ср. с аддитивными и мультипликативными методами композиции в векторых моделях, совершенно не учитывающими синтаксической структуры и рассматривающими предложение как «мешок слов» (bag of words), что является, конечно, чрезмерным упрощением). Необходимо как сохранить возможность адаптации лексических единиц друг к другу в процессе композиции, так и учитывать направление синтаксических связей между словами. Известные способы преодоления рассмотренных выше затруднений достаточно разнообразны. Во-первых, либо сам композициональный формализм, либо его интерпретация может подвергаться модификации [Groenendijk, Stokhof, 1991; Hintikka, 1973]. Во-вторых, в качестве исходного может выбираться формализм заведомо чрезмерно выразительный, вплоть до неразрешимого [Francez, Wintner, 2011], на который затем накладываются специальные ограничения. Таков подход, принятый в вершинной грамматике составляющих, где грамматика формулируется путем задания ряда универсальных принципов (принцип признака вершины, принцип наследования связывания, принцип лексического управления) и ограничений, относящихся к конкретному описываемому языку [Pollard, Sag, 1987]. В-третьих, для контроля композиции могут задействоваться дополнительные механизмы. Так, в подходах, основанных на недоопределенных (underspecified ) представлениях, формулируется специальная процедура “разрешения” (язык ограничений для лямбда-структур [Egg, Koller, Niehren, 2001], минимальная рекурсивная семантика [Copestake (et al.), 2005] и многие другие).

9 ГЛАВА 2. РАСШИРЕНИЯ КОМПОЗИЦИОНАЛЬНОГО АППАРАТА 2.1 Расширения для унификационных формализмов В связи с прикладной задачей интерпретации команд на естественном языке мы рассматриваем формализм, основанный на языке гибридной логики и реализованный в системе OpenCCG [Baldridge, Kruijff, 2002]. Основной элемент такого представления – это выражение вида @x ϕ, где x интерпретируется как референциальная переменная, ϕ как некоторое высказывание, характеризующее соответствующий референт, модальный оператор 3i вводит отношение семантической зависимости либо дополнительные атрибуты. Например, запись вида @x:thing (book ∧ 3num sg) означает, что объект x, относимый к классу вещей, описывается выражением book и атрибутом num co значением sg. Композиция реализуется как унификация, т. е. как непротиворечивое согласование информации, содержащейся в унифицируемых структурах. Одна из задач, возникающих в процессе построения логической формы, состоит в необходимости контроля области видимости референциальных переменных, задействованных в отдельных фрагментах семантического представления. Поскольку процедура композиции сводится к отождествлению переменных в соответствии с синтаксическими правилами, реализованными в грамматике, дополнительные механизмы контроля композиции необходимы для решения целого ряда задач, таких как устранение некорректных разборов на этапе синтаксически управляемой трансляции, проверки допустимости атрибутов с помощью внешней онтологии или решетки типов и пр. Задача голосового управления оборудованием (бытовыми и промышленными приборами, роботами и пр.) ставится в достаточно жестких ограничениях, что во многом определяет выбор формальных средств, доступных при её решении. Управляемое оборудование разнородно, однако набор функций, поддерживаемых тем или иным устройством, невелик. Использование систем распознавания речи, результаты работы которых представляют собой список гипотез, снабженых количественной характеристикой достоверности распознавания, ведет к необходимости оценки допустимости того или иного варианта с учетом внеязыковых факторов, таких как текущая конфигурация и состояние оборудования, местоположение пользователя, текущие настройки и приоритеты системы (напр., режим энергосбережения, повышенные требования к комфорту или безопасности), время суток и т.п. Проблемы, встающие перед системой анализа голосовых команд, достаточно разнообразны. Они включают в себя ошибки распознавания, различные случаи неоднозначности. Например, в силу синтаксической неоднозначности фраза «красная и белая лампа» может быть проинтерпретирована как описывающая две лампы разных цветов, либо как одну лампу (ср. «большой и сильный человек»). Фраза «красная лампа в прихожей» может описывать ситуацию, при которой в прихожей имеется несколько ламп, одна из которых красная, либо имеется множество красных ламп, одна из которых находится в прихожей. Фраза «включи свет и телевизор на

10 кухне» допускает несколько интерпретаций относительно местонахождения осветительного прибора (на кухне либо не на кухне). В ряде случаев для снятия недонозначности такого рода может потребоваться учет прагматических факторов или сведений о базовой онтологии (свойствах объектов и отношениях между ними). Например, команда «включи лампу на кухне и телевизор в комнате» допускает устранение некорректного разбора при учете сведений о том, что кухня не может находиться в комнате, вообще говоря, недоступных на уровне синтаксической структуры. Команда «включи лампу на столе и телевизор в комнате», обладающая тем же набором возможных синтаксических структурных описаний, не допускает устранения неоднозначности таким способом (стол может находиться либо не находиться в комнате). Предлагаемый способ решения указанных затруднений заключается в использовании формального представления значения команды, допускающего конвертацию в некоторое логическое выражение, и оценку его выполнимости относительно текущей конфигурации оборудования средствами проверки моделей. В реализованном нами прототипе был использован синтактико-семантический анализатор OpenCCG, реализующий интерфейс между комбинаторной категориальной грамматикой и унификационным семантическим формализмом [Baldridge, Kruijff, 2002]. В ходе анализа семантического представления извлекается команда и подграфы в позиции пациенса, которые конвертируются в выражение на языке гибридной логики. Полученное выражение вместе с описанием конфигурации оборудования подается на вход алгоритма проверки моделей для гибридной логики [Franceschet, de Rijke, 2006], результатом работы которого является определение точек отнесенности в модели, отвечающих устройствам, описываемым данным фрагментом семантической репрезентации. В случае невыполнимости соответствующая интерпретация отвергается. Возможен случай, когда описанию соответствуют несколько устройств. В рамках прикладной системы выбор конкретного устройства осуществляется отдельным компонентом принятия решений. В основе семантических анализаторов, основанных на правилах, лежит концепция синтактико-семантического интерфейса, т. е. возможности трансляции синтаксических структурных описаний предложения в формальное семантическое представление по некоторым правилам, реализуемым в грамматике. В рассматриваемой системе они представляют собой расширение правил комбинаторной категориальной грамматики, где синтаксические категории снабжаются пометами, указывающими на то, какие фрагменты семантических репрезентаций, построенных на предыдущих шагах работы анализатора, должны быть использованы в тех или иных позициях новой логической формы.1 Фактически, задача композиции сводится здесь к определению набора равенств (отождествлений) между референциальными переменными, получаемыми в результате анализа тех или иных фрагментов предложения. Ослабив условие полного подчинения композиции синтаксическим правилам, можно добиться большей выразительности и предложить анализ для сложных случаев, требующих учитывать влияние контекста. Известные нам расширения такого рода основаны на теории пучков, 1 Например, (s\npX )/npY : @e (3agent X ∧ 3patient Y).

11 позволяющей говорить о локальных семантических свойствах, ассоциированных с некоторым контекстом, классом контекстов или языковыми конструкциями. При этом композиция трактуется как непротиворечивое согласование (вообще говоря, не единственное) семантических представлений, связанных с контекстами, определяемыми различным образом. В работах О. Б. Прозорова такие контексты определяются как линейные цепочки словоформ различной длины [Prosorov, 2005]. В. А. Лапшин строит композициональную семантику для окрестностных грамматик Шрейдера, соответственно, в его подходе контексты отождествляются с окрестностями в синтаксических структурах графовой природы [Борщев, 2008; Лапшин, 2008]. В работе С. Абрамского и М. Садрзаде строится аналогичная конструкция, опирающаяся на структуры репрезентации дискурса, а «склейка» локальных сечений понимается как согласование референциальных переменных, подтверждаемое корпусными данными [Abramsky, Sadrzadeh, 2014]. Формализм структур признаков также допускает расширение такого рода, которое мы предлагаем реализовать с помощью конструкции накрытия графа. 2.2 Расширения для систем с теоретико-типовым контролем композиции Связь между логической (дедуктивной) системой и некоторой моделью вычислений, реализуемой в виде т. н. теории типов, известна как соответствие Карри-Ховарда [Howard, 1980]. Простейшим примером может служить следущий шаг дедукции в простом типизированном λ-исчислении: f :A→B a:A f (a) : B Здесь f есть функция, принимающая в качестве аргумента объект типа A и возвращающая объект типа B. Результатом вычисления является объект f (a) типа B. При этом вывод над типами здесь не что иное, как вывод по правилу modus ponens. Простому типизированному λ-исчислению, на котором основана грамматика Монтегю, соответствует импликативный фрагмент интуиционистской логики высказываний. Замещая в рамках указанного соответствия теоретико-типовой и логический компоненты более выразительными системами, можно добиться существенного изменения свойств семантических представлений. Среди способов контроля композиции, основанных на этой идее, следует отметить метод, реализованый М. Далримпл в рамках лексико-функциональной грамматики [Dalrymple, 1999; 2001]. Ею был использован дополнительный формальный язык (мультипликативный фрагмент линейной логики Жирара), выполняющий функции проверки допустимости тех или иных порождаемых в процессе анализа семантических представлений в контролируемом языке, в качестве которого выступает традиционный для формальной семантики метаязык на основе λ-исчисления. При этом он оказывается своего рода недоопределенным формализмом, а процедура разрешения замещается логическим выводом в языке-контролёре. Свойства такого формального представления смысла языковых выражений, включая композициональный аспект, определяются вычислительными характеристиками использованной

12 дедуктивной системы. В силу того, что линейная логика является неклассической, Далримпл удалось, в частности, предложить анализ употребления резумптивов, не поддающегося формализации в рамках обычного подхода. Тот же метод лежит в основе композициональных расширений дистрибутивных семантических моделей, реализуемых в работах оксфордской группы [Coecke, Sadrzadeh, Clark, 2010], где для контроля композиции используется грамматика предгрупп [Lambek, 2001], которой в рамках рассматриваемого соответствия между дедуктивной системой и моделью вычислений отвечают квантовые вычисления, согласующиеся с вычислительными свойствами используемых в этих моделях тензорных семантических представлений. Несмотря на указанные отличия в вычислительных свойствах, способ моделирования композиции в дистрибутивных моделях остаётся по существу таким же, как в формальной семантике – композиция реализуется здесь как функциональное применение. Отличие лишь в том, что в качестве базовых элементов репрезентации выбираются не λ-термы, а объекты другой природы (векторы, тензоры различных рангов). В силу этого, композициональные дистрибутивные модели оказываются так же не способны моделировать со-предикацию и контекстную адаптацию значений, как и модели на основе λ-исчисления. Тем не менее, в рамках формальной семантики известно направление, основанное на теории зависимых типов, где указанные проблемы получают достаточно убедительную трактовку [Asher, 2011; Asher, Pustejovsky, 2006; Bekki, Asher, 2012; Cooper, 2005; Luo, 2012]. Этот подход может быть совмещен с дистрибутивными моделями в силу близости теоретических оснований. Теоретико-типовая семантическая репрезентация предполагает особую концепцию значения, не опирающуюся на традиционную для формальной семантики интерпретацию в модели. В соответствии с действующим в теории типов принципом отождествления высказываний и типов, тип может пониматься как пропозиция, а её вывод в некоторой формальной системе – как объект соответствующего типа. Таким образом, объекты, соотносимые с некоторым типом – это не теоретико-множественные сущности, но логические доказательства.2 Основа теоретико-типовой лексической семантики – гипотеза о возможности выразить значение предиката через значения аргументов и механизм их включения в аргументно-предикатную структуру. Тип предиката отражает этот механизм и выступает в качестве формального описания значения. Экспликация значения через ограничения на типы аргументов приводит к двойственности между агрументно-предикатной структурой и лексическим значением [Pustejovsky, 2013]. На наш взгляд, такая трактовка значения достаточно близка к дистрибутивной гипотезе З. Харриса, лежащей в основе дистрибутивной концепции значения [Lenci, 2008], что делает возможным объединение указанных подходов. Наш подход к реализации композиции в дистрибутивных моделях опирается на возможность отождествления базовых операций композиции в векторных моделях и правил вычисления в теории типов. Это позволяет построить геометрическую интерпретацию фрагмента 2 Ср. с теоретико-доказательной концепцией в семантике [Даммит, 1987].

13 Теория типов Векторная модель Геометрическая Лингвистическая интерпретация интерпретация объект x : A вектор из R2 точка базы x ∈ B слово (аргумент) зависимый тип B(x) векторное пространство, слой p−1 (x) контекстные параметризованное x ∈ R2 модификации слов относительно слова x зависимое произведение линейные отображения, векторное расслоение множество Π(x : A)B(x) параметризованные вектора- p:E→B адаптированных предикатов контекстно- глобальное сечение слово (предикат) ми из R2 объект f : Π(x : A)B(x) параметризованное линей- ное отображение s:B→E Таблица 2.1: Соответствия между интерпретациями. теоретико-типовой семантики, в которой типы интерпретируются как векторные пространства. Для иллюстрации подхода строится простейшая модель, в которой в качестве объекта базового типа выступает одномерное векторное пространство. Если базовый тип A = R2 , то a : A есть не что иное, как одномерное линейное подпространство в R2 . Зависимое произведение Π(x : A)B(x) интерпретируется как векторное расслоение, его слои – векторные пространства, параметризованные точками базы. Предикаты интерпретируются как глобальные сечения, то есть как векторнозначные функции, отображающие каждую точку базового пространства в некоторый вектор в слое над этой точкой. Отношения между различными интерпретациями приводятся в табл. 2.1. Понятием, аналогичным функциональному применению, в нашей модели выступает вычисление. Интерпретация вычисления заключается в выборе результирующего вектора из пространства B(a) для некоторого аргумента a : A. Рассмотренный подход позволяет реализовать коадаптацию элементов аргументно-предикатной структуры в процессе композиционального построения семантического представления некоторого выражения. При этом традиционное функциональное применение оказывается частным случаем зависимого произведения – тип Π(x : A)B(x) вырождается в функциональный тип A → B в случае, если B не зависит от A. Таким образом, наша конструкция обобщает способ моделирования композиции, принятый в формальной семантике, и допускает непосредственную интерпретацию в качестве векторной семантической модели. Ещё одно важное свойство представленной модели связано с существованием альтернативного способа определения векторного расслоения как пучка ростков непрерывных сечений. В такой формулировке оправданно её сопоставление с анализом композиции на основе теории пучков, рассмотренным выше. Сравнивая нашу модель с этими решениями, можно предположить, что они представляют собой два различных, но взаимосвязаных способа описания локальной композиции. Можно обозначить подход на основе аппарата теории пучков как анализ «с акцентом на фоне». Здесь композиция определяется через классы согласуемых контекстов, а центральный вопрос теории должен состоять в выяснении природы затруднений, препятствующих в некоторых случаях такому согласованию (ср. с понятием коллокации, проницаемости и т.п.). Подход, основанный на теории типов – это анализ «с акцентом на

14 фигуре». Здесь осуществляется описание композиции через свойства конкретных элементов (слов), подвергающихся контекстным модификациям и в некоторых случаях демонстрирующих неспособность к таким модификациям, приводящую к нарушениям композиции. При этом описываемое явление остается по существу одним и тем же, что наглядно отражено в модели.

15 ЗАКЛЮЧЕНИЕ В данной работе описан подход к построению композициональных семантических моделей, совмещающих векторные репрезентации с теоретико-типовым механизмом контроля композиции. Предпринятый анализ методов моделирования композиции в формальных семантических моделях позволил определить два возможных пути их расширения. Первый основан на трансляции семантического представления в логическое выражение и оценке его выполнимости в модели. Этот способ позволяет учесть прагматические факторы и был опробован в прикладной задаче голосового управления оборудованием. Он также допускает расширение за счет рассмотрения композиции как непротиворечивого согласования фрагментов семантического описания, ассоциированных с различными контекстами. Второй опирается на метод контроля композиции, реализуемый средствами дедуктивной системы. Для этой цели был использован фрагмент интуиционистской теории типов, включающий зависимое произведение. Использование данного формализма позволило добиться учета таких языковых явлений, как логическая полисемия и контекстная адаптация значений. Ближайшие задачи, связанные с развитием этого подхода, включают строгое формальное обоснование, разработку методов обучения модели и её оценку, в первую очередь в задаче оценки семантической близости.

16 ПРИЛОЖЕНИЕ А. ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ A.1 Типизированные структуры признаков Формализм структур признаков применяется в целом ряде формальных теорий синтаксиса естественного языка (вершинная грамматика составляющих, лексико-функциональная грамматика и др.) и послужил основой для разработки нескольких систем синтаксического и семантического анализа (PATR-II, LKB). Имеется целый ряд работ, посвящённых описанию структур признаков и формализации ограничений для них логическими средствами [Blackburn, 1993; Carpenter, 1992; Gazdar (et al.), 1988; Johnson, 1988; 1991; Kasper, Rounds, 1986; King, 1989; 1994; Richter, 2000]. Типизированные структуры признаков – расширение базового формализма, реализующее дополнительный механизм контроля корректности путем приписывания структурам признаков особых помет (типов). Структуры признаков, относимые к одному типу, допускают употребление лишь конкретного набора атрибутов. Само множество типов снабжается структурой полурешетки, что позволяет рассматривать одни типы как подтипы других и соответствующим образом расширять вводимые ограничения на подтипы. Приводим стандартные определения по [Copestake, 2000]. Зададим конечное множество признаков Feat и иерархию типов hType, vi (частично упорядоченное множество). Типизированная структура признаков – это четверка hQ, r, δ, θi, где – Q - конечное множество вершин, – r ∈ Q - выделенная (корневая) вершина, – δ : Q×Feat → Q - частичная функция, сопоставляющая признаку при вершине другую вершину, – θ : Q → Type - частичная функция типизации. δ Назовем вершину q ∈ Q δ-достижимой, если либо hr, −i 7−→ q, либо существует δδ достижимая вершина q 0 ∈ Q такая, что hq 0 , −i 7−→ q. На типизированную структуру признаков налагаются следующие условия: – r не является δ-достижимой, – все прочие вершины из Q являются δ-достижимыми, – структура не содержит циклов (данное условие факультативно). Последовательность переходов от одной вершины к другой назовем путём π в структуре признаков F . Вершину, достижимую из вершины r по пути π, обозначим δ(r, π). Допустимо δ(r, π) =F δ(r, π 0 ), где π и π 0 – два различных пути в F . PF (π) = σ – тип вершины δ(r, π) в F , т.е. θ(δ(r, π)) в F . Тогда отношение обобщения (subsumption) между двумя типизированными структурами признаков определяется следующим образом: F обобщает F 0 (обозначается F 0 v F ) тогда и только тогда, когда – из π =F π 0 следует π =F 0 π 0 ,

17 Рис. 2.1: Пример иерархии типов, [Carpenter, 1992, p. 14]. – из PF (π) = t следует PF 0 (π) = t0 и t0 v t. Отношение обобщения индуцирует частичный порядок на множестве типизированных структур признаков. Наименьшая верхняя грань двух структур признаков F и F 0 (обозначается F t F 0 ) называется их унификацией. Неформально, унификация – это непротиворечивое согласование информации, содержащейся в двух структурах признаков. В случае, когда значения одинаковых атрибутов в этих структурах имеют различные типы (с учетом наследования в иерархии типов), такое согласование невозможно. Структуры признаков могут быть представлены различными способами – в виде матрицы «атрибут-значение» (attribute-value matrix, AVM ), либо в виде графа, в котором ребра помечены именами атрибутов. На рис. 2.1 показан пример иерархии типов, представляющих собой различные наборы грамматических признаков, используемых при согласовании. В примере (1) демонстрируется согласование грамматических атрибутов на основе этой иерархии, в примере (2) – нетривиальная унификация нетипизированных структур признаков. (1) Пример унификации [Carpenter, 1992, p. 48]      agr  h i agr agr        h i h i per 1st  t =       h i per 1st num sg  num sg (2) Пример унификации [Francez, Wintner,   2011, p. 97]  f  g 1 1 h i h sg   t 1 h i f 1 = 1 f   g  h 1 1 sg     A.2 Гибридная логика Гибридная логика HL(@) – расширение модальной логики, сохраняющее свойство разрешимости. Аналогично мультимодальной логике, здесь вводится множество модальных опе-

18 раторов 3i и 2i , т. ч. 3i α ≡ ¬2i ¬α. Кроме того, вводится класс номиналов, обозначаемых n, m и т.д. Номиналы аналогичны пропозициональным переменным, однако на них накладывается семантическое условие – при интерпретации номинал может принимать значение “истина” ровно в одной точке отнесенности. Это позволяет использовать номиналы в качестве «наименований» точек отнесённости, ссылаться на них в выражениях языка гибридной логики и ввести специальный оператор @n со значением “истинно в точке n”. Язык гибридной логики LHL(@) := > | n | p | ¬α | α ∧ β | 3i α | @n α, где n ∈ N – номинал, p ∈ P – пропозициональная переменная, α, β ∈ LHL(@) . Гибридная шкала Крипке F – это пара (W, R), где W – непустое множество, R = {ri }, ri ⊆ W × W – отношение достижимости, помеченное индексом модального оператора. Элементы w ∈ W называются возможными мирами или точками отнесенности. Если wri v, то говорят, что v достижима из w. Гибридная шкала Крипке может быть представлена в виде ориентированного графа с помеченными ребрами. Гибридная модель Крипке M = (F, v), где v – функция оценивания, отображающая пропозициональные переменные и номиналы в подмножества множества точек отнесенности, т. ч. для всякого номинала n мощность v(n) равна 1. Для построения денотационной семантики HL(@) к обычным правилам интерпретации модальной логики добавляются следующие правила для номиналов: M, w |= n ⇔ {w} = v(n) M, w |= @n α ⇔ M, w0 |= α и {w0 } = v(n) Задача проверки моделей для гибридной логики состоит в нахождении для некоторой формулы α ∈ LHL(@) всех точек отнесенности гибридной модели M, где α истинна: T (M, α) = {w ∈ W | M, w |= α} A.3 Зависимое произведение (Π-тип) Правила для Π-типа приводятся по [Hofmann, 1997]: (3) Формирование Π-типа Γ ` σ type Γ, x : σ ` τ type Π-F Γ ` Πx : σ.τ type (4) Равенство Π-типов (переименование переменных) Γ ` σ1 = σ2 type Γ, x : σ ` τ1 = τ2 type Π-Eq Γ ` Πx : σ1 .τ1 = Πx : σ2 .τ2 type (5) Введение Π-типа (λx : σ.M τ – канонический объект типа Πx : σ.τ ) Γ, x : σ ` M : τ Π-I Γ ` λx : σ.M τ : Πx : σ.τ

19 (6) Конгруэнтность Γ, x : σ ` M1 = M2 : τ Γ ` σ1 = σ2 type Γ, x : σ ` τ1 = τ2 type Π-I-Eq τ2 τ1 Γ ` λx : σ1 .M1 = λx : σ2 .M2 : Πx : σ1 .τ1 (7) Удаление Π-типа ([x : σ]τ – x типа σ связан в τ ) Γ ` M : Πx : σ.τ Γ ` N : σ Π-E Γ ` App[x:σ]τ (M, N ) : τ [N/x] (8) Вычисление Γ ` λx : σ.M τ : Πx : σ.τ Γ`N :σ Π-C τ Γ ` App[x:σ]τ (λx : σ.M , N ) = M [N/x] : τ [N/x] A.4 Векторное расслоение Неформально, векторное расслоение – это семейство векторных пространств, парамет- ризованных точками некоторого топологического пространства. Подробное изложение теории векторных расслоений можно найти в работе [Мищенко, 1984]. В нашей конструкции мы не заходим дальше начальных определений. Векторное расслоение – это непрерывное отображение p : E → B, т. ч. p−1 (b) – векторное пространство. Кроме того, на пространстве B задано покрытие открытыми множествами {Uα } и для каждого Uα задан гомеоморфизм hα : p−1 (Uα ) → Uα × Rk т. ч. hα (p−1 (b)) является векторным пространством, изоморфным {b} × Rk . Данное требование называется условием локальной тривиализации. Полученная конструкция называется локально тривиальным действительным векторным расслоением ранга k, E называется тотальным пространством, B – базовым пространством, p−1 (b) – слоем над b. Пара тривиализаций hα : p−1 (Uα ) → Uα × Rk и hβ : p−1 (Uβ ) → Uβ × Rk индуцирует k k отображение hα h−1 β : (Uα ∩ Uβ ) × R → (Uα ∩ Uβ ) × R , эквивалентное гладкому отображению gαβ : (Uα ∩ Uβ ) → GL(k, R) и называемое функцией перехода (иначе – функцией склейки, матрицей перехода). Функции перехода можно понимать как непрерывные замены координат. «Пусть заданы топологические пространства E, B, F и топологическая группа G, непрерывно действующая на пространстве F . Скажем, что непрерывное отображение p : E → B является локально тривиальным расслоением со слоем F и структурной группой G, если заданы такие атлас {Uα } и координатные гомеоморфизмы φα : Uα × F → p−1 (Uα ), что функции склейки φβα = φ−1 β ◦ φα : (Uα ∩ Uβ ) × F → (Uα ∩ Uβ ) × F определяются формулами φβα (x, f ) = (x, φ̄βα (x)f ), где φ̄βα : Uα ∩ Uβ → G – непрерывные функции, удовлетворяющие условиям φ̄αα (x) ≡ 1, x ∈ Uα и φ̄αβ (x)φ̄γβ (x)φ̄βα (x) ≡ 1, x ∈ Uα ∩ Uβ ∩ Uγ . Функции φ̄αβ тоже будем называть функциями склейки.» [Там же, с. 13] «Векторное расслоение – локально тривиальное расслоение, у которого в качестве слоя берётся конечномерное векторное пространство, а в качестве структурной группы – группа линейных преобразований этого пространства.» [Мищенко, 1984, с. 19] Т. е. в предыдущем

20 определении G = GL(n, R), F ≈ Rn , φ̄αβ – невырожденные матрицы размера n × n, непрерывно зависящие от x ∈ B. Рассуждения о «фоне» и «фигуре» связаны со следующим обстоятельством: «[...] всякое [глобальное] сечение s : B → E можно описать в локальных терминах. Пусть {Uα } – атлас, φα : Uα × Rn → p−1 (Uα ) – координатные гомеоморфизмы, φβα = φ−1 β ◦ φα . Тогда композиции φα−1 ◦ s : Uα → Uα × Rn являются сечениями тривиальных расслоений над Uα и задают векторнозначные функции sα : Uα → Rn по формуле (φ−1 α ◦ s)(x) = (x, sα (x)), x ∈ Uα . Эти функции sα (x) на пересечении карт Uα ∩ Uβ удовлетворяют условию согласования sβ (x) = φβα (x)(sα (x)). Обратно, если задан набор непрерывных векторнозначных функций sα : Uα → Rn , удовлетворяющих условию согласования на пересечении карт, то формула s(x) = φα (x, sα (x)) однозначно (т. е. независимо от выбора карты Uα ) определяет отображение s : B → E, являющееся сечением расслоения.» [Там же, с. 20]

21 СПИСОК ЛИТЕРАТУРЫ 1. Борщев В. Б. Окрестностная модель языка – логика и/или топология (история одной идеи Ю. А. Шрейдера). // Системы и модели: границы интерпретаций : cборник трудов Всероссийской научной конференции с международным участием. Москва – Томск, 5–7 ноября 2008 г. — 2008. — С. 9—18. 2. Даммит М. Что такое теория значения // Философия, логика, язык. М.: Прогресс. — 1987. — С. 127—212. 3. Лапшин В. А. Языки синтаксических диаграмм. Окрестностные грамматики и их топологические интерпретации. // Рукопись. РГГУ. М. — 2008. 4. Мищенко А. С. Векторные расслоения и их применения. — М.: Наукa, 1984. 5. Abramsky S., Sadrzadeh M. Semantic unification // Categories and Types in Logic, Language, and Physics. — Springer, 2014. — Pp. 1–13. 6. Asher N. Lexical meaning in context: A web of words. — Cambridge University Press, 2011. 7. Asher N., Pustejovsky J. A type composition logic for generative lexicon. // Journal of Cognitive Science. — 2006. — Vol. 6. — Pp. 1–38. 8. Baldridge J., Kruijff G.-J. M. Coupling CCG and hybrid logic dependency semantics // Proceedings of the 40th Annual Meeting of Association for Computational Linguistics. — Association for Computational Linguistics. 2002. — Pp. 319–326. 9. Baroni M., Bernardi R., Zamparelli R. Frege in space: A program of compositional distributional semantics // Linguistic Issues in Language Technology. — 2014. — Vol. 9. — Pp. 5–110. 10. Bekki D., Asher N. Logical polysemy and subtyping // New Frontiers in Artificial Intelligence. — Springer, 2012. — Pp. 17–24. 11. Blackburn P. Modal logic and attribute value structures // Diamonds and Defaults. — Springer, 1993. — Pp. 19–65. 12. Blackburn P., Bos J. Representation and inference for natural language // A first course in computational semantics. CSLI. — 2005. 13. Carpenter B. The logic of typed feature structures with applications to unification-based grammars, logic programming and constraint resolution. // Cambridge Tracts in Theoretical Computer Science. — 1992. — Vol. 32. 14. Coecke B., Sadrzadeh M., Clark S. Mathematical foundations for distributed compositional model of meaning. // Linguistic Analysis. — 2010. — Vol. 36. — Pp. 345–384. 15. Cooper R. Records and record types in semantic theory. // Journal of Logic and Computation. — 2005. — Vol. 15, no. 2. — Pp. 99–112. 16. Copestake A. Appendix: Definitions of typed feature structures. // Natural Language Engineering. — 2000. — Vol. 6, no. 01. — Pp. 109–112.

22 17. Copestake A. Implementing typed feature structure grammars. Vol. 110. — CSLI publications Stanford, 2002. 18. Copestake A. [et al.] Minimal recursion semantics: An introduction // Research on Language and Computation. — 2005. — Vol. 3, no. 2–3. — Pp. 281–332. 19. Dalrymple M. Semantics and syntax in Lexical Functional Grammar: The resource logic approach. — MIT Press, 1999. 20. Dalrymple M. Lexical-Functional Grammar. — 2001. 21. Dalrymple M., Lamping J., Saraswat V. LFG semantics via constraints // Proceedings of the sixth conference on European chapter of the Association for Computational Linguistics. — Association for Computational Linguistics. 1993. — Pp. 97–105. 22. Doran C. [et al.] XTAG system: A wide coverage grammar for English // Proceedings of the 15th conference on Computational linguistics-Volume 2. — Association for Computational Linguistics. 1994. — Pp. 922–928. 23. Egg M., Koller A., Niehren J. The constraint language for lambda structures // Journal of Logic, Language and Information. — 2001. — Vol. 10, no. 4. — Pp. 457–485. 24. Franceschet M., de Rijke M. Model checking hybrid logics (with an application to semistructured data) // Journal of Applied Logic. — 2006. — Vol. 4, no. 3. — Pp. 279–304. 25. Francez N., Wintner S. Unification grammars. — Cambridge University Press, 2011. 26. Gazdar G. [et al.] Category structures // Computational Linguistics. — 1988. — Vol. 14, no. 1. — Pp. 1–19. 27. Goguen J. What is unification // Resolution of Equations in Algebraic Structures. — 1989. — Vol. 1, no. 5. — Pp. 217–261. 28. Groenendijk J., Stokhof M. Dynamic predicate logic // Linguistics and philosophy. — 1991. — Vol. 14, no. 1. — Pp. 39–100. 29. Hintikka J. Quantifiers vs. quantification theory // Dialectica. — 1973. — Vol. 27, no. 3– 4. — Pp. 329–358. 30. Hodges W. Compositionality is not the problem // Logic and Logical Philosophy. — 2004. — Vol. 6. — Pp. 7–33. 31. Hofmann M. Syntax and semantics of dependent types // Extensional Constructs in Intensional Type Theory. — Springer, 1997. — Pp. 13–54. 32. Howard W. The formulas-as-types notion of construction // To H.B. Curry: Essays in Combinatory Logic, Lambda-Calculus, and Formalism. — Academic Press, 1980. — С. 479— 490. 33. Janssen T. M. Compositionality. — 1996. 34. Johnson M. Attribute-value logic and the theory of grammar. Vol. 16. — Center for the Study of Language, Information, 1988. 35. Johnson M. Features and formulae. // Computational Linguistics. — 1991. — Vol. 17, no. 2. — Pp. 131–151.

23 36. Kaplan R. M., Bresnan J. Lexical-functional grammar: A formal system for grammatical representation // Formal Issues in Lexical-Functional Grammar. — 1982. — Pp. 29–130. 37. Kasper R. T., Rounds W. C. A logical semantics for feature structures // Proceedings of the 24th annual meeting on Association for Computational Linguistics. — Association for Computational Linguistics. 1986. — Pp. 257–266. 38. King P. J. A logical formalism for head-driven phrase structure grammar: PhD thesis / King Paul John. — University of Manchester, 1989. 39. King P. J. An expanded logical formalism for head-driven phrase structure grammar. Vol. 59. — 1994. 40. Lahav R. Against compositionality: the case of adjectives // Philosophical studies. — 1989. — Vol. 57, no. 3. — Pp. 261–279. 41. Lambek J. Type grammars as pregroups // Grammars. — 2001. — Vol. 4, no. 1. — Pp. 21– 39. 42. Landauer T. K., Dumais S. T. A solution to Plato’s problem: The latent semantic analysis theory of acquisition, induction, and representation of knowledge. // Psychological review. — 1997. — Vol. 104, no. 2. — Pp. 211–240. 43. Lenci A. Distributional semantics in linguistic and cognitive research // Italian journal of linguistics. — 2008. — Vol. 20, no. 1. — Pp. 1–31. 44. Liang P., Potts C. Bringing machine learning and compositional semantics together // Annu. Rev. Linguist. — 2015. — Vol. 1, no. 1. — Pp. 355–376. 45. Luo Z. Formal semantics in modern type theories with coercive subtyping. // Linguistics and Philosophy. — 2012. — Vol. 35, no. 6. — Pp. 491–513. 46. Manning C. D., Raghavan P., Schütze H. Introduction to information retrieval. Vol. 1. — Cambridge University Press, 2008. 47. Mikolov T. [et al.] Distributed representations of words and phrases and their compositionality // Advances in neural information processing systems. — 2013. — Pp. 3111–3119. 48. Mitchell J., Lapata M. Composition in distributional models of semantics // Cognitive science. — 2010. — Vol. 34, no. 8. — Pp. 1388–1429. 49. Montague R. Formal philosophy. — 1975. 50. Partee B. Compositionality // Varieties of formal semantics. — 1984. — Vol. 3. — Pp. 281– 311. 51. Pennington J., Socher R., Manning C. D. GloVe: Global vectors for word representation // Empirical Methods in Natural Language Processing (EMNLP). — 2014. — Pp. 1532–1543. 52. Pollard C., Sag I. Information-based syntax and semantics, vol. 1. — 1987. 53. Pollard C., Sag I. Head-driven phrase structure grammar // Center for the Study of Language and Information, Stanford, USA. — 1994. 54. Prosorov O. Compositionality and contextuality as adjoint principles // The compositionality of meaning and content. — 2005. — Vol. 2. — Pp. 149–174.

24 55. Pustejovsky J. The generative lexicon // Computational linguistics. — 1991. — Vol. 17, no. 4. — Pp. 409–441. 56. Pustejovsky J. The generative lexicon. — Cambridge MA: MIT Press, 1995. 57. Pustejovsky J. Type theory and lexical decomposition // Advances in generative lexicon theory. — Springer, 2013. — Pp. 9–38. 58. Ranta A. Type-theoretical grammar. — 1994. 59. Richter F. A mathematical formalism for linguistic theories with an application in HeadDriven Phrase Structure Grammar: PhD thesis / Richter Frank. — Universität Tübingen, 2000. 60. Shieber S. M. An introduction to unification-based approaches to grammar. — 1986. 61. Smolensky P. Tensor product variable binding and the representation of symbolic structures in connectionist systems // Artificial intelligence. — 1990. — Vol. 46, no. 1. — Pp. 159– 216. 62. Socher R. [et al.] Recursive deep models for semantic compositionality over a sentiment treebank // Proceedings of the conference on empirical methods in natural language processing (EMNLP). — 2013. — Pp. 1631–1642. 63. Szabó Z. G. Compositionality // The Stanford Encyclopedia of Philosophy. — 2013. 64. Tsubaki M. [et al.] Modeling and learning semantic co-compositionality through prototype projections and neural networks. // Proceedings of the conference on empirical methods in natural language processing (EMNLP). — 2013. — Pp. 130–140. 65. Van de Cruys T., Poibeau T., Korhonen A. A tensor-based factorization model of semantic compositionality // Conference of the North American Chapter of the Association of Computational Linguistics (HTL-NAACL). — 2013. — Pp. 1142–1151. 66. Widdows D. Semantic vector products: Some initial investigations // Second AAAI Symposium on Quantum Interaction. Vol. 26. — 2008. 67. Zettlemoyer L. S., Collins M. Learning to map sentences to logical form: Structured classification with probabilistic categorial grammars // arXiv preprint arXiv:1207.1420. — 2012.

Рецензии:

Авторизуйтесь, чтобы добавить рецензию

- у работы пока нет рецензий -

Отзывы:

Авторизуйтесь, чтобы оставить отзыв