Современные системы

Современные системы Speech and Language Processing (3rd ed. draft) Dan Jurafsky and James H. Martin Глава 5, страницы 43-51 Епарская Анна 22508 25.12.2017

Проблемы с HCI* при написании Если очень уверен в исправлении ● Автозамена Менее уверен ● Дают лучшую коррекцию ● Дают список исправлений Неуверен ● Просто пометить как ошибку P (w|x) > P(x|x) → logP(w|x)-logP(x|x)>0 *HCI (англ. human-computer interaction) – Человеко-компьютерное взаимодействие 2

В каком случае предлагается коррекция w в более осторожной системе? 3

Методы на основе классификатора для коррекции правописания в реальном времени ● ● ● Вместо простой модели канала и языковой модели Используйте множество функций в классификаторе (следующая лекция). Создайте классификатор для определенной пары, например: 4

Современный шумный канал ● Не перемножаем модели ● Вероятности не соразмерны ● Вместо этого: взвешивать их ● Узнайте λ из набора тестов разработки 5

Почему используют взвешенную комбинацию? 6

Преимущество модели Брилла Мура? 8

Модель фонетических ошибок Метафон, используемый в GNU aspell ● Преобразование опечаток в метафон произношения «Отбросить дубликаты соседних букв, кроме C». «Если слово начинается с « KN »,« GN »,« PN »,« AE »,« WR », отбросить первую букву». «Отбросить "B", если после 'M' и если в конце слова» ● ● Найти слова, произношение которых на 1-2 расстояние редактирования от опечаток Список результатов оценки Взвешенное расстояние редактирования кандидата до опечатки Редактирование расстояния между произношением кандидата и произношением с ошибкой 9

ЧТО ТАКОЕ МЕТАФОН? 10

Усовершенствования модели каналов Включить произношение в канал (Toutanova and Moore 2002) ● actress и aktres → ae k t r ix s 11

Задача дедупликации Алгоритм Soundex (Knuth 1973, Odell and Russell 1922) - это более старый метод ● Jurafsky, Jarofsky, Jarovsky, Jarovski Алгоритм Jaro-Winkler (Winkler, 2006). 12

Что решает задача дедупликации?

Список литературы ● Jurafsky D. & Martin J. H. Speech and Language Processing [электронный ресурс] . — Ch. 5, pp. 43-51 . — 2017. ACM. URL: https://web.stanford.edu/~jurafsky/slp3/5.pdf

Рецензии:

Авторизуйтесь, чтобы добавить рецензию

- у работы пока нет рецензий -

Отзывы:

Авторизуйтесь, чтобы оставить отзыв