Языковое моделирование: Обобщение и нули

Language Modeling Обобщение и нули Speech and Language Processing (3rd ed. raft), Dan Jurafsky and James H. Martin. Глава 4.3, стр. 9 - 12 Ведешкин Сергей 1/9

Метод визуализации Шеннона • Выберем случайный биграмм (<s>, w) в зависимости от его вероятности • Теперь выберите случайный биграмм (w, x) в соответствии с его вероятностью • И так далее, пока мы не выберем </ s> • Затем соедините слова вместе <s> I I want want to to eat eat Chinese Chinese food food </s> I want to eat Chinese food 2/9

Аппроксимация Шекспира 3/9

Шекспир как корпус • N=884,647 ключей, V=29,066 • Шекспир выпустил 300 000 биграмм из V2 = 844 миллиона возможных биграмм. • Таким образом, 99,96% возможных биграмм никогда не появятся (имеют нулевые записи в таблице) • Квадриграммы хуже: то, что генерируется, похоже на Шекспира. 4/9

The Wall Street Journal не Шекспир (без обид) 5/9

Опасности переобучения • N-граммы работают только для предсказания слов, если тестовый корпус выглядит как учебный корпус • В реальной жизни это часто не так • Нам нужно обучать прочные модели, которые обобщают! • Один вид обобщения: нули! • Вещи, которые никогда не встречаются в учебном наборе, Но встречаются в тестовом наборе 6/9

Обнуление • Набор тестов • Обучающий набор: ... отклонил • ... отклонил обвинения предложение • ... отклонил отчеты ... отказал кредит • ... отклонил требования • ... отклонил запрос P(“offer” | denied the) = 0 7/9

Нулевая вероятность биграммы • Биграммы с нулевой вероятностью • означает, что мы назначим 0 вероятности тестовому множеству! • И поэтому мы не можем вычислить perplexity (не можем делить на 0)! 8 /9

• Jurafsky D. & Martin J. H. Speech and Language Processing [электронный ресурс] . — Ch. 4, pp. 1-2 . — 2017. ACM. URL: https://web.stanford.edu/~jurafsky/slp3/5.pdf • Shakespeare text statistics [электронный ресурс] . – 2017. URL: https://www.opensourceshakespeare.org/stats/ • How many words did Shakespeare know? [электронный ресурс] . – 2017 URL: https://kottke.org/10/04/how-many-words-didshakespeare-know 9 /9

Рецензии:

Авторизуйтесь, чтобы добавить рецензию

- у работы пока нет рецензий -

Отзывы:

Авторизуйтесь, чтобы оставить отзыв