Выводы по теме. 1. Приведены методы обработки, кодирования и анализа изображений

1. Приведены методы обработки, кодирования и анализа изображений.

2. Рассмотрено выделение признаков на изображении.

Вопросы для самопроверки

1. Назовите две основные категории улучшения изображений.

2. Что такое Двумерное дискретное преобразование Фурье?

3. Опишите метод обработки изображений – гомоморфная фильтрация.

4. Какие пространственные методы обработки изображений вы знаете?

5. Перечислите основные методы кодирования изображений.

6. В чем суть сжатия данных по методу JPEG?

7. Опишите алгоритм решения задачи сравнения изображений по форме с использованием морфологической проекции.

Тема 16. Моделирование системы распознавания речи

План лекции

16.1. Скрытые марковские модели в задачах распознавания речи.

16.2. Языковые модели.

Скрытые марковские модели в задачах распознавания речи

Применение методов статистической теории распознавания образов стало важным этапом в развитии автоматического распознавания речи (АРР). Практически все наиболее известные системы распознавания речи, созданные за последние двадцать пять лет основаны на статистических принципах и используют аппарат СММ.

Рассмотрим пример марковской модели для звука, которая изображена на рисунке 16.1.

Рисунок 16.1 – Пример скрытой марковской модели

Эта модель состоит из последовательности состояний, обозначенных S ₁, S ₂,..., S ₅, которые связаны мгновенными вероятностными переходами, изображенные стрелками и имеющие вероятность a_ij, т.е. вероятность перехода из i -го состояния в j-e. Возможны переходы только в следующее состояние и зацикливание. В каждый момент времени модель осуществляет вероятностный переход из одного состояния в другое или в то же самое состояние, при этом происходит излучение выходного акустического вектора y_k с выходным вероятностным распределением b_n (y_k), соответствующим этому состоянию. Эти вероятности называют эмиссионными вероятностями. Некоторое высказывание, описываемое последовательностью акустических векторов параметров X = { x ₁ ,x ₂ ,...,x_n }, можно промоделировать последовательностью дискретных стационарных состояний Q = { q ₁, q ₂,..., q_k }. К < N, с мгновенными переходами между этими состояниями и последовательностью излученных при этом акустических векторов
Y = {y1,y2,...,y_N}.

Таким образом, скрытая марковская модель состоит из марковской цепи с конечным числом состояний S_n и матрицей переходных (транзитивных) вероятностей которые определяют длительность пребывания системы в данном состоянии, т. е. марковская цепь моделирует временные изменения речевого сигнала, а также конечного множества эмиссионных вероятностей b_п (y_k), которые позволяют моделировать спектральные вариации сигнала. Этот подход определяет два одновременных стохастических процесса, один из которых является основным и ненаблюдаемым (т. е. скрытым) это последовательность СММ-состояний, и судить о нем можно только с помощью другого случайного процесса, т. е. по последовательности наблюдений (собственно, поэтому такая модель называется «скрытой» марковской моделью).

Рассмотрим простую систему распознавания. Идеально было бы иметь СММ для каждого из возможных высказываний. Однако, очевидно, что это выполнимо только для очень ограниченных задач, например распознавание изолированных команд из небольшого словаря. Поэтому используют более мелкие речевые единицы, например фоны, которые с лингвистической точки зрения соответствуют фонемам. Для каждого фона необходимо создать свою отдельную СММ, т. е. М = { m ₁, m ₂ m_U } – множество марковских моделей для всех возможных фонов, а Θ = { λ ₁, λ ₂,..., λ_U } – множество связанных с ними параметров. Тогда M_i будет представлять марковскую модель некоторого слова, полученную конкатенацией элементарных моделей из множества М, при этом М_i состоит из L_i состояний и l = 1, 2,..., L_i, а множество параметров этой модели будет Δ _i, которое является подмножеством Θ. Произнесение каждого фона описывается последовательностью векторов спектральных характеристик сигнала. На этапе обучения для каждого слова, например, имеется последовательность, состоящая из множества повторений последовательностей векторов параметров Х_Mi, соответствующих произнесению этого слова одним или несколькими дикторами и необходимо выбрать такое множество параметров Θ, которое максимизировало вероятность Р (М_i|X_Мi, Θ) для всех обучающих высказываний X_Мi, связанных с M_i, т. е.

(16.1)

Таким образом, обучение состоит в подборе параметров модели Θ в соответствии с некоторым критерием оптимальности. К сожалению, не существует известного аналитического выражения для этих параметров. Кроме того, на практике, располагая некоторой последовательностью наблюдений в качестве обучающих данных, нельзя указать оптимальный способ оценки параметров. Однако, используя итеративные процедуры, например алгоритм Наума-Уэлча или, что эквивалентно, ЕМ-метод (метод математического ожидания-модификации), или градиентные методы, можно подобрать параметры модели таким образом, чтобы локально максимизировать вероятность . Следует отметить, что эти алгоритмы принадлежат классу алгоритмов обучения «без учителя», так как они производят ненаблюдаемую оценку параметров распределения вероятностей, не требуя предварительной разметки. На этапе распознавания неизвестного высказывания X необходимо найти наиболее подходящую модель M_i, которая максимизировала при уже фиксированном множестве параметров Θ и наблюдаемой в данный момент последовательности X. Таким образом, результатом распознавания высказывания X будет слово, связанное с моделью M_i такое, что:

(16.2)

Метод нахождения наилучшей модели основан на динамическом программировании и называется алгоритмом Витерби.

Обучение и распознавание связано с выбором некоторого критерия оптимальности. Таких критериев существует несколько. Все они имеют физический смысл и используются на практике. Выбранный критерий оптимальности (например, максимум правдоподобия или максимум апостериорной вероятности) оказывает влияние на такие параметры модели, как объем данных для обучения и требования к вычислительным ресурсам, точность распознавания, способность к обобщению данных из обучающей выборки. Одним из наилучших критериев может считаться Байесовский классификатор, основанный на апостериорной вероятности P (M_i|X,Θ) (или классификатор по максимуму апостериорной вероятности, МАР-оцениватель) того, что последовательность акустических векторов X была порождена M_i моделью с множеством параметров Θ. Используя правило Байеса P (M_i|Х, Θ), можно записать в виде выражения:

(16.3)

которое разделяет процесс оценки вероятности на две части: задачу акустического (16.4) и языкового P (M_i |Θ) моделирования.

(16.4)

Целью языкового моделирования является оценка априорных вероятностей моделей высказываний P (M_i |Θ). Эта языковая модель обычно полагается независимой от акустических моделей и описывается в терминах независимого множества параметров Θ*. Параметры языковой модели обычно оцениваются на больших текстовых базах данных.

Задачей акустического моделирования является оценка плотностей вероятностей (16.4), как правило, независимо от других моделей. Так как вероятность P (X|M_i, Θ) обусловлена только M_i, то она зависит только от параметров M_i модели и, опуская Р (Х |Θ) выражение (16.4) можно переписать как Р (Х | М_i, Δ _i), где Δ _i - множество параметров, связанных с моделью M_i. Таким образом, и обучение, и распознавание требует оценки вероятности P(X\Mi, Ai), которая называется глобальным правдоподобием последовательности векторов параметров X при заданной M_i.

Далее P (X|M_i, Δ _i) можно оценить как сумму:

(16.5)

где {Г _i } представляет собой множество всех возможных путей (последовательности состояний) длины L в модели М _i. При этом для каждой последовательности состояний вероятность появления последовательности наблюдений X ₁^L = { x ₁, x ₂ ,...x_L } определяется выражением:

(16.6)

Можно показать, что (16.5) можно вычислить с помощью алгоритма прямого-обратного хода, для которого необходимо рекурсивно вычислять так называемую прямую переменную:

(16.7)

где представляет собой вероятность того, что частичная подпоследовательность наблюдений была порождена моделью M_i, а в момент времени п наблюдалось состояние и был сгенерирован вектор наблюдений х_п.

Второй сомножитель в правой части равенства (10) можно представить в виде произведения вероятностей:

(16.8)

где первый сомножитель представляет эмиссионную вероятность, а второй – транзитивную вероятность. Обычно эмиссионную вероятность упрощают, чтобы снизить число свободных параметров, полагая, что наблюдаемый акустический вектор х_п зависит только от текущего состояния процесса , т. е. используют эмиссионную вероятность в виде .

Описанная стандартная СММ является довольно мощным инструментом, позволившим разработчикам существенно повысить качество распознавания речевого сигнала.