3 страница. Рассмотрим теперь другой тип непрерывных сообщений, описываемый процессами с непрерывным временем

Рассмотрим теперь другой тип непрерывных сообщений, описываемый процессами с непрерывным временем. Реализация такого процесса x(t) показана на рисунке 3.2.

Очевидно, что если осуществить его дискретизацию, т.е. замену всей совокупности значений процесса отдель­ными его мгновенными значениями, выбранными в определенные "разрешенные" моменты времени , то он превращается в уже рассмотренный процесс с дискретным временем X_д(t). На первый взгляд дискретизация приводит к необратимым существенным потерям информации, обусловленным «отбрасыванием» большей части мгновенных зна­чений процесса. Однако, как будет видно из дальнейших рассуждений, дело обстоит не совсем так (почти совсем ни так).
Ввиду особой важности процедуры дискретизации для процессов передачи и преобразования непрерывных сообщений рассмотрим ее более подробно.

Вопрос 24: δ - функция. Последовательность δ – функций и их спектры.

П

редположим теперь, что длительность t и коэффициент А передачи ключа в замкнутом состоянии (см. (3.2)) выбраны так, что . Перейдем к пределу при t®0, сохраняя произведение , равное площади импульса, описываемого функцией K₁(t), постоянным, т.е. полагая . Тогда получим

(3.9),

где δ (t) - дельта-функция, математическая абстракция, функция описывающая импульс бесконечно малой ширины и единичной площади.

В соответствии с этим определением δ - функция описывается равенствами:

(3.10) (3.11).

Выражения (3.10) и (3.11) определяют несмещенную δ - функцию. Существует понятие смещенной во времени (задержанной δ(t-t0) и опережающей δ(t+t0)) δ - функции δ (t± t0), которая определяется так:

(3.12)

(3.13).

При вычислении интегралов с δ - функцией в подынтегральном выражении обычно пользуются фильтрующим свойством δ - функции, которое выражается равенством:

(3.14).

С учетом изложенного вычислим предел при тех же условиях, что и в (3.9), от выражения (3.4), определяющего АИМ сигнал:

А).

Первое из равенств (3.15а) означает, что в пределе при t→0 АИМ сигнал превращается в процесс с дискретным временем или дискретизированный сигнал. Второе равенство следует из (3.4) с учетом (3.9), а последнее справедливо, т.к. в силу свойств смещенной δ - функции, описываемых (3.12) или (3.13), во всех точках произведения , в точках же , , а .

(3.15)

Выражение (3.15) есть математическая модель дискретизированного сигнала, представляющая собой произведение непрерывной функции времени на последовательность смещенных δ - функций.

Вопрос 25: Математическая модель дискретизированного сигнала и его спектр.

П

ри вычислении интегралов с δ - функцией в подынтегральном выражении обычно пользуются фильтрующим свойством δ - функции, которое выражается равенством:

(3.14).

С учетом изложенного вычислим предел при тех же условиях, что и в (3.9), от выражения (3.4), определяющего АИМ сигнал:

А).

Первое из равенств (3.15а) означает, что в пределе при t→0 АИМ сигнал превращается в процесс с дискретным временем или дискретизированный сигнал. Второе равенство следует из (3.4) с учетом (3.9), а последнее справедливо, т.к. в силу свойств смещенной δ - функции, описываемых (3.12) или (3.13), во всех точках произведения , в точках же , , а .

(3.15)

Выражение (3.15) есть математическая модель дискретизированного сигнала, представляющая собой произведение непрерывной функции времени на последовательность смещенных δ - функций.

Рассмотрим теперь, как связаны спектр дискретизированного сигнала X (jω) и спектр исходной непрерывной функции X(jω). Для этого вычислим тот же самый предел от обеих частей выражения (3.8). При этом предельном переходе изменяются лишь коэффициенты а_n(n = 0 ÷∞), поэтому формула (3.8) сразу дает спектр X (jω) дискретной функции X_д (jω), если в нее подставить соответствующие значения а = const, получающиеся из (3.6) при t®0, . Из (3.6) находим

;

n=0,1,2... после чего (3.8) принимает вид:

(3.16).

Выражение (3.16) показывает, что спектр дискретизированного сигнала является бесконечным и периодическим с периодом равным ω_д. Эти утверждения иллюстрируются графиками, представленными на рисунке 3.5.

На рисунке показаны: спектр непрерывного сигнала, ограниченный частотой ω_m (рисунок а) и спектры дискретизированного сигнала, соответствующие различным частотам дискретизации (рисунки б-г).

Вопрос 26: Теорема Котельникова.

П

роанализируем результаты, представленные на рисунке 3.5. Как видно из графиков при выполнении условия

w¶³ 2× wm

(3.17)

слагаемые спектры дискретизированного сигнала либо не соприкасаются (рисунок 3.5в), либо примыкают друг к другу (рисунок 3.5б), но не перекрываются. Перекрытие слагаемых спектров происходит лишь в том случае, когда условие (3.17) не выполняется и w<2× wm. Очевидно, что при выполнении (3.17), используя идеальный фильтр низких частот с частотной характеристикой вида

(3.18),

где C = const > 0, и полагая ω_гр=ω_m можно по дискретизированному сигналу точно восстановить спектр X(j ω) функции x (t), а, следовательно, и саму эту функцию, отфильтровав все боковые спектры . Математически это преобразование описывается следующим образом:

(3.19),

где X*(jw) - спектр сигнала на выходе восстанавливающего фильтра. Равенство , получающееся при , означает, что , так как одна и та же спектральная плотность не может соответство­вать двум различным временным функциям. Графическая иллюстрация восстановления показана на рисунке 3.6.

Из условия уточним коэффициент передачи фильтра: так как , т.е. , то (3.20). Если неравенство (3.17) не выполняется, то из-за взаимного перекрытия слагаемых Х[j(w-nw0)] происхо­дит изменение формы спектра Х(jω) (см. 3.5 г) и точное восстановление Х(j ω), а следовательно и x(t) невоз­можно. Таким образом, при выполнении неравенства (3.17) процесс с дискретным временем x(t), являющийся результа­том дискретизации непрерывного процесса х(t), теоретически содержит всю информацию о всех значениях непрерыв­ного процесса х(t).

Данное утверждение и составляет основное содержание теоремы Котельникова, которая обычно формируется так: не­прерывная функция времени, не содержащая в своем спектре частот свыше ω_m, полностью определяется последова­тельностью своих дискретных отсчетов x(k× Dt), следующих с частотой . Проведенные рассуждения составляют один из возможных вариантов доказательства этой теоремы.

Вопрос 27: Оценка ошибок дискретизации.

Р

ассуждения, которые привели нас к теореме Котельникова, построены на основе трех чисто математических абстракций:

1. Понятия функции с ограниченным спектром (как упрощенной модели реальных сигналов);

2. Понятия идеального фильтра нижних частот;

3. Понятия процесса с дискретным временем (как предельного случая AИM - колебания с импульсами нулевой длительности).

В действительности ни одно из этих предложений не выполняется. Оценим возникающие за счет этого погрешности.

Поэтому возникают погрешности при использовании дискретизации во времени. Погрешность обусловлена неограниченностью спектра реального непрерывного сигнала, вызывается двумя факторами:

1. взаимным наложением отдельных боковых спектров, соответствующих слагаемым: в формуле 3.16.

2. ограничением спектра восстанавливающего сигнала идеальным интерполятором в диапазоне (- ω_д / 2; ω_д / 2).

Оба названных фактора приводят к приблизительно одинаковым значениям погрешности. При этом составляющая погрешность, обусловленная первым фактором, можно исключить, осуществив предварительную фильтрацию (ограничения спектра) непрерывного сигнала перед дискретизацией. Обычно так и делают на практике, тем самым в два раза уменьшая результирующую погрешность. Погрешность обусловлена неидеальностью интерполирующего фильтра. Можно уменьшить в необходимости спектр, увеличив порядок фильтра. Погрешность, связанная с конечной длительностью отсчетных импульсов, полностью отсутствует, если исходная функция с ограничительным спектром восстанавливается идеальным интерполятором по АИМ – сигналу , полученному показанным на рис 3.3 способом. При этом длительность от счетных импульсов никакой роли не играет: при любом длительности t ≤ ∆t исходная x (t) восстанавливается точно. Данное утверждение следует из того, что, как видно из выражения (3.8) спектр АИМ - сигнала при любом t ≤ ∆t имеет такую же структуру, как и спектр дискретизированного сигнала, т.е. состоит из основного и боковых спектров , которые могут быть отфильтрованы восстанавливающим фильтром. Однако в реальных условиях АИМ - сигнал, используемый для восстановления исходной функции, отличен от . Отличие состоит в том, что этот сигнал (обозначим его ) является последовательностью прямоугольных импульсов с плоскими вершинами, тогда как вершины импульсов сигнала изменяется, повторяя в своем изменении х(t) (см. рисунок 3.9).

Это связано с тем, что для задания описания сигнала одного отсчета достаточно задать одно число, а для – функцию на промежутке. Можно показать, что во втором случае () влияние конечной длительности стробирующих импульсов эквивалентно изменению комплексно-частотной характеристики КЧХ интерполирующего фильтра. Величина этой погрешности может быть уменьшена либо сокращением длительности τ или корректирующим изменением КЧХ интерполятора. Так же, все три рассмотренных составляющих погрешности процедуры «дискретизация - восстановление» можно уменьшить за счет увеличения частоты дискретизации ω_д.

Вопрос 28: Оценка ошибок квантования.

Б

удем рассматривать квантование с равномерным шагом ∆x=const, т.е. равномерное квантование.
Как было отмечено в § 3.1.1. в процессе квантования неизбежно возникает ошибка квантования ε. Последовательность ошибок квантования ε (k∆t), возникающая при квантовании процесса с дискретным временем, называется шумом кван­тования. Обычно шум квантования предполагают стационарным эргодическим случайным процессом. Чаще всего интерес представляют максимальное значение ошибки квантования, ее среднее значение , равное матема­тическому ожиданию шума и среднеквадратическое отклонение σ_ε, равное квадратному корню из дисперсии шума (она характеризует мощность шума квантования). Все эти величины зависят от способа округления, применяемого при кван­товании, кроме того и σ_ε зависят от закона распределения w(ε) мгновенных значений сигнала в пределах шага квантова­ния.
Считая шаг квантования ∆x малым по сравнению с диапазоном изменения сигнала, плотность w(x) в пределах этого шага можно принять равномерной, т.е. .

Различают квантование с округлением, с усечением и с усечением модуля.
При квантовании с округлением истинному значению отсчета приписывает ближайший разрешенный уровень квантова­ния независимо от того, находится он сверху или снизу. Очевидно, что при этом

εmax= ∆ x;

(3.31а)

Квантование с округлением требует определенной сложности в реализации. Проще выполняется квантование с усечением, при котором истинному значению отсчета приписывается ближайший нижний уровень. При этом

εmax= ∆0.5 x;

т.е. максимальное значение погрешности в 2 раза больше, а , что приводит к накоплению погрешности квантова­ния при дальнейшей обработке квантованной последовательности.

Промежуточное положение по точности и сложности реализации занимает квантование с усечением модуля, которое для положительных отсчетов является таким же, как и квантование с усечением. Отрицательным отсчетам при­писывается ближайший верхний уровень. При этом

ε_max= ∆ x;

то есть накопление погрешностей не происходит, но в 2 раза увеличивается максимальная погрешность, и в 4 раза - мощность шума квантования k. Выбирая достаточно большее число уровней квантования N, шаг квантования ∆x = (x_max - x_min), а следовательно и все рассмотренные погрешности можно сделать необходимо малыми. При неравномерном законе распределения мгновенных значений сигнала квантования с постоянным шагом ∆x не является оптимальным по критерию минимума среднеквадратической ошибки σ_ε. Квантуя участки с менее вероятными значениями сигнала с большим шагом значение σ_ε можно уменьшить, при этом же количестве уровней квантования.

Вопрос 29: Информация в непрерывных сообщениях.

Д

ля того, чтобы оценить потенциальные возможности передачи сообщений по непрерывным каналам, необходимо вести количественные информационные характеристики непрерывных сообщений и каналов. Обобщим с этой целью понятие энтропии и взаимной информации на ансамбли непрерывных сигналов.

Пусть Х - случайная величина (сечение или отсчет случайного процесса), определенная в некоторой непрерывной об­ласти и ее распределение вероятностей характеризуется плотностью w(х).

Разобьем область значений Х на небольшие интервалы протяженностью ∆x. Вероятность Р_к того, что х_к<x<x_к+ ∆x, при­близительно равна w(х_к) ∆x т.е.

Рk=Р(хк<x<xк+∆x) ≈ w(хк)∆x,

(3.32)

причем приближение тем точнее, чем меньше интервал ∆x. Степень положительности та­кого события.

Если заменить истинные значения Х в пределах интервала ∆x значениями х_k в начале ин­тервала, то непрерывный ансамбль заменится дискретным и его энтропия в соответствии с (1.4) определится, как

или с учетом (3.32)

(3.33)

Будем теперь увеличивать точность определения значения х, уменьшения интервал ∆x. В пределе при ∆x→ 0 получим энтропию непрерывной случайной величины.

(3.34)

Второй член в полученном выражении стремится к и совершенно не зависит от распре­деления вероятностей Х. Это означает, что собственная информация любой непре­рывной случайной величины бесконечно велика. Физический смысл такого результата ста­новиться понятным, если учесть, что в конечном диапазоне непрерывная величина может принимать бесконечное множество значений, поэтому вероятность того, что ее реализация будет точно равна какому-то наперед заданному конкретному значению является беско­нечно малой величиной ≈0. В результате энтропия, определенная в соответствии с (1.4), характеризующая среднюю степень неожиданности появления возможных реализаций для любой непрерывной случайной величины не зависит от ее закона распределения и всегда равна бесконечности. Поэтому для описания информационных свойств непрерывных ве­личин необходимо ввести другие характеристики. Это можно сделать, если обратить вни­мание на то, что первое слагаемое выражении (3.34) является конечным и однозначно оп­ределяется плотностью распределения вероятности ω(x). Его называют дифференциаль­ной энтропией и обозначают h(x):

(3.35)

Вопрос 30: Дифференциальная энтропия и её свойства.

Б

удем теперь увеличивать точность определения значения х, уменьшения интервал ∆x. В пределе при ∆x→ 0 получим энтропию непрерывной случайной величины.

(3.34)

Второй член в полученном выражении стремится к и совершенно не зависит от распре­деления вероятностей Х. Это означает, что собственная информация любой непре­рывной случайной величины бесконечно велика. Физический смысл такого результата ста­новиться понятным, если учесть, что в конечном диапазоне непрерывная величина может принимать бесконечное множество значений, поэтому вероятность того, что ее реализация будет точно равна какому-то наперед заданному конкретному значению является беско­нечно малой величиной ≈0. В результате энтропия, определенная в соответствии с (1.4), характеризующая среднюю степень неожиданности появления возможных реализаций для любой непрерывной случайной величины не зависит от ее закона распределения и всегда равна бесконечности. Поэтому для описания информационных свойств непрерывных ве­личин необходимо ввести другие характеристики. Это можно сделать, если обратить вни­мание на то, что первое слагаемое выражении (3.34) является конечным и однозначно оп­ределяется плотностью распределения вероятности ω(x). Его называют дифференциаль­ной энтропией и обозначают h(x):

(3.35)

Дифференциальная энтропия обладает следующими свойствами.

1) Дифференциальная энтропия в отличии от обычной энтропии дискретного источ­ника не является мерой собственной информации, содержащейся в ансамбле значений случайной величины Х. Она зависит от масштаба Х и может принимать отрицательные значения. Информационный смысл имеет не сама дифференциальная энтропия, а раз­ность двух дифференциальных энтропий, чем и объясняется ее название.

2) Дифференциальная энтропия не меняется при изменении всех возможных значений случайной величины Х на постоянную величину. Действительно, масштаб Х при этом не меняется и справедливо равенство

(3.36)

3) Из этого следует, что h(x) не зависит от математического ожидания случайной вели­чины, т.к. изменяя все значения Х на С мы тем самым изменяем на С и ее среднее, то есть математическое ожидание.
Дифференциальная энтропия аддитивна, то есть для объединения ХY независимых случайный величин Х и Y справедливо:

h(XY)= h(X)+ h(Y).

Доказательство этого свойства аналогично доказательству (1.8) аддитивности обыч­ной энтропии.

4. Из всех непрерывных величин Х с фиксированной дисперсией σ² наибольшую диффе­ренциальную энтропию имеет величина с гауссовским распределе­нием, т.е.

(3.37)

Доказательство свойства проведем в два этапа: сначала вычислим h(x) для гауссовского распределения, задаваемого плотностью.

Где m - математическое ожидание,а затем докажем неравенство (3.37). Подставив (3.38) в (3.35) найдем:

Для доказательства неравенства (3.37) зададимся произвольным распределением (х) с дисперсией 2 и математическим ожиданием m и вычислим интеграл J вида

Но в силу неравенства (1.7) с учетом правила изменения основания логарифмов (log t = log e ln t) имеем:

так как подинтегральное выражение - гауссовская плотность распределения см.(3.38).

Таким образом , откуда .

Но как только что было показано, - это дифференциальная энтропия гауссовского распределения.

Доказанное неравенство и означает, что энтропия гауссовского распределе­ния максимальна.

Вопрос 31: Взаимная информация в непрерывных сообщениях.

П

опытаемся теперь определить с помощью предельного перехода взаимную информацию между двумя непрерывными случайными величинами X и Y. Разбив области определения Х и Y соответственно на небольшие интервалы ∆x и ∆y, заменим эти величины дискретными так же, как это делалось при выводе формулы (3.34).
Исходя из выражения (1.14) можно определить взаимную информацию между величинами Х и Y.

(3.39)

При этом предельном переходе никаких явных бесконечностей не появилось, т.е. взаимная информация оказывается величиной конечной, имеющей тот же смысл, что и для дискрет­ных сообщений.
С учетом того, что

w(x,y)= w(y) × w(x/y)

равенство (3.39) можно представить в виде

(3.40)

Здесь h(X) - определенная выражением (3.35) дифференциальная энтропия Х, а

(3.41)