4 страница. h(X/Y) - условная дифференциальная энтропия

h(X/Y) - условная дифференциальная энтропия. Можно показать, что во всех случаях h(X/Y)h(X).
Формула (3.40) имеет ту же форму, что и (1.13), а отличается лишь заменой энтропии диф­ференциальной энтропией. Легко убедиться, что основные свойства 1 и 2 (см. пункт 1.3) взаимной информации, описываемые равенствами (1.15)(1.17), остаются справедливыми и в этом случае.

Вопрос 32: ε - энтропия и ε - производительность источника непрерывных сообще­ний.

К

ак было показано в § 3.3, в одном отсчете любого непрерывного сообщения содержится бесконечное количество собственной информации. И тем не менее, непрерывные сообщения (телефонные разговоры, телепередачи) успешно передаются по каналам связи. Это объясняется тем, что на практике никогда не требуется абсолютно точного воспроизведения переданного сообщения, а для передачи даже с очень высокой, но ограниченной точностью, требуется конечное количество информации, также как и при передаче дискретных сообщений. Данное обстоятельство и положено в основу определения количественной меры собственной информации, источников непрерывных сообщений. В качестве такой меры, принимается минимальное количество информации, необходимое для воспроизведения непрерывного сообщения с заданной точностью. Очевидно, что при таком подходе собственная информация зависит не только от свойств источника сообщений, но и от выбора параметра ε, характеризующего точность воспроизведения. Возможны различные подходы к определению ε в зависимости от вида и назначения передаваемой информации. Наиболее часто в информационной технике в качестве ε используют среднеквадратическое отклонение между принятым у и переданным х сигналами, отражающими непрерывные сообщения, т.е.

,

(3.42)

где Х и Y – ансамбли сигналов, отражающих исходное и воспроизведенное сообщения.
Два варианта сообщения или сигнала, различающиеся не более, чем на заданное значение 0, называются эквивалентными. Взаимная информация I(X,Y) между двумя эквивалентными процессами X(t) и Y(t) может быть определена в соответствии с (3.40) как

I(X,Y)=h(X)-h(X/Y),

где h(X) и h(X/Y) – соответственно дифференциальная и условная дифференциальная энтропии.
Из приведенного выражения видно, что величина I(X,Y) зависит не только от собственного распределения ω(х) ансамбля Х (см. (3.35)), но и от условного распределения ω (x/y) (см. (3.41)), которое определяется способом преобразования процесса X в Y. Для характеристики собственной информации, содержащейся в одном отсчете процесса Х, нужно устранить ее зависимость от способа преобразования сообщения Х в эквивалентное ему сообщение Y. Этого можно добиться, если под количеством собственной информации или ε - энтропией H_ε(Х) процесса Х понимать минимизированную по всем распределениям ω(X/Y) величину I(X,Y), при которой сообщения Х и Y еще эквивалентны, т.е.

.

(3.43)

Таким образом, ε - энтропия определяет минимальное количество информации, содержащейся в одном отсчете непрерывного сообщения, необходимое для воспроизведения его с заданной верностью.
Если ансамбль сообщений Х представляет собой процесс с дискретным временем с непрерывными отсчетами, то под ε - производительностью источника понимают величину

,

(3.44)

где v_с – количество отсчетов сообщения, выдаваемых в единицу времени.
В том случае, когда Х - непрерывный случайный процесс с ограниченным спектром, вся информация, содержащаяся в его значениях, эквивалентна информации, содержащейся в отсчетах процесса, следующих друг за другом с интервалом , (fm-граничная частота спектра), т.е. со скоростью

uc=2× ¦m.

(3.45)

При этом ε - производительность источника или процесса по-прежнему определяется выражением (3.44), где величина v_с рассчитывается из условия (3.45).
В том случае, если следующие друг за другом отсчеты процесса коррелированны (взаимозависимы), величина Н_ε(Х) в (3.43) должна вычисляться с учетом вероятностных связей между отсчетами.
Итак, ε - производительность источника непрерывных сообщений представляет собой минимальное количество информации, которое нужно создать источнику в единицу времени, для воспроизведения его сообщений с заданной верностью.
ε - производительность называют также скоростью создания информации при заданном критерии верности.
Максимально возможная ε - производительность непрерывного источника Х обеспечивается при гауссовском распределении Х с дисперсией (при этом условии h(X) максимальна (см. (3.37)). Оценим значение . Рассмотрим случай, когда непрерывное сообщение X(t) представляет собой стационарный гауссовский процесс с равномерным энергетическимспектром, ограниченным частотой F_c, и с заданной мощностью (дисперсией) Р_х, а критерий эквивалентности  задан в виде (3.42). При аддитивном шуме наблюдения с мощностью . Исходный сигнал Х рассматриваем как сумму воспроизводящего сигнала Y и помехи:

X=Y+e.

При этом, поскольку ω(x/y)= ω(y+ε/y)= ω(ε/y)= ω(ε), то h(X/Y) полностью определяется шумом воспроизведения ω(t). Поэтому max h(X/Y)=max h(ε). Так как шум воспроизведения имеет фиксированную дисперсию , то дифференциальная энтропия имеет максимум (3.37) при гауссовском распределении шума

.

В свою очередь дифференциальная энтропия гауссовского источника с дисперсией .

.

Следовательно, ε - энтропия на один отсчет сообщения

(3.46)

Величина характеризует минимальное отношение сигнал-шум, при котором сообщения X(t) и Y(t) еще эквивалентны.
Согласно теореме Котельникова шаг дискретизации , а v_c=2 Fc. При этом равномерность спектра сообщения обеспечивает некоррелированность отстоящих на ∆t друг от друга отсчетов, а гауссовский характер распределения X(t) - их независимость. Следовательно, в соответствии с (3.44)

,

или с учетом (3.46)

.

(3.47)

Количество информации, выданное таким источником за время Тс

.

(3.48)

Интересно отметить, что правая часть выражения (3.48) совпадает с наиболее общей характеристикой сигнала, называемой его объемом, если принять динамический диапазон сигнала D = log ρ ₀. Это означает, что объем сигнала равен максимальному количеству информации, которое может содержаться в сигнале длительностью Тс.

Вопрос 33: Пропускная способность непрерывного канала. Формула Шеннона. Тео­рема Шеннона для непре­рывного канала с шумом.

П

ропускная способность непрерывного канала в расчете на один отсчет передаваемого сигнала, по аналогии с формулой (1.24а), определяется как

.

(3.49)

Здесь Х и Y - случайные величины, отсчеты процессов X(t) и Y(t) на входе и выходе канала.
Пропускная способность С определяется как сумма значений Сотсч, взятая по всем отсчетам за секунду. При этом дифференциальные энтропии в (3.49) должны вычисляться с учетом вероятностных связей между отсчетами.
Вычислим пропускную способность непрерывного канала без памяти с аддитивным белым (т.е. имеющим равномерный энергетический спектр и полностью некоррелированные несовпадающие отсчеты) гаусовском шумом, имеющим полосу пропускания F, если средняя мощность сигнала (дисперсия Х) не превышает заданной величины Рс. Мощность (дисперсию) шума в полосе F обозначим Рш. Поскольку шум аддитивный, отсчеты входного Х и выходного Y сигналов и шума N связаны равенством

Y=X+N,

(3.50)

т.к. N имеет нормальное распределение с нулевым математическим ожиданием, то и условная плотность вероятности ω(у/x) при фиксированном х будет также нормальной с математическим ожиданием х и дисперсией Рш.
Найдем пропускную способность в расчете на один отсчет (3.49):

.

Дифференциальная энтропия гауссовского распределения h(Y/X) в соответствии со своим свойством 2 (§ 3.3) не зависит от математического ожидания и согласно (3.37) равна . Поэтому для определения Сотсч следует найти такую плотность распределения ω (x), при которой максимизируется h(Y). Из (3.50) учитывая, что X и N-независимые случайные величины, имеем для дисперсий:

D(Y)=D(X)+D(N)=Pc+Pш,

(3.51)

таким образом, дисперсия Y фиксирована, так как Рс и Рш заданы. В соответствии со свойством 4 дифференциальной энтропии (§ 3.3) максимальная дифференциальная энтропия при фиксированной дисперсии обеспечивается гауссовским распределением. Из (3.50) видно, что при нормальном распределении Х распределение Y будет также нормальным и, следовательно, обеспечивается максимум дифференциальной энтропии (4.37):

,

откуда . Переходя к пропускной способности С в расчете на секунду, заметим, что количество информации, содержащейся в следующих друг за другом отсчетах, максимально в том случае, когда отсчеты независимы. Этого можно достичь, если процесс X(t) выбрать таким, чтобы его спектральная плотность была равномерной в полосе частот F. В этом случае отсчеты, разделенные интервалами ∆t, кратными 1/(2F), взаимно некоррелированы, а для гауссовских величин некоррелированность означает независимость.
Поэтому пропускную способность С (за секунду) можно найти, сложив пропускные способности (3.52) для 2F независимых отсчетов:

.

(3.53)

Она реализуется, если X(t) - гауссовский процесс с равномерной спектральной плотностью в полосе частот F (квазибелый шум).
Соотношение (3.53) называют формулой Шеннона. Формула Шеннона указывает на возможность обмена полосы пропускания на мощность сигнала и наоборот. Однако поскольку С зависит от F линейно, а от Р_с/P_ш – по логарифмическому закону, компенсировать возможное сокращение полосы пропускания увеличением мощности сигнала, как правило, не выгодно. Более эффективным является обратный обмен мощности сигнала на полосу пропускания.
Рассмотрим, как меняется пропускная способность гауссовского канала с изменением полосы пропускания. Для этого выразим мощность шума в канале через его одностороннюю спектральную плотность N₀. Имеем Р_ш=N₀ F, поэтому

.

(3.54)

При увеличении F пропускная способность С сначала быстро возрастает, а затем асимптотически стремиться к пределу

.

(3.55)

Результат (3.55) можно получить, если учесть, что при |ε|<<1 (т.е. при больших F)ln(1+ε)≈ε. Зависимость С_∞ от F по казана на рисунке.
Исходя из (3.55) можно показать, что для передачи заданного количества информации по каналу с шумом отношение энергии сигнала к спектральной плотности шума должно превысить некоторую пороговую величину. Действительно, если на передачу сообщения затрачено время Т, то среднее количество переданной информации , т.к. пропускная способность канала при любой полосе F не может превысить предельное значение (3.55). Таким образом и, следовательно, для передачи одного бита (т.е. ) информации необходима энергия сигнала

.

Эти рассуждения устанавливают потенциально взаимосвязь между количеством переносимой сигналом информации и энергией сигнала. Отметим, что формула Шеннона (3.53) справедлива только для канала с постоянными параметрами и аддитивным гауссовским белым или квазибелым шумом. Если аддитивный шум не гауссовский и его спектр неравномерен в полосе пропускания канала, то его пропускная способность больше, чем вычисленная по формуле (3.53). Мультипликативные помехи (замирание сигнала), обычно снижают пропускную способность по сравнению с результатом (3.53).
Рассмотрим теперь вопрос согласования источника непрерывных сообщений с непрерывным каналом.
Передача непрерывных сообщений по каналу без помех не представляет интереса, так как в этом теоретическом случае проблема связи вообще не возникает. Одним импульсом, амплитуда которого на приемной стороне воспринимается с неограниченной точностью, может быть передано бесконечно большое количество информации, однако этот результат не может быть использован в практике, так как этот импульс нельзя точно измерить.
Для канала с шумом с пропускной способностью С, на вход которого подключен источник спроизводительностью Шеннон доказал следующую теорему. Если при заданном критерии эквивалентности сообщений источника его ε-производительность меньше пропускной способности канала , то существует способ кодирования и декодирования, при котором неточность воспроизведения сколь угодно близка к (прямая теорема). При такого способа не существует (обратная теорема). Доказательство теоремы осуществляется аналогично доказательству основной теоремы кодирования для канала с шумом. Термин «кодирование» здесь понимается в широком смысле, так как он определен во введении. Не доказывая теорему, поясним возможность осуществления указанного в ней способа передачи. Если сообщения должны воспроизводиться с определенной верностью, то из бесконечного множества непрерывных сообщений длительностью Т передавать необходимо только конечное подмножество воспроизводящих сообщений. Процесс кодирования при этом заключается в отождествлении полученного от источника сообщения с ближайшим воспроизводящим и сопоставлением ему конкретного сигнала из множества разрешенных сигналов, специально подобранных для передачи, с учетом действующей в канале помехи. При декодировании полученный сигнал отождествляется с ближайшим разрешенным и ставится в соответствие воспроизводящему сообщению. Ошибки не произойдет, если при принятый сигнал попадет в некоторою собственную область соответствующего разрешенного сигнала, размеры которой зависят от средней мощности помехи. При определенном уровне средней мощности передаваемых сигналов можно создать ограниченное число разрешенных сигналов с не перекрывающимися собственными областями. Оно (это число) и определяет предельную скорость передачи с обеспечением заданного уровня верности.
Поскольку обычно допускается возможность появления любого значения помехи, вероятность воспроизведения другого разрешенного сигнала остается конечной. Однако при доказательстве теоремы показано, что она стремится к нулю при неограниченном увеличении длительности передаваемых сигналов. При этом из теоремы Шеннона следует, что при выполнении условия , можно преобразовать сообщение в сигнал так, чтобы отношение сигнал-шум на выходе приемника (декодера) было больше значения 0, обеспечивающего эквивалентность переданного и принятого сообщений, хотя в канале (т.е. на входе приемника) отношение сигнал-шум может быть во много раз меньше 0.
Однако до сих пор оптимальное кодирование непрерывных сообщений (без преобразования в дискретные) в непрерывном канале не находит приемлемой реализации. Более предпочтительным в настоящее время представляется преобразование непрерывных сообщений в дискретные с последующим использованием эффективного и помехоустойчивого кодирования.