Блинцов С.В. Сборник примеров и задач по теории информации - файл n1.doc

приобрести
Блинцов С.В. Сборник примеров и задач по теории информации
скачать (582 kb.)
Доступные файлы (1):
n1.doc582kb.05.06.2012 08:18скачать

n1.doc

  1   2   3   4   5   6


НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ КОРАБЛЕБУДУВАННЯ

ІМЕНІ АДМІРАЛА МАКАРОВА
ІНСТИТУТ АВТОМАТИКИ ТА ЕЛЕКТРОТЕХНІКИ
Кафедра комп’ютеризованих систем управління

Блінцов С.В.

СБОРНИК ПРИМЕРОВ И ЗАДАЧ

ПО ТЕОРИИ ИНФОРМАЦИИ

Руководство

для практических занятий

на базе Mathcad 6.0 Plus

Миколаїв 2004


1. ОЦЕНКА ЭНТРОПИЙНЫХ ХАРАКТЕРИСТИК

1.1. Основные сведения

Вероятностная мера неопределенности Шеннона или энтропия дискретной случайной величины имеет вид

, (1.1)

где  вероятность появления i-го значения xi случайной величины X;  мера неопределенности i-го значения; знак минус понимается как наличие "беспорядка" для величины X.

Формулу (1.1) можно записать в компактном виде

H(X)=M[-log2P(x)],

где log2P(x)  дискретная случайная величина, для которой i-е значение log2P(xi) имеет вероятность P(xi).

Энтропия максимальна, когда значения случайной величины равновероятны:

.

Тогда

, (1.2)

где  мера Хартли.

В этом случае статистическая мера Шеннона совпадает с комбинаторной мерой Хартли.

Энтропия системы дискретных случайных величин X и Y

, (1.3)

где  вероятность совместного появления i-го и j-го значений случайных величин X и Y, или в форме математического ожидания

,

где log2P(X,Y)  случайная величина, принимающая значения согласно матрице совместного распределения, и для которой значение log2P(xi,yj) имеет вероятность P(xi,yj).

Энтропия системы зависимых величин

или , (1.4)

где H(X)  безусловная энтропия величины Х;

H(Y)  безусловная энтропия величины Y;

H(Y/X)  условная энтропия величины Y относительно величины Х;

H(X/Y)  условная энтропия величины X относительно Y.

Для независимых величин и .

Условная энтропия X относительно Y

, (1.5)

где P(xi/yj)  вероятность значения xi величины X при условии, что величина Y приняла значение yj (условная вероятность).

Условная энтропия величины X относительно значения yj величины Y

. (1.6)

Условная энтропия Y относительно X

. (1.7)

1.2. Типовые примеры


Пример 1.2.1. Имеются три дискретных источника информации X(x1,x2), Y(y1,y2,y3) и Z(z1,z2). Вероятности появления сообщений P(xi), P(yi) и P(zi) каждого источника заданы при , и (задание начальных значений индексов) векторами

, и .

Требуется определить, какой источник обладает большей неопределенностью.

Решение. Сначала определим единицы измерения количества энтропии:

а) при натуральном логарифме (нит)  ;

б) при двоичном логарифме (бит)  .

На основании (1.1) энтропии источников:

и составит ;

и составит ;



и составит .

Таким образом, в случае равновероятных сообщений большей неопределенностью обладает троичный источник Y. При этом неопределенность может быть подсчитана так же как мера Хартли, равная logN, где N  число равновероятных сообщений. Сравнение двоичных источников X и Z показывает, что большей неопределенностью обладает источник с равновероятными сообщениями.

Пример 1.2.2. Число символов алфавита источника ( или ). Вероятности появления символов источника

, , и .

Между соседними символами имеются корреляционные связи, которые описываются при матрицей условных вероятностей P(xi/xj)= следующего вида


.
, например

Требуется определить энтропию источника.

Решение. Сначала определим единицы измерения количества энтропии:

а) при натуральном логарифме (нит)  ;

б) при двоичном логарифме (бит)  .

Ввиду зависимости между символами неопределенность источника характеризуется условной энтропией H(X/X). С учетом корреляционной связи и соотношения



на основании (1.5) условная энтропия

, .

Пример 1.2.3. Ансамбли событий X и Y объединены, причем вероятности совместных событий определяются матрицей PXY совместных вероятностей P(X,Y) при :


.
;

Требуется определить:

а) энтропии ансамблей X и Y;

б) энтропию объединенного ансамбля;

в) условные энтропии ансамблей.

Решение. Предварительно определим единицы измерения количества энтропии:

а) при натуральном логарифме (нит)  ;

б) при двоичном логарифме (бит)  .

Найдем безусловные вероятности P(xi) и P(yj) при и :

; ;

; .

На основании (1.1) вычислим энтропии ансамблей:

; ;

; .

На основании (1.3) энтропия объединенного ансамбля

; .

Так как согласно (1.4), энтропия объединения

H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y),

то условные энтропии будут

; .

; .
  1   2   3   4   5   6


НАЦІОНАЛЬ НИЙ УНІВЕРСИТЕТ КОРАБЛЕБУДУВАННЯ
Учебный материал
© nashaucheba.ru
При копировании укажите ссылку.
обратиться к администрации