Теоремы Шеннона для канала с шумами

Не следует путать с другими теоремами Шеннона.

Теоремы Шеннона для канала с шумами (теоремы Шеннона для передачи по каналу с шумами) связывают пропускную способность канала передачи информации и существование кода, который возможно использовать для передачи информации по каналу с ошибкой, стремящейся к нулю (при увеличении длины блока).

Формулировка теорем

Пусть

• $K$ — длина блока, генерируемого источником
• $L$ — длина блока, который будет передан по каналу (после кодирования)
• $R$ — скорость передачи сообщений (производительность источника)

$R = K / L$

• $C$ — пропускная способность канала, определяемая как максимум взаимной информации на входе и выходе канала ($X$ и $Y$ — представление входа и выхода канала как случайных величин)

$C = \max ( {I(X;Y)} )$

• $P_{er}$ — средняя вероятность ошибки декодирования блока
• $P_{er,max}$ — максимальная вероятность ошибки декодирования блока

${P}_{er,max} = \max \limits_{1 \leqslant s \leqslant M} P_{er}$

Прямая теорема

Если скорость передачи сообщений меньше пропускной способности канала связи ($R < C$), то существуют коды $\left\{ {\vec{x_1}, \vec{x_2}, ..., \vec{x_M}} \right\}$ и методы декодирования такие, что средняя и максимальная вероятности ошибки декодирования стремятся к нулю, когда длина блока стремится к бесконечности, то есть $P_{er} \to 0$, $P_{er,\max} \to 0$ при $L \to \infty$.

Иными словами: Для канала с помехами всегда можно найти такую систему кодирования, при которой сообщения будут переданы со сколь угодно большой степенью верности, если только производительность источника не превышает пропускной способности канала.

Обратная теорема

Если скорость передачи больше пропускной способности, то есть $R > C$, то не существует таких способов передачи, при которых вероятность ошибки стремится к нулю ($P_{er} \to 0$) при увеличении длины передаваемого блока, ($L \to \infty$).

Граница Шеннона

Под границей Шеннона (англ. Shannon limit) понимается максимальная скорость передачи, для которой код имеет возможность исправить ошибки в канале с заданным отношением сигнал/шум. В настоящее время (2007 год) максимальное приближение к этой границе даёт LDPC-код с примерной длиной блока в 10 миллионов бит.

Также, с другой стороны, под границей Шеннона можно понимать минимальное отношение сигнал/шум, для которого теоретически возможно безошибочная передача и декодирование блока с заданной скоростью. Например, для вида модуляции QPSK и скорости передачи 1 (бит/с)/символ минимальное отношение сигнал/шум составляет 0,25 дБ.

Литература

• Габидулин, Э. М., Пилипчук, Н. И. Лекции по теории информации. — М.: МФТИ, 2007. — 214 с. — ISBN 5-7417-0197-3