Лекция №4 Передача информации

Схема передачи информации. Канал передачи информации. Скорость передачи информации.

Существуют три вида информационных процессов: хранение, передача, обработка.

Хранение информации:

· Носители информации.

· Виды памяти.

· Хранилища информации.

· Основные свойства хранилищ информации.

С хранением информации связаны следующие понятия: носитель информации (память), внутренняя память, внешняя память, хранилище информации.

Носитель информации – это физическая среда, непосредственно хранящая информацию. Память человека можно назвать оперативной памятью. Заученные знания воспроизводятся человеком мгновенно. Собственную память мы еще можем назвать внутренней памятью, поскольку ее носитель – мозг – находится внутри нас.

Все прочие виды носителей информации можно назвать внешними (по отношению к человеку): дерево, папирус, бумага и т.д. Хранилище информации - это определенным образом организованная информация на внешних носителях, предназначенная для длительного хранения и постоянного использования (например, архивы документов, библиотеки, картотеки). Основной информационной единицей хранилища является определенный физический документ: анкета, книга и др. Под организацией хранилища понимается наличие определенной структуры, т.е. упорядоченность, классификация хранимых документов для удобства работы с ними. Основные свойства хранилища информации: объем хранимой информации, надежность хранения, время доступа (т.е. время поиска нужных сведений), наличие защиты информации.

Информацию, хранимую на устройствах компьютерной памяти, принято называть данными. Организованные хранилища данных на устройствах внешней памяти компьютера принято называть базами и банками данных.

Обработка информации:

· Общая схема процесса обработки информации.

· Постановка задачи обработки.

· Исполнитель обработки.

· Алгоритм обработки.

· Типовые задачи обработки информации.

Схема обработки информации:

Исходная информация – исполнитель обработки – итоговая информация.

В процессе обработки информации решается некоторая информационная задача, которая предварительно может быть поставлена в традиционной форме: дан некоторый набор исходных данных, требуется получить некоторые результаты. Сам процесс перехода от исходных данных к результату и есть процесс обработки. Объект или субъект, осуществляющий обработку, называют исполнителем обработки.

Для успешного выполнения обработки информации исполнителю (человеку или устройству) должен быть известен алгоритм обработки, т.е. последовательность действий, которую нужно выполнить, чтобы достичь нужного результата.

Различают два типа обработки информации. Первый тип обработки: обработка, связанная с получением новой информации, нового содержания знаний (решение математических задач, анализ ситуации и др.). Второй тип обработки: обработка, связанная с изменением формы, но не изменяющая содержания (например, перевод текста с одного языка на другой).

Важным видом обработки информации является кодирование – преобразование информации в символьную форму, удобную для ее хранения, передачи, обработки. Кодирование активно используется в технических средствах работы с информацией (телеграф, радио, компьютеры). Другой вид обработки информации – структурирование данных (внесение определенного порядка в хранилище информации, классификация, каталогизация данных).

Ещё один вид обработки информации – поиск в некотором хранилище информации нужных данных, удовлетворяющих определенным условиям поиска (запросу). Алгоритм поиска зависит от способа организации информации.

Передача информации:

· Источник и приемник информации.

· Информационные каналы.

· Роль органов чувств в процессе восприятия информации человеком.

· Структура технических систем связи.

· Что такое кодирование и декодирование.

· Понятие шума; приемы защиты от шума.

· Скорость передачи информации и пропускная способность канала.

Схема передачи информации:

Источник информации – информационный канал – приемник информации.

Информация представляется и передается в форме последовательности сигналов, символов. От источника к приёмнику сообщение передается через некоторую материальную среду. Если в процессе передачи используются технические средства связи, то их называют каналами передачи информации (информационными каналами). К ним относятся телефон, радио, ТВ. Органы чувств человека исполняют роль биологических информационных каналов.

Процесс передачи информации по техническим каналам связи проходит по следующей схеме (по Шеннону):

Термином «шум» называют разного рода помехи, искажающие передаваемый сигнал и приводящие к потере информации. Такие помехи, прежде всего, возникают по техническим причинам: плохое качество линий связи, незащищенность друг от друга различных потоков информации, передаваемой по одним и тем же каналам. Для защиты от шума применяются разные способы, например, применение разного рода фильтров, отделяющих полезный сигнал от шума.

Клодом Шенноном была разработана специальная теория кодирования, дающая методы борьбы с шумом. Одна из важных идей этой теории состоит в том, что передаваемый по линии связи код должен быть избыточным. За счет этого потеря какой-то части информации при передаче может быть компенсирована. Однако нельзя делать избыточность слишком большой. Это приведёт к задержкам и подорожанию связи.

При обсуждении темы об измерении скорости передачи информации можно привлечь прием аналогии. Аналог – процесс перекачки воды по водопроводным трубам. Здесь каналом передачи воды являются трубы. Интенсивность (скорость) этого процесса характеризуется расходом воды, т.е. количеством литров, перекачиваемых за единицу времени. В процессе передачи информации каналами являются технические линии связи. По аналогии с водопроводом можно говорить об информационном потоке, передаваемом по каналам. Скорость передачи информации – это информационный объем сообщения, передаваемого в единицу времени. Поэтому единицы измерения скорости информационного потока: бит/с, байт/с и др. информационный процесс передача канал

Еще одно понятие – пропускная способность информационных каналов – тоже может быть объяснено с помощью «водопроводной» аналогии. Увеличить расход воды через трубы можно путем увеличения давления. Но этот путь не бесконечен. При слишком большом давлении трубу может разорвать. Поэтому предельный расход воды, который можно назвать пропускной способностью водопровода. Аналогичный предел скорости передачи данных имеют и технические линии информационной связи. Причины этому также носят физический характер.

1. Классификация и характеристики канала связи
Канал связи – это совокупность средств, предназначенных для передачи сигналов (сообщений).
Для анализа информационных процессов в канале связи можно использовать его обобщенную схему, приведенную на рис. 1.

На рис. 1 приняты следующие обозначения: X, Y, Z, W – сигналы, сообщения; f – помеха; ЛС – линия связи;ИИ, ПИ – источник и приемник информации; П – преобразователи (кодирование, модуляция, декодирование, демодуляция).
Существуют различные типы каналов, которые можно классифицировать по различным признакам:
1. По типу линий связи: проводные; кабельные; оптико-волоконные;
линии электропередачи; радиоканалы и т.д.
2. По характеру сигналов: непрерывные; дискретные; дискретно-непрерывные (сигналы на входе системы дискретные, а на выходе непрерывные, и наоборот).
3. По помехозащищенности: каналы без помех; с помехами.
Каналы связи характеризуются:
1. Емкость канала определяется как произведениевремени использования канала T_к, ширины спектра частот, пропускаемых каналом F_к и динамического диапазона D_к., который характеризует способность канала передавать различные уровни сигналов

V_к = T_к F_к D_к. (1)
Условие согласования сигнала с каналом:
V_c £ V_k;T_c £ T_k;F_c £ F_k;V_c £ V_k;D_c £ D_k.
2.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени.
3. Пропускная способность канала связи – наибольшая теоретически достижимая скорость передачи информации при условии, что погрешность не превосходит заданной величины.
4. Избыточность – обеспечивает достоверность передаваемой информации (R = 0¸1).
Одной из задач теории информации является определение зависимости скорости передачи информации и пропускной способности канала связи от параметров канала и характеристик сигналов и помех.
Канал связи образно можно сравнивать с дорогами. Узкие дороги – малая пропускная способность, но дешево. Широкие дороги – хорошая пропускная способность, но дорого. Пропускная способность определяется самым «узким» местом.
Скорость передачи данных в значительной мере зависит от передающей среды в каналах связи, в качестве которых используются различные типы линий связи.
Проводные:
1. Проводные– витая пара (что частично подавляет электромагнитное излучение других источников). Скорость передачи до 1 Мбит/с. Используется в телефонных сетях и для передачи данных.
2. Коаксиальный кабель.Скорость передачи 10–100 Мбит/с – используется в локальных сетях, кабельном телевидении и т.д.
3. Оптико-волоконная.Скорость передачи 1 Гбит/с.
В средах 1–3 затухание в дБ линейно зависит от расстояния, т.е. мощность падает по экспоненте. Поэтому через определенное расстояние необходимо ставить регенераторы (усилители).
Радиолинии:
1. Радиоканал.Скорость передачи 100–400 Кбит/с. Использует радиочастоты до 1000 МГц. До 30 МГц за счет отражения от ионосферы возможно распространение электромагнитных волн за пределы прямой видимости. Но этот диапазон сильно зашумлен (например, любительской радиосвязью). От 30 до 1000 МГц – ионосфера прозрачна и необходима прямая видимость. Антенны устанавливаются на высоте (иногда устанавливаются регенераторы). Используются в радио и телевидении.
2. Микроволновые линии.Скорости передачи до 1 Гбит/с. Используют радиочастоты выше 1000 МГц. При этом необходима прямая видимость и остронаправленные параболические антенны. Расстояние между регенераторами 10–200 км. Используются для телефонной связи, телевидения и передачи данных.
3. Спутниковая связь. Используются микроволновые частоты, а спутник служит регенератором (причем для многих станций). Характеристики те же, что у микроволновых линий.
2. Пропускная способность дискретного канала связи
Дискретный канал представляет собой совокупность средств, предназначенных для передачи дискретных сигналов [5].
Пропускная способность канала связи – наибольшая теоретически достижимая скорость передачи информации при условии, что погрешность не превосходит заданной величины.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени. Определим выражения для расчета скорости передачи информации и пропускной способности дискретного канала связи.
При передаче каждого символа в среднем по каналу связи проходит количество информации, определяемое по формуле
I (Y, X) = I (X, Y) = H(X) – H (X/Y) = H(Y) – H (Y/X), (2)
где: I (Y, X) – взаимная информация, т.е.количество информации, содержащееся в Y относительно X; H(X) – энтропия источника сообщений; H (X/Y) – условная энтропия, определяющая потерю информации на один символ, связанную с наличием помех и искажений.
При передаче сообщения X_T длительности T, состоящего из n элементарных символов, среднее количество передаваемой информации с учетом симметрии взаимного количества информации равно:
I(Y_T, X_T) = H(X_T) – H(X_T/Y_T) = H(Y_T) – H(Y_T/X_T) = n [H(X) – H (X/Y), (3)
где T = n ; – среднее время передачи одного символа; n‑число символов в сообщении длительностью Т.
Для символов равной длительности = t, в случае неравновероятных символов неравной длительности
.
При этом скорость передачи информации
[бит/с]. (4)
Скорость передачи информации зависит от статистических свойств источника, метода кодирования и свойств канала.
Пропускная способность дискретного канала связи
. (5)
Максимально-возможное значение, т.е. максимум функционала ищется на всем множестве функций распределения вероятности p(x).
Пропускная способность зависит от технических характеристик канала (быстродействия аппаратуры, вида модуляции, уровня помех и искажений и т.д.). Единицами измерения пропускной способности канала являются: [bit/s], [Kbit/s], [Mbit/s], [Gbit/s].
2.1 Дискретный канал связи без помех
Если помехи в канале связи отсутствуют, то входные и выходные сигналы канала связаны однозначной, функциональной зависимостью.
При этом условная энтропия равна нулю, а безусловные энтропии источника и приемника равны, т.е. среднее количество информации в принятом символе относительно переданного равно
I (X, Y) = H(X) = H(Y); H (X/Y) = 0.
Если Х_Т – количество символов за время T, то скорость передачи информации для дискретного канала связи без помех равна
(6)
где V = 1/ – средняя скорость передачи одного символа.
Пропускная способность для дискретного канала связи без помех
(7)
Т.к. максимальная энтропия соответствует для равновероятных символов, то пропускная способность для равномерного распределения и статистической независимости передаваемых символов равна:
. (8)
Первая теорема Шеннона для канала:Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала связи, т.е.
, где - сколь угодно малая величина,
то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений источника, причем скорость передачи информации будет весьма близкой к пропускной способности канала.
Теорема не отвечает на вопрос, каким образом осуществлять кодирование.
Пример 1. Источник вырабатывает 3 сообщения с вероятностями:
p₁ = 0,1; p₂ = 0,2 и p₃ = 0,7.
Сообщения независимы и передаются равномерным двоичным кодом (m = 2) с длительностью символов, равной 1 мс. Определить скорость передачи информации по каналу связи без помех.
Решение: Энтропия источника равна

[бит/с].
Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна 2t.
Средняя скорость передачи сигнала
V =1/2t = 500 [1/c].
Скорость передачи информации
C = vH = 500×1,16 = 580 [бит/с].
2.2 Дискретный канал связи с помехами
Мы будем рассматривать дискретные каналы связи без памяти.
Каналом без памяти называется канал, в котором на каждый передаваемый символ сигнала, помехи воздействуют, не зависимо от того, какие сигналы передавались ранее. То есть помехи не создают дополнительные коррелятивные связи между символами. Название «без памяти» означает, что при очередной передаче канал как бы не помнит результатов предыдущих передач.
При наличии помехи среднее количество информации в принятом символе сообщении – Y, относительно переданного – X равно:
.
Для символа сообщения X_T длительности T, состоящегоиз n элементарных символов среднее количество информации в принятом символе сообщении – Y_T относительно переданного – X_T равно:
I(Y_T, X_T) = H(X_T) – H(X_T/Y_T) = H(Y_T) – H(Y_T/X_T) = n [H(Y) – H (Y/X). (9)
Для определения потерь в дискретном канале связи используется канальная матрица (матрица переходных вероятностей), позволяющая определить условную энтропию характеризующую потерю информации на символ сообщения.
Скорость передачи информации по дискретному каналу с помехами
равна:
(10)
Пропускная способность дискретного канала при наличии помех равна максимально допустимой скорости передачи информации, причем максимум разыскивается по всем распределениям вероятностей p(x) на X и, поскольку, энтропия максимальна для равномерного распределения (для равновероятных символов сообщения), то выражение для пропускной способности имеет вид:
. (11)
Как видно из формулы, наличие помех уменьшает пропускную способность канала связи.
Пример. По каналу связи передаются сообщения, вероятности которых соответственно равны:

p(x₁)=0,1; p(x₂)=0,2; p(x₃)=0,3; p(x₄)=0,4.
Канальная матрица, определяющая потери информации в канале связи имеет вид:

.
Определить:
1. Энтропию источника информации – H(X).
2. Безусловную энтропию приемника информации – H(Y).
3. Общую условную энтропию – H (Y/X).
4. Скорость передачи информации, если время передачи одного символа первичного алфавита t = 0,1 мс.
5. Определить потери информации в канале связи при передаче 500 символов алфавита.
6. Среднее количество принятой информации.
7. Пропускную способность канала связи.
Решение:
1. Энтропия источника сообщений равна

2. Вероятности появления символов на входе приемника


Проверка:

Энтропия приемника информации равна

3. Общая условная энтропия равна

4. Скорость передачи информации равна:

=(1,85–0,132)/0,0001=17,18 Кбит/с.
5. Потери информации в канале связи при передаче 500 символов алфавита равны:
500×0,132=66 бит.
6. Среднее количество принятой информации равно:

=500×(1,85–0,132)=859 бит.
7. Пропускная способность канала связи
(2–0,132)/0,0001=18,68 Кбит/с.
2.3 Пропускная способность бинарного, симметричного канала
Бинарным дискретным каналом называется канал, по которому передается только два элементарных дискретных символа (т.е. используется двоичный код).
Симметричным дискретным каналом называется канал, в котором. вероятности не зависят от передаваемых символов, т.е. вероятности правильной передачи одинаковы (p(x₁)= p(x₂)) и вероятности ошибочной передачи одинаковы (p(y₁ /x₂)= p(y₂/x₁)).
Рассмотрим двоичный дискретный канал, по которому передаются дискретные символы «0» и «1» (m=2). Если передаваемые символы независимы и равновероятны (p(x₁)= p(x₂)=1/2), то сигнал имеет максимальную энтропию (H_max(X)=1), при этом p (1/0) = p (0/1).
Если P_ош – вероятность ошибки то 1‑Р_ош – вероятность правильного приема. Диаграмма передачи двоичных сигналов по симметричному калу приведена на рис. 2.
p(y₁/ x₁) = 1‑Р_ош
x₁ не искажен y₁

искажен p(y₁/x₂) =P_ош
искажен p(y₂/x₁) =P_ош
x₂ не искажен y₂
p(y₂ / x₂)= 1‑Р_ош
Рис. 2. Диаграмма переходных вероятностей симметричного канала
Условная энтропия для симметричного канала равна

Пропускная способность для двоичного, симметричного канала
(12)
Это уравнение Шеннона для симметричного двоичного канала.
Наличие ошибки приводит к уменьшению пропускной способности.
Так при p_ош = 0,01 пропускная способность равна C = 0,9/t = 0,9C_max.
Основная теорема Шеннона о кодировании для дискретного канала с помехами: Для дискретного канала с помехами существует такой способ кодирования, который позволяет осуществлять безошибочную передачу информации, если производительность источника ниже пропускной способности
Пример. Определить скорость передачи по двоичному, симметричному каналу связи , если шумы в канале вносят ошибки, таким образом, что в среднем 4 символа из 100 принимаются неверно (т.е. «1» вместо «0» и наоборот).

Решение:
Составим таблицу вероятностей:
p(x₀) = 0,5; p(y₀/ x₀) = 0,96;
p(x₁) = 0,5; p(y₁/ x₀) = 0,04;
p(y₀) = 0,5; p(y₀/ x₁) = 0,04;
p(y₁) = 0,5; p(y₁/ x₁) = 0,96.
Пропускная способность для двоичного, симметричного канала

3. Пропускная способность непрерывного канала связи
Непрерывный канал передачи информации содержит совокупность средств для передачи непрерывных сигналов, при этом вместо кодирующих и декодирующих устройств используются различного рода преобразователи (модуляция и т.д.). Входные и выходные сигналы в непрерывном канале связи представляют ансамбли непрерывных функций с соответствующими плотностями распределений вероятности.
Если на вход непрерывного канала связи поступает непрерывный сигнал X(t) длительностью T, то вследствие воздействия помех f(t) выходной сигнал Y(t) будет отличаться от входного. При этом количество информации в сигнале Y(t) о сигнале X(t) равно:
. (13)
Непрерывный сигнал, можно рассматривать как дискретный при . Он может быть представлен в виде решетчатой функции, при этом на приемной стороне по отдельным взятым отсчетам через интервал Dtможет быть восстановлен исходный непрерывный сигнал.
Шаг квантования Dt = T/n, где n – число точек отсчета. В соответствии с теоремой Котельникова Dt = 1/2f_c, где f_c - частота среза а n = 2Tf_c – база сигнала.
При этом в выражении (13) для взаимной информации вместо разности энтропии можно записать разности соответствующих дифференциальных энтропий отдельных отсчетов
.
.
Для того чтобы помеха была максимальна, она тоже должна быть гауссова
.
При этом пропускная способность непрерывного канала должна быть равна пропускной способности сигнала
. (15)
Таким образом, скорость передачи информации с ограниченной средней мощностью максимальна, если и сигнал, и помеха являются гауссовыми, случайными процессами.
Пропускную способность канала можно изменять, меняя ширину спектра сигнала – f_c его мощность – P_c. Но увеличение ширины спектра увеличивает мощность помехи – P_n, поэтому соотношение между полосой пропускания канала и уровнем помех выбирается компромиссным путем.
Если распределение f(x) источника непрерывных сообщений отличается от нормального, то скорость передачи информации – С будет меньше. Используя, функциональный преобразователь, можно получать сигнал с нормальным законом распределения.
Обычно p_c/p_п >>1, при этом пропускная способность непрерывного канала равна С_п = F_кD_к. Связь между емкостью и пропускной способностью канала связи имеет вид V_к = T_к F_к D_к = T_к С_п.
Теорема Шеннона для непрерывного канала с шумом. Если энтропия источника непрерывных сообщений сколь угодно близка к пропускной способности канала, то существует метод передачи, при котором все сообщения источника будут переданы со сколь угодно высокой верностью воспроизведения.
Пример. По непрерывному каналу связи, имеющим полосу пропускания F_k = 1 кГц, передается полезный сигнал X(t), представляющий собой нормальный случайный процесс с нулевым математическим ожиданием и дисперсией = 4 мВ. В канале действует независимый от сигнала гауссов шум F(t) с нулевым математическим ожиданием и дисперсией = 1 мВ.
Определить:
– дифференциальную энтропию входного сигнала;
– дифференциальную энтропию выходного сигнала;
– условную дифференциальную энтропию;
– количество информации в одном непрерывном отсчете процесса Y(t) относительно отсчета X(t);
– скорость передачи информации по непрерывному каналу с дискретным временем;
– пропускную способность непрерывного канала связи;
– определить емкость канала связи, если время его работы T = 10 м;
– определить количество информации, которое может быть передано за 10 минут работы канала;
– показать, что информационная емкость непрерывного канала без памяти с аддитивным гауссовым шумом при ограничении на пиковую мощность не больше информационной емкости такого же канала при той же величине ограничения на среднюю мощность.
Решение:
Дифференциальная энтропия входного сигнала

= 3,05 бит/отсчет.
Дифференциальная энтропия выходного сигнала
=3,21 бит/отсчет.
Условная дифференциальная энтропия
= 2,05 бит/отсчет.
Количество информации в одном непрерывном отсчете процесса Y(t) относительно отсчета X(t)определяется по формуле
I (X, Y) = h(x) – h (x/y) = h(y) – h (y/x) = 3,21–2,05 = 1,16 бит/отсчет.
Скорость передачи информации по непрерывному каналу с дискретным временем определяется по формуле
=
= 2×10³× [3,21–2,05] = 2320 бит/с
Пропускная способность непрерывного канала с помехами определяется по формуле

=2322 бит/с.
Докажем, что информационная емкость непрерывного канала без памяти с аддитивным гауссовым шумом при ограничении на пиковую мощность не больше информационной емкости такого же канала при той же величине ограничения на среднюю мощность.
Математическое ожидание для симметричного равномерного распределения

Средний квадрат для симметричного равномерного распределения

Дисперсия для симметричного равномерного распределения

При этом, для равномерно-распределенного процесса .
Дифференциальная энтропия сигнала с равномерным распределением
.
Разность дифференциальных энтропий нормального и равномерно распределенного процесса не зависит от величины дисперсии
= 0,3 бит/отсч.
Таким образом, пропускная способность и емкость канала связи для процесса с нормальным распределением выше, чем для равномерного.
Определим емкость (объем) канала связи
V_k = T_kC_k = 10×60×2322 = 1,3932 Мбит.
Определим количество информации, которое может быть передано за 10 минут работы канала
10×60×2322=1,3932 Мбит.
Задачи

1. В канал связи передаются сообщения, составленные из алфавита x_1, x₂ и x₃ с вероятностями p(x₁)=0,2;p(x₂₎=0,3 и p(x₃)=0,5.
Канальная матрица имеет вид:
при этом .
Вычислить:
1. Энтропию источника информации H(X) и приемника H(Y).
2. Общую и условную энтропию H (Y/X).
3. Потери информации в канале при передаче к символов (к = 100).
4. Количество принятой информации при передаче к символов.
5. Скорость передачи информации, если время передачи одного символа t = 0,01 мс.
2. По каналу связи передаются символы алфавита x₁, x₂, x₃ и x₄ с вероятностями . Определить количество информации принятой при передаче 300 символов, если влияние помех описывается канальной матрицей:
.
3. Определить потери информации в канале связи при передаче равновероятных символов алфавита, если канальная матрица имеет вид
.
Определить скорость передачи информации, если время передачи одного символа t = 0,001 сек.
4.Определить потери информации при передаче 1000 символов алфавита источника x₁, x₂ и x₃ с вероятностями p =0,2; p =0,1 и p( )=0,7, если влияние помех в канале описывается канальной матрицей:
.
5. Определить количество принятой информации при передаче 600 символов, если вероятности появления символов на выходе источника X равны: а влияние помех при передаче описывается канальной матрицей:
.
6. В канал связи передаются сообщения, состоящие из символов алфавита , при этом вероятности появления символов алфавита равны:
Канал связи описан следующей канальной матрицей:
.
Определить скорость передачи информации, если время передачи одного символа мс.
7.По каналу связи передаются сигналы x₁, x₂ и x₃ с вероятностями p =0,2; p =0,1 и p( )=0,7.Влияние помех в канале описывается канальной матрицей:
.
Определить общую условную энтропию и долю потерь информации, которая приходится на сигнал x₁(частную условную энтропию).
8. По каналу связи передаются символы алфавита x₁, x₂, x₃ и x₄ с вероятностями .
Помехи в канале заданы канальной матрицей
.
Определить пропускную способность канала связи, если время передачи одного символа t = 0,01 сек.
Определить количество принятой информации при передаче 500 символов, если вероятности появления символов на входе приемника Y равны: , а влияние помех при передаче описывается канальной матрицей:
.

Пропускная способность непрерывного канала связи
(14)
Для дискретного канала связи максимальное значение скорости передачи соответствует равновероятным символам алфавита. Для непрерывного канала связи, когда заданной является средняя мощность сигнала, максимальная скорость обеспечивается при использовании нормальных центрированных случайных сигнала.
Если сигнал центрированный (m_x = 0) т.е. без постоянной составляющей при этом мощность покоя равна нулю (P₀ = 0). Условие центрированности обеспечивает максимум дисперсии при заданной средней мощности сигнала
Если сигнал имеет нормальное распределение, то априорная дифференциальная энтропия каждого отсчета максимальна.
Поэтому при расчете пропускной способности непрерывного канала считаем, что по каналу передается непрерывный сигнал с ограниченной средней мощностью – P_c и аддитивная помеха (y = x+f) также с ограниченной средней мощностью – P_n типа белого (гауссова) шума.