Источник Сообщении

- объект, вырабатывающий сообщения, подлежащие передаче по каналу связи. Сообщение, вырабатываемое И. С. U, есть случайная величина x, определенная на нек-ром вероятностном пространстве принимающая значения в нек-ром измеримом пространстве и имеющая распределение вероятностей p(Х). Обычно где (Xt, SXt ) - экземпляры одного и того же измеримого пространства (X, SX), а П - прямое произведение пространств (Xt, SXt), когда параметр tпробегает множество Д, являющееся, как правило, либо нек-рым интервалом (конечным, полубесконечным или бесконечным в обе стороны) действительной оси, либо нек-рым дискретным подмножеством этой оси (в последнем случае обычно D= {..., - 1,0, 1,...} или D={1, 2,...}). В первом из этих случаев говорят об И.

С. С непрерывным временем, а во втором - об И. С. С дискретным временем. Ив том, и в другом случае сообщением служит случайный процесс x= {x(t), } со значениями в пространстве (X, SX);в приложениях x(t) трактуется как сообщение, вырабатываемое И. С. В момент времени t. Наборы случайных величин наз. Отрезками (t, T] сообщений. И. С. Делятся на различные классы в зависимости от типа сообщения - случайного процесса x(t), вырабатываемого И. С. Напр., если x(t) - случайный процесс с независимыми одинаково распределенными значениями или стационарный, эргодический, марковский, гауссовский и т. Д. Процесс, то И. С. Наз. Соответственно И. С. Без памяти, стационарным, эргодическим, марковским, гауссовскими т. Д. Одной из задач в теории информации передачи является задача кодирования И.

С. При этом различают, напр., кодирование И. С. Кодами фиксированной длины, переменной длины, кодирование И. С. При заданных условиях точности и др. (в приложениях нек-рые задачи кодирования И. С. Наз. Квантованием сообщений, сжатием сообщений и т. Д.). Напр., пусть U- И. С. Без памяти с дискретным временем, вырабатывающий сообщение x = (...,x-1, x0, x1,...), компоненты xk к-рого принимают значения из нек-рого конечного множества (алфавита) X. Пусть имеется другое конечное множество (множество значений компонент xk воспроизводимого сообщения Кодированием объема Мотрезка xL=(x1,..., xL). Сообщения длины Lназ. Отображение XL в множество из Мэлементов и пусть - образ элемента при таком отображении (здесь XL- прямое произведение Lэкземпляров множества X).

Пусть, далее, сообщений точность воспроизведения задается действительнозначной неотрицательной функцией - мерой искажения, так что средняя мера искажения нек-рого кодирования задается равенством где если xL=(x1,. ., xL )и е-энтропией И. С. Без памяти наз. Величина где I(Х, Х) - информации количество, а нижняя грань берется по всевозможным совместным распределениям пары таким, что распределение Х 1 совпадает с распределением отдельной компоненты И. С. Uи Теорема кодирования И. С. Пусть есть е-энтропия дискретного источника Uбез памяти с конечной мерой искажения и пусть М=ехр {LR}. Тогда. 1) для любого е>0, любого d>0, любого и достаточно большого Lсуществует кодирование объема Мотрезка сообщения длины Lтакое, что среднее искажение удовлетворяет неравенству 2) если R<He(U), то при любом кодировании объема Мотрезка сообщения длины Lсреднее искажение rL удовлетворяет неравенству Эта теорема кодирования обобщается и на более общий класс И.

С, напр, для И. С. С непрерывным пространством Xзначений компонент. В этом случае вместо кодирования объема Мговорят о квантовании И. С. Объема М. Следует заметить, что е-энтропия входящая в формулировку теоремы, при e=0 и мере искажения совпадает со скоростью создания сообщений заданным И. С. Лит.:[1] Шеннон К., Работы по теории информации и кибернетике, пер. С англ., М., 1963. [2] Добрушин P. Л., "Успехи матем. Наук", 1959, т. 14, в. 6, с. 3-104. [3] Галлагер Р., Теория информации и надежная связь, пер. С англ., М., 1974. [4] Вerger Т., Rate distortion theory, N.Y., 1971. Р. Л. Добрушин, В. В. Прелое..