Информационное Расстояние

- метрика или псевдометрика на совокупности распределений вероятностей, характеризующая "непохожесть" описываемых этими распределениями случайных явлений. Наиболее интересны И. P. R(P, Q), связанные с мерами информативности эксперимента в задаче различения Ри Qпо наблюдениям. В любой конкретной задаче статистик, обработав материалы наблюдений, должен сделать выводы о наблюденном явлении. Эти выводы не будут, вообще говоря, совершенно точными, поскольку исходы наблюдений случайны. Интуитивно понятно, что каждая выборка несет какое-то количество полезной информации, причем. А) при обработке информация может только теряться, Б) информация, доставляемая независимыми источниками, напр, независимыми выборками, суммируется.

Таким образом, если ввести информативность эксперимента как среднее количество информации в наблюдении, то для информативности выполнены аксиомы А и Б. И хотя понятие информации остается интуитивным, иногда можно указать величину I, удовлетворяющую аксиомам А и Б, к-рая описывает асимптотику средней точ ности выводов в задаче с ростом числа наблюдений и к-рую потому естественно принять за информативность. Информативность может быть как числовой, так и матричной величиной. Важный пример - информационная матрица в задаче оценки параметра закона распределения. Согласно аксиоме Б, информативности складываются как квадраты длин (катетов), т. Е. Квадрат разумного И. Р. Должен обладать свойством аддитивности. Простейшие И.

Р.- расстояние по вариации. и расстояние в инвариантной римановой метрике Фишера. последним свойством не обладают и собственного статистич. Смысла не имеют. По теории Неймана - Пирсона вся полезная информация о различении распределений вероятностей Р(dot )и Q(dw)на общем пространстве Q исходов w содержится в отношении правдоподобия или его логарифме определенном с точностью до значений на множестве исходов вероятности нуль. Математическое ожидание наз. (средней) информацией различения (по Кульбаку) в пользу Рпротив Q, а также относительной энтропией, информационным уклонением. Неотрицательная (может быть, бесконечная) величина I(P. Q )удовлетворяет аксиомам А и Б. Она характеризует точность одностороннего различения Рот Q, определяя максимальный порядок убывания вероятности bN ошибки второго рода (т.

Е. Ошибочного принятия гипотезы Р, когда она неверна), при росте числа Nнезависимых наблюдений. при фиксированном уровне значимости - вероятности aN ошибки первого рода, Аналогичная величина I(Q. Р)определяет максимальный порядок убывания aN при Отношение "сходства", в частности "сходства" случайных явлений, не симметрично и, Как правило, I(P:Q)I(Q. Р). Геометрич. Интерпретация I(P. Q )как половины квадрата несимметричного расстояния от Qдо Роказалась естественной в ряде вопросов статистики. Для такого И. Р. Неравенство треугольника неверно, но справедлив несимметричный аналог теоремы Пифагора. I(R:P) = I(R:Q) + I(Q:P), если Симметричная характеристика непохожести Ри Qвозникает при их минимаксном тестировании.

Для оптимального теста С информационным уклонением связаны также нек-рые другие И. Р. (см. [1], [2]). Для бесконечно близких Ри Qглавная часть информационного уклонения, равно как и квадрата любого разумного И. Р., задается, с точностью до постоянного множителя с(I), квадратичной формой Фишера. Для информационного уклонения Лит.:[1] Кульбак С, Теория информации и статистика, пер. С англ., М., 1967. [2] Ченцов Н. Н., Статистические решающие правила и оптимальные выводы, М., 1972. Н. Н. Чепцов..