В теории информации, энтропия Шеннона, или информационная энтропия — мера неопределённости, связанной со случайной величиной (с.в.); определяет количество информации, содержавшейся в сообщении (обычно в битах или битах на символ); минимальная длина сообщения, необходимая для передачи информации; также абсолютный предел наиболее возможного сжатия без потерь любого сообщения: при представлении сообщения рядом символов, кратчайшее представление, необходимое для передачи сообщения — это энтропия Шеннона в битах на символ, умноженная на число символов в исходном сообщении.

Справедливая монета имеет энтропию, равную одному биту. Однако, если монета не справедлива, то её неопределённость ниже (если бы надо было держать пари на исход бросания такой монеты, то мы бы предпочли держать пари на более частый исход), и таким образом энтропия Шеннона также ниже. Длинная вереница повторяющихся знаков имеет энтропию 0, так как каждый знак предсказуем. Энтропия английского текста лежит между 1.0 и 1.5 битами на букву[1], или ещё ниже от 0.6 до 1.3 битов на букву, согласно оценкам Шеннона, основанным на экспериментах с людьми[2]

Эквивалентно, энтропия Шеннона — мера среднего информационного содержания с.в., которое наблюдатель (получатель сообщения) теряет, когда ему неизвестно значение (исход) с.в.

Понятие было введено Клодом Элвудом Шенноном (1948) в его работе Математическая теория связи (A Mathematical Theory of Communication)[3].

Определение[править | править код]

Энтропия Шеннона дискретной с.в. , которая может принимать значения , равна величине

где

Характеризация[править | править код]

Определим и меру информационной энтропии

Информационная энтропия характеризуется следующими пожеланиями (desiderata):

Непрерывность
Мера должна быть непрерывной — то есть, изменение значения одной из вероятностей на очень маленькую величину должно изменить энтропию также на маленькую величину.
Симметрия
Мера не должна меняться, если исходы переупорядочены:
и т.д.
Максимум
Мера должна быть максимальной, если все исходы одинаково вероятны (неопределённость является самой высокой, когда все возможные события равновероятны).
Для равновероятных событий энтропия должна увеличиваться с увеличением их числа:
Аддитивность
Количество энтропии не должно зависеть от того, как система событий разделена на части (подсистемы).
Это последнее функциональное отношение характеризует энтропию системы с подсистемами и требует, чтобы энтропия системы могла быть вычислена через энтропии ее подсистем, если мы знаем, как подсистемы взаимодействуют с друг другом.
Дан ансамбль из равномерно распределённых элементов, которые произвольно разделены на коробок (подсистем) с элементами соответственно; энтропия всего ансамбля должна быть равна сумме энтропии системы коробок и индивидуальных энтропий коробок, взвешенных с вероятностью обнаружения элемента в соответстувующей коробке.
Для положительных целых чисел ,
Выбор подразумевает, что энтропия конкретного исхода равна нулю:

Можно показать, что любое определение энтропии, удовлетворяющее этим предположениям имеет форму

где — постоянная, соответствующая выбору единицы измерения.

Пояснения[править | править код]

Пример[править | править код]

Дальнейшие свойства[править | править код]

Увеличение энтропии Байеса — закон, согласно которому по мере увеличения выборки сравнения объектов А` для идентификации объекта А, индивидуальные особенности объекта А размываются по отношению к выборке, а идентификация становится бессмысленной. Другими словами с увеличение выборки у объекта А по отношению к ней увеличивается энтропия.

Считается, что закон был открыт эмпирически, до его математического доказательства британским математиком Томасом Байесом. В настоящее время в разных интерпретациях используется в кибернетике, информатике, теории систем, менеджменте и других науках. Некоторые математики и физики считают этот закон еще одним из начал термодинамики.

Пример. Если кто-то захочет установить личность человека, попавшего на видеокамеры, то процесс будет становится тем более бессмысленным, чем с большим количеством людей будет сравнен человек.

Аспекты[править | править код]

Связь с термодинамической энтропией[править | править код]

Энтропия как информационное содержание[править | править код]

Сжатие данных[править | править код]

Ограничения на энтропию как информационное содержание[править | править код]

Данные как марковский процесс[править | править код]

b-арная энтропия[править | править код]

Эффективность[править | править код]

Распространение дискретной энтропии до непрерывного варианта: дифференциальная энтропия[править | править код]

Литература[править | править код]

  1. Schneier, B: Applied Cryptography, Second edition, page 234. John Wiley and Sons.
  2. Shannon, Claude E.: Prediction and entropy of printed English, The Bell System Technical Journal, 30:50-64, 1950.
  3. Claude E. Shannon: A Mathematical Theory of Communication, Bell System Technical Journal, Vol. 27, pp. 379–423, 623–656, 1948.

Ссылки[править | править код]

См.также[править | править код]

Материалы сообщества доступны в соответствии с условиями лицензии CC-BY-SA, если не указано иное.