[deardron]

цитирую персону Ingwar
Кстати, если я правильно помню, в информационных системах энтропия уменьшается. Мало того, если мы измерим реальное количество поступающей информации (а не байты), то это количество будет равно величине уменьшения энтропии.

Дело не в том, что система информационная или неинформационная. Энтропия - мера неопределённости, т.е. отсутствия информации. Соответственно, информация определяется как приращение энтропии со знаком минус, или говоря по-русски, её уменьшение.

А вот когда понятие информации начинают применять к физической энтропии (стат. или термодин.), то мне это кажется не совсем оправданным: понятие информации окончательно превращается в скупую математическую величину, не имеющую отношения к основному значению этого слова, подразумевающему коммуникацию. Ведь не подсчитывают же физики биты в описании термодинамических процессов...

цитирую персону Dead Anarcher
А количество информации, необходимое для этого, равно ln(G)/ln(2) бит (логарифм от G по основанию 2) (здесь бит - мера количества информации, равная информации, содержащейся в ответе на вопрос, какое из двух равновероятных исходов имело событие (e.g. орел выпал или решка) - не путать с битом - двоичным триггером (от англ. BInary digiT)).

А по-моему, "путать" их можно и нужно, потому что это ИМХО одно и тоже

Т.о. получается, что информация имеет вполне реальный физический смысл и измеряется в джоулях на кельвин. Например, повышение температуры семян во время прорастания можно объяснить уменьшением энтропии системы семени вследствие чтения информации с витков ДНК-спирали и конструирования белков по этим программам.

Я не физик, но по-моему, энтропия - безразмерная единица, или я не прав? То есть ты имеешь в виду, что экспериментально установлена корреляция между термодинамическим изменением температуры и информационно-комбинаторным процессом "снятия информации" с ДНК? Интересно, это меняет суть дела, когда 2 разные энтропии оказываются равными друг другу со знаком минус... Но вопрос: какими критериями тогда измерялась энтропия ДНК? Не проще ли объяснить повышение температуры семян как результат работы химической реакции, в ходе которой создаются белки?

Существует также математическое понятие "энтропия информации": для некоторой последовательности двоичных бит (т.е. массива или вектора, состоящего из 0 и 1), это число, показывающее сколько информации содержится в этом массиве. Это число (в битах) всегда меньше количества элементов массива (двоичных бит, binary digits), поэтому обычно энтропия информации выражается в процентах или долях от единицы. Сжатие информации представляет собой операцию повышения энтропии этой информации.

Интересно, а кто ввёл понятие "энтропия информации"? В принципе тут рассказано о т.наз. алгоритмическом определении информации по Колмогорову, но такой интерпретации я не видел - а ссылку можно? У Колмогорова это объясняется проще: информация соответствует длине алгоритма, который генерирует данную последовательность символов. Т.е. последовательности "1000000" и "0123456789" можно задать более коротким алгоритмом, чем напр., "8485487274" (от балды).

И потом, тезис "Сжатие информации представляет собой операцию повышения энтропии этой информации" - может наоборот, операцию понижения энтропии, бит-то становится ещё более информативным?

[DaGGoN]

deardron,

Интересно, а кто ввёл понятие "энтропия информации"?

у меня валяется дома книжка "Инфодинамика"(кажется так) многое из этой темы там разжевано. Если надо - могу выслать. или тут выложить архив.

[deardron]

цитирую персону DaGGoN
deardron,
у меня валяется дома книжка "Инфодинамика"(кажется так) многое из этой темы там разжевано. Если надо - могу выслать. или тут выложить архив.

Да, надо, за архив буду премного благодарен!

[DaGGoN]

deardron,
Пытаюсь приаттачить ;-)
Когда я его откуда-то скачал, там был крайне редкий шрифт, после дешифровки Штирлицем кажется пострадали какие-тоформулы.