Здравствуйте, гость ( Вход | Регистрация )

 
Ответить в данную темуНачать новую тему
> Информация и Энтропия, Для размышлений
Alice
сообщение 20.10.2008, 2:14
Сообщение #1


Администратор
****

Группа: Администраторы
Сообщений: 119
Регистрация: 15.8.2008
Пользователь №: 3



Информация и энтропия


При одинаковом количестве печатных знаков в хорошем стихотворении содержится больше информации, чем в стандартном газетном клише. Обратите внимание, на то, что объем занимаемой памяти не определяет меру информации.

Вы можете получить нечто объемом 1 Мб. с реальным информационным наполнением 1 бит. Более того, реальное количество информации в послании зависит еще и от получателя. Точнее - от его способности к восприятию и интерпретации полученных данных. Так, если для поступившего файла размером 1Мб. у вас нет приложения, которое может его открыть, то вся реально поступившая информация сводится лишь к 1 биту, то есть факту получения неизвестного файла, когда реализован выбор из двух, предположим, равновероятных состояний: 1 - файл получен и 0 - файл не получен.

А есть вы получили подтверждение того, что и так знаете. Напротив, если происходит наименее вероятное событие, в пределе - просто невероятное (ожидаемая вероятность равна нулю, и вы не имеете ни малейшего представления, что это за послание и откуда оно взялось) то на вас обрушивается бесконечно большой объем информации.

Под степенью избыточности информации понимают обычно отношение предельного максимально возможного информационного наполнения послания к его реальному, с точки зрения получателя, значению. Очевидно, что степень избыточности, так же, зависит от возможностей получателя.

Для наглядности. Данный абзац, если его написать на английском языке, будет включать в себя примерно на 30% меньше печатных знаков. То есть английский язык, особенно в области точного изложения абстрактных понятий, позволяет создавать примерно на 30% менее избыточные сообщения, чем русский. Однако если человек не владеет английским, то послание на неизвестном ему языке будет обладать бесконечно большой избыточностью, так как реально извлекаемая информация будет равна нулю. С другой стороны, чем выше избыточность информации в послании, тем более оно защищено от воздействия помех и шумов. Если в сообщении, написанном на русском языке в случайном порядке удалить до 30% процентов букв, то, скорее всего, вам удастся понять его смысл. В аналогичном случае для сообщения, написанного по-английски, восстановить его будет гораздо сложнее, а, может быть, и невозможно. Еще один пример снижения уровня избыточности - архивация и компрессия файлов, при которой информация не теряется, но объем послания уменьшается, как и возможность ее восстановления при случайных ошибках.

Из основных свойств информации и энтропии важно отметить адитивность, то есть независимость сложения или наложения сигналов и шумов от различных источников и невозможность (в среднем) снижения уровня энтропии в послании. Среднее значение энтропии в замкнутой системе всегда возрастает. Информация (в среднем) может только искажаться и теряться. Восстановление ее в без избыточных сообщениях невозможно никакими преобразованиями. Принципиальный вывод - не существует механизмов создания информации. Ее можно только извлекать из окружающей среды в процессе ее изучения. Вся информация уже существует.

Мера беспорядка, степень хаоса. Вычисляется как логарифм количества возможных реализаций данного состояния статистической системы. Чем более упорядочено состояние системы, тем меньше его энтропия.

Со временем, энтропия любой замкнутой системы увеличивается (то есть, со временем, любая система переходит из менее вероятного - например, искусственно созданного - состояния в более вероятное). Увеличение энтропии с течением времени есть единственный способ определения истинного направления течения времени (проблема состоит в том, что законы классической механики полностью инвариантны относительно выбора направления течения времени).

Информация, так же как и энтропия, - аддитивна (от лат. additivus — прибавляемый). Следовательно - ни одно из усилий не проходит бесследно, а общий итог определяется как сумма всех действий каждого из нас. Без каждого в отдельности из забытых и потерянных в круговороте истории поступков и мыслей мир был бы иным.

Конечно, течение времени смывает мелкие детали и индивидуальные особенности. Энтропия сглаживает рисунок событий. Конкретные имена и даты перестают иметь значение. Земная проекция любой, даже самой значительной личности, диссоциирует (от лат. dissociatio — разъединение) в бесконечной цепи последствий. Мы - как кристаллы соли в прибрежной лагуне. Набегает волна, и кристалл, недолго сверкавший под лучами солнца, растворяется в бесконечном океане, для того, чтобы, когда придет время, стать частью миллиардов других кристаллов. Находясь на берегу, невозможно представить себе, какая работа происходит в глубине. Имея конкретную локализацию, нельзя выразить состояние взаимодействия со всем окружающим миром. Можно с полной уверенность понять только одно, что каждый из нас помимо материального воплощения несет в себе информационную компоненту - своего рода послание, которое должно быть сохранено, дополнено и доставлено по назначению с отметками о прохождении всех основных этапов.
Перейти в начало страницы
 
+Цитировать сообщение
Valery
сообщение 10.12.2008, 0:10
Сообщение #2


Новичок
*

Группа: Н Пользователи
Сообщений: 2
Регистрация: 9.12.2008
Пользователь №: 481



Интересное размышление, только вот вопрос есть.

А какая разница между информацией и энтропией?


Если информация – это сведения о каких-то событиях, то сразу возникают, по крайней мере, два аспекта: ценностный, тот, что содержится в хорошем стихотворении, и формальный, когда надо это стихотворение передать кому-нибудь. Во втором случае возникают шенноновские биты или энтропия, потому, как передают не смысл стихотворения, а символы и лучше без ошибок. Разумеется, энтропия введена так, чтобы отражать наши интуитивные представления об информации, например, как о мере нашего незнания, ибо энтропия максимальна, если все исходы равновероятны, или, например, как различимость, ибо тот, кто отличает божий дар от яичницы, владеет сведениями о событиях.
Минимальный объем занимаемой памяти определяется шенноновской энтропией, которая позволяет восстановить записанное стихотворение слово в слово. Но памяти можно взять и больше, что зависит от способа представления информации или кодировки. Это будет одно из проявлений избыточности, которая есть свойство данного стихотворения, и не зависит от того кому оно будет послано.
Избыточность тоже ведь вещь не простая, это свойство живого разумного языка, да и не только языка. Случайная абракадабра из букв не имеет избыточности, ее не сжать и не сократить при письме, как, например, «энтр.» Будучи свойством полезным во всех отношениях, избыточность что русского, что английского языка , скорее всего, одинакова. Правда, не ясно, как эту избыточность измерять.


Перейти в начало страницы
 
+Цитировать сообщение
gazlan
сообщение 11.11.2013, 14:04
Сообщение #3


Новичок
*

Группа: Н Пользователи
Сообщений: 1
Регистрация: 10.11.2013
Пользователь №: 4392



Если обсуждение еще не закончилось :-)


Цитата(Valery @ 10.12.2008, 1:10) *
А какая разница между информацией и энтропией?


Нет никакой связи между этими понятиями.

Например, в известной фразе "казнить нельзя помиловать" положение запятой никоим образом не влияет на ее шенновскую энтропию. Энтропия любых анаграмм, скажем, "марс" и "срам" идентична.

Если рассматривать задачу транспорта информации, то символы (коды) сообщения играют роль тары, Энтропия - удельная мощность сообщения (на единицу тары), Избыточность - коэффициент заполнения тары.

Если требуется транспортировать 0.5 л, то это можно осуществить с помощью трех стаканов по 200 (с некоторой избыточностью), но нельзя с помощью трех стаканов по 150, поскольку это меньше "энтропийного предела" (~167).

При этом, совершенно неважно, 0.5 чего - воды, спирта, уксуса...


Перейти в начало страницы
 
+Цитировать сообщение

Ответить в данную темуНачать новую тему
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 




Rambler's Top100 Яндекс цитирования
RSS Текстовая версия Сейчас: 21.2.2018, 17:08