Теория информации и случайность

Клод Шеннон ввёл понятие энтропии как меры неопределённости. Максимальная энтропия — у равновероятных независимых исходов: предсказать следующий символ невозможно. Это формальное обоснование того, почему «системы предсказания» в случайных процессах обречены на провал.

Энтропия Шеннона

Для дискретного распределения с вероятностями p₁, p₂, … энтропия H = −Σ pᵢ log₂(pᵢ). Максимум достигается при равных вероятностях. Чем выше энтропия, тем «случайнее» процесс и тем меньше информации несёт каждый исход. См. Механика независимых событий.

Колмогоровская сложность

Длина кратчайшего описания последовательности. Истинно случайная последовательность несжимаема: её описание не короче её самой. Любая «закономерность» уменьшает сложность. Отсюда: если бы существовал паттерн, данные были бы сжимаемы — но для криптографически стойких ГСЧ это не так.

Связь с управлением риском

Понимание случайности защищает от иллюзии «предсказания» и «горячей руки». Рациональное управление капиталом строится на допущении независимости исходов. Кластерная иллюзия, Мифы о стратегиях.

Важно

Материал образовательный. Решения в условиях неопределённости сопряжены с рисками.