Калькулятор энтропии Шеннона
Рассчитайте энтропию Шеннона любого текста онлайн. Получите меру информационного содержания, избыточность и частотный анализ символов в битах на символ.
Как пользоваться: Калькулятор энтропии Шеннона
- Введите или вставьте текст в поле ввода.
- Нажмите «Рассчитать» — калькулятор определит частоту каждого символа.
- Ознакомьтесь с результатами: энтропия в бит/символ, общая информация и избыточность.
- Изучите таблицу символов с их частотами, вероятностями и информационным вкладом.
Таблица значений
| Из | В |
|---|---|
| AAAA (только 1 символ) | 0 бит/символ |
| ABAB (2 символа) | 1,0 бит/символ |
| ABCD (4 символа) | 2,0 бит/символ |
| Случайный ASCII | ≈ 7,0 бит/символ |
Примеры использования
- •Оценка степени сжатия текстовых данных перед архивированием.
- •Проверка случайности паролей и криптографических ключей.
- •Анализ частотности символов в лингвистических исследованиях.
- •Обучение теории информации и принципам сжатия данных.
Формула
Энтропия Шеннона: H = −∑ p(x) · log₂(p(x)), где p(x) — вероятность появления символа x. Результат выражается в битах на символ. Максимальная энтропия достигается при равномерном распределении всех символов.
Часто задаваемые вопросы
Что такое энтропия Шеннона?
Энтропия Шеннона — мера информационного содержания или неопределённости в наборе данных. Высокая энтропия означает равномерное распределение символов (случайный текст), низкая — предсказуемые, повторяющиеся данные.
Что означает «избыточность»?
Избыточность показывает, насколько фактическая энтропия текста ниже максимально возможной. Высокая избыточность означает, что данные хорошо сжимаемы; низкая — что они близки к случайным и уже почти не сжимаемы.
Где применяется энтропия Шеннона?
Энтропия Шеннона используется в теории сжатия данных (zip, gzip), криптографии для оценки случайности ключей, машинном обучении (деревья решений), лингвистике и анализе частотности символов.