Информатика
Теория информации
Количество информации, энтропия и алфавитное кодирование.
Информатика
Количество информации по Хартли
I = log₂N→ИнформатикаИнформация события
I = −log₂p→ИнформатикаБинарная энтропия
H = −p log₂p − (1−p)log₂(1−p)→ИнформатикаОбъём сообщения по алфавиту
I = K log₂N→ИнформатикаДлина равномерного кода
b = ⌈log₂N⌉→ИнформатикаМаксимальная энтропия
Hmax = log₂N→ИнформатикаИзбыточность кода
D = 1 − H / Hmax→ИнформатикаКонтрольные биты кода Хэмминга
2ʳ ≥ m + r + 1→ИнформатикаДлина кодового слова
n = m + r→