Властивості інформації. Вимірювання інформації і даних

Рис. 1.1. Властивості інформації

За одиницю інформації приймають кількість інформації, яка необхідна для вибору однієї із двох рівноймовірних подій.

Найменша одиниця вимірювання інформації називається двійковою одиницею або бітом (binary digit, bit). Якщо повідомлення вказує на один із n рівноймовірних варіантів, то воно несе кількість інформації, яка рівна log₂ n. Інакше кажучи, кількість інформації рівна показнику степеня, до якого потрібно піднести число 2, щоб отримати кількість рівноправних варіантів вибору.

В інформатиці прийнята система представлення даних за допомогою двійкового коду. Найменшою одиницею такого представлення є біт. Необхідно розуміти різницю між кількістю інформації яка представлена двійковим кодом, і кількістю інформації, яку містить даний код.