Единицы измерения информации

Единицы измерения информации служат для измерения объёма информации — величины, исчисляемойлогарифмически. Это означает, что когда несколько объектов рассматриваются как один, количество возможных состояний перемножается, а количество информации — складывается. Не важно, идёт речь ослучайных величинах в математике, регистрах цифровой памяти в технике или даже квантовых системах в физике.

Чаще всего измерение информации касается объёма компьютерной памяти и объёма данных, передаваемых по цифровым каналам связи.

Впервые объективный подход к измерению информации был предложен американским инженером Р. Хартли в 1928 году, затем в 1948 году обобщен американским учёным К. Шенноном. Хартли рассматривал процесс получения информации как выбор одного сообщения из конечного наперед заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Вероятность - численная мера достоверности случайного события, которая при большом числе испытаний близка к отношению числа случаев, когда событие осуществилось с положительным исходом, к общему числу случаев. Два события называют равновероятными, если их вероятности совпадают.

Примеры равновероятных событий
1.при бросании монеты: «выпала решка», «выпал орел»; 2. на странице книги: «количество букв чётное», «количество букв нечётное»; 3. при бросании игральной кости: «выпала цифра 1»,«выпала цифра 2»,«выпала цифра 3»,«выпала цифра 4»,«выпала цифра 5»,«выпала цифра 6».

Неравновероятные события

Определим, являются ли равновероятными сообщения «первой из дверей здания выйдет женщина» и «первым из дверей здания выйдет мужчина». Однозначно ответить на этот вопрос нельзя. Во-первых, как известно количество мужчин и женщин неодинаково. Во-вторых, все зависит от того, о каком именно здании идет речь. Если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Логарифм числа a по основанию b (logba) равен показателю степени, в которую надо возвести число b, чтобы получить число a. Широкое применение в информатике получили логарифмы по основанию два, которые называют двоичными логарифмами.

Формула Хартли:

I = log2N

Шеннон предложил другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона:

I=P1log21/P1+P2log21/P2+…+PNlog21/PN,

где pi – вероятность i-го сообщения

Поскольку каждый регистр арифметического устройства и каждая ячейка памяти состоит из однородных элементов, а каждый элемент может находиться в одном из двух устойчивых состояний (которые можно отождествить с нулем и единицей), то К. Шенноном была введена единица измерения информации – бит.

Бит – слишком мелкая единица измерения. На практике чаще применяется более крупная единица – байт, равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=28).

Широко используются также еще более крупные производные единицы информации:

1 Килобайт (Кбайт) = 1024 байт,

1 Мегабайт (Мбайт) = 1024 Кбайт,

1 Гигабайт (Гбайт) = 1024 Мбайт.

В последнее время в связи с увеличением объемов обрабатываемой информации входят в употребление такие производные единицы, как:

1 Терабайт (Тбайт) = 1024 Гбайт,

1 Петабайт (Пбайт) = 1024 Тбайт.

За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации.

4. Классификация языков программирования по областям применения
и уровням автоматизации с примерами и их сравнительный анализ.

Язык программирования ‑ это алгоритмический язык, не­пос­ред­ст­вен­­­но воспринимаемый компьютером.

Программа ‑ полное и точное описание алгоритма на языке програм­мирования.

Классификация языков по уровню ав­то­­матизации программи­ро­вания

1. Машинно-ориентированные языки: машинные и ассемблеры (языки, в которых числовые адреса и коды заменены на символьные обозначения).

Достоинства: максимальная эффективность, использование всех воз­мож­­­ностей компьютера; недостатки: трудоемкость, непереноси­мость программ на другие плат­фор­мы. Используются в тех случаях, когда возможности языков прог­рам­­ми­ро­вания недостаточны.

2. Процедурно‑ориентированные языки: содержат средства авто­ма­­ти­за­ции наиболее часто используемых процедур обработки данных. Одна команда генерирует множество машинных команд.

Достоинства: снижение трудоемкости разработки программ, переноси­мость программ на различные платформы. Недостатки: не все возможности компьютера используются, более низкая эффективность.

Примеры: языки Visual C++, Delphi, Visual Basic.

3. Проблемно‑ориентированные языки: автоматизируют разработку це­лых задач пользователя. Обычно пользователь описывает то, что нужно получить в результате решения задачи, а сам язык позволяет строить алгоритм и программы, реализующие поставленную цель.

Примером являются пакеты программ: “Галактика”, “1C ‑ бухгалтерия”.

Достоинство: максимальная автоматизация; недостатки: более низ­­кая эффективность и не все возможности компьютера используются.

Современные языки программирования включают в себя элементы языков трех уровней.