Введение. Факультет вычислительной математики

Курынин Р.В., Машечкин И.В., Терехин А.Н.

ОПЕРАЦИОННЫЕ СИСТЕМЫ

Конспект лекций

МОСКВА

Содержание

Содержание.. 2

1 Введение.. 5

1.1 Основы архитектуры вычислительной системы.. 10

1.1.1 Структура ВС.. 10

1.1.2 Аппаратный уровень ВС.. 11

1.1.3 Управление физическими ресурсами ВС.. 12

1.1.4 Управление логическими/виртуальными ресурсами. 14

1.1.5 Системы программирования. 16

1.1.6 Прикладные системы.. 22

1.1.7 Выводы, литература. 27

1.2 Основы компьютерной архитектуры.. 30

1.2.1 Структура, основные компоненты.. 30

1.2.2 Оперативное запоминающее устройство. 32

1.2.3 Центральный процессор. 36

1.2.3.1 Регистровая память. 37

1.2.3.2 Устройство управления. Арифметико-логическое устройство. 37

1.2.3.3 КЭШ-память. 38

1.2.3.4 Аппарат прерываний. 40

1.2.4 Внешние устройства. 44

1.2.4.1 Внешние запоминающие устройства. 45

1.2.4.2 Модели синхронизации при обмене с внешними устройствами. 49

1.2.4.3 Потоки данных. Организация управления внешними устройствами. 50

1.2.5 Иерархия памяти. 52

1.2.6 Аппаратная поддержка операционной системы и систем программирования. 53

1.2.6.1 Требования к аппаратуре для поддержки мультипрограммного режима. 53

1.2.6.2 Проблемы, возникающие при исполнении программ.. 56

1.2.6.3 Регистровые окна. 58

1.2.6.4 Системный стек. 60

1.2.6.5 Виртуальная память. 60

1.2.7 Многомашинные, многопроцессорные ассоциации. 64

1.2.8 Терминальные комплексы (ТК) 67

1.2.9 Компьютерные сети. 69

1.2.10 Организация сетевого взаимодействия. Эталонная модель ISO/OSI. 71

1.2.11 Семейство протоколов TCP/IP. Соответствие модели ISO/OSI. 73

1.3 Основы архитектуры операционных систем.. 78

1.3.1 Структура ОС.. 80

1.3.2 Логические функции ОС.. 83

1.3.3 Типы операционных систем.. 84

2 Управление процессами.. 87

2.1 Основные концепции. 87

2.1.1 Модели операционных систем.. 87

2.1.2 Типы процессов. 89

2.1.3 Контекст процесса. 90

2.2 Реализация процессов в ОС Unix. 91

2.2.1 Процесс ОС Unix. 91

2.2.2 Базовые средства управления процессами в ОС Unix. 93

2.2.3 Жизненный цикл процесса. Состояния процесса. 100

2.2.4 Формирование процессов 0 и 1. 101

2.3 Планирование. 104

2.4 Взаимодействие процессов. 104

2.4.1 Разделяемые ресурсы и синхронизация доступа к ним.. 104

2.4.2 Способы организации взаимного исключения. 106

2.4.3 Классические задачи синхронизации процессов. 108

3 Реализация межпроцессного взаимодействия в ОС Unix.. 115

3.1 Базовые средства реализации взаимодействия процессов в ОС Unix. 115

3.1.1 Сигналы.. 117

3.1.2 Неименованные каналы.. 122

3.1.3 Именованные каналы.. 129

3.1.4 Модель межпроцессного взаимодействия «главный–подчиненный». 130

3.2 Система межпроцессного взаимодействия IPC (Inter-Process Communication) 134

3.2.1 Очередь сообщений IPC.. 136

3.2.2 Разделяемая память IPC.. 142

3.2.3 Массив семафоров IPC.. 144

3.3 Сокеты — унифицированный интерфейс программирования распределенных систем.. 149

4 Файловые системы... 155

4.1 Основные концепции. 155

4.1.1 Структурная организация файлов. 156

4.1.2 Атрибуты файлов. 157

4.1.3 Основные правила работы с файлами. Типовые программные интерфейсы.. 158

4.1.4 Подходы в практической реализации файловой системы.. 161

4.1.5 Модели реализации файлов. 163

4.1.6 Модели реализации каталогов. 165

4.1.7 Соответствие имени файла и его содержимого. 166

4.1.8 Координация использования пространства внешней памяти. 167

4.1.9 Квотирование пространства файловой системы.. 168

4.1.10 Надежность файловой системы.. 169

4.1.11 Проверка целостности файловой системы.. 170

4.2 Примеры реализаций файловых систем.. 172

4.2.1 Организация файловой системы ОС Unix. Виды файлов. Права доступа. 173

4.2.2 Логическая структура каталогов. 174

4.2.3 Внутренняя организация файловой системы: модель версии System V.. 175

4.2.3.1 Работа с массивами номеров свободных блоков. 176

4.2.3.2 Работа с массивом свободных индексных дескрипторов. 176

4.2.3.3 Индексные дескрипторы. Адресация блоков файла. 177

4.2.3.4 Файл-каталог. 178

4.2.3.5 Достоинства и недостатки файловой системы модели System V.. 180

4.2.4 Внутренняя организация файловой системы: модель версии Fast File System (FFS) BSD 180

4.2.4.1 Стратегии размещения. 181

4.2.4.2 Внутренняя организация блоков. 182

4.2.4.3 Выделение пространства для файла. 183

4.2.4.4 Структура каталога FFS. 183

4.2.4.5 Блокировка доступа к содержимому файла. 184

5 Управление оперативной памятью.... 186

5.1 Одиночное непрерывное распределение. 186

5.2 Распределение неперемещаемыми разделами. 187

5.3 Распределение перемещаемыми разделами. 189

5.4 Страничное распределение. 190

5.5 Сегментное распределение. 197

5.6 Сегментно-страничное распределение. 199

6 Управление внешними устройствами.. 201

6.1 Общие концепции. 201

6.1.1 Архитектура организации управления внешними устройствами. 201

6.1.2 Программное управление внешними устройствами. 202

6.1.3 Планирование дисковых обменов. 203

6.1.4 RAID-системы. Уровни RAID.. 206

6.2 Работа с внешними устройствами в ОС Unix. 209

6.2.1 Файлы устройств, драйверы.. 209

6.2.2 Системные таблицы драйверов устройств. 210

6.2.3 Ситуации, вызывающие обращение к функциям драйвера. 211

6.2.4 Включение, удаление драйверов из системы.. 211

6.2.5 Организация обмена данными с файлами. 212

6.2.6 Буферизация при блок-ориентированном обмене. 213

6.2.7 Борьба со сбоями. 214

Введение

Настоящая[R1] книга основывается на многолетнем опыте чтения авторами курсов лекций и проведении семинарских занятий по операционным системам на факультете вычислительной математики и кибернетики Московского государственного университета им. М.В.Ломоносова (Россия) и на факультете компьютерных наук университета Ватерлоо (Онтарио, Канада).

Операционная система является одним из ключевых понятий, связанных с функционированием компьютеров и их программного обеспечения. В существующей литературе многие понятия, связанные с вычислительной техникой, определяется неоднозначно, что иногда вносит путаницу в представление полной картины того, что и как функционирует в современном компьютере. Неоднозначностью определений страдает и понятие операционная система. В каких-то источниках операционная система определяется, «как система интерфейсов, предназначенная для обеспечения удобства работы пользователя с компьютером», в каких-то — это «посредник между программами пользователя и аппаратными средствами», кто-то сопоставляет это понятие с «возможностями и интерфейсами, предоставляемыми инструментальными средствами программирования и/или прикладными системами». В целом, каждая из перечисленных интерпретаций понятия операционная система имеет право на существование, и природа появления того или иного представления ясна. Однако многие из используемых трактовок термина операционная система ориентированы на конкретную категорию пользователей (программист, пользователь прикладной системы, системный программист и т.п.) и не формируют целостной картины функций свойств и взаимосвязей с другими компонентами программного обеспечения и аппаратуры компьютера.

Авторы настоящей книги ставили перед собой цель выстроить систему определений и рассмотреть основные свойства и примеры реализации тех или иных аппаратных и программных компонентов, функционирующих в компьютере, в их взаимосвязи, акцентировав основное внимание на понятии операционная система, на основах ее построения, примерах организации тех или иных частей наиболее распространенных на сегодняшний день ОС.

История появления и развития операционных систем целиком и полностью связана с развитием и становлением аппаратных возможностей компьютеров. Рассмотрим ключевые этапы этого процесса.

Первое поколение компьютеров: середина 40-х — начало 50-х годов XX века. Компьютеры этого поколения строились на электронно-вакуумных лампах. В 1946 г. в Пенсильванском университете США была разработана вычислительная машина ENIAC (Electronic Numerical Integrator and Computer), которая считается одной из первых электронных вычислительных машин (ЭВМ). Данная машина была разработана по заказу министерства обороны США и применялась для решения задач энергетики и баллистики. Производительность таких компьютеров измерялась от сотен до тысяч команд (операций) в секунду. Компьютер состоял из процессора, оперативного запоминающего устройства и достаточно примитивных внешних устройств: устройства вывода (вывод цифровой информации на бумажную ленту), внешних запоминающих устройств (ВЗУ) — аппаратных средств хранения готовых к исполнению программы и данных (магнитные ленты), и устройства ввода, позволявшего вводить в оперативную память компьютера предварительно подготовленные на специальных носителях (перфокартах, перфоленте и пр.) программы и данные.

Изначально компьютеры первого поколения использовались в однопользовательском, персональном режиме, т.е. вся система монопольно предоставлялась одному пользователю, при этом программа и необходимые данные, представленные в машинных кодах в двоичном представлении, вводились в оперативную память, а затем запускалась на исполнение. Пользователь (программист) использовал аппаратную консоль (или пульт управления) компьютера для ввода и запуска программы чтения данных через устройства ввода. Результат выполнения программы выводился на устройство печати. В случае возникновения ошибки работа компьютера по выполнению команд программы прерывалась, и возникшая ситуация отображалась на индикаторах пульта управления, содержание которых анализировалось программистом. Программирование в машинных кодах привносило ряд проблем, связанных с техническими сложностями написания, модификации и отладки программы. Кроме того, в задачу программиста входило кодирование всех необходимых операций ввода/вывода с помощью специальных машинных команд управления внешними устройствами. В этот период от пользователя компьютера требовались не только алгоритмические знания и навыки решения конкретной прикладной задачи, но и достаточно хорошие знания организации и использования аппаратуры компьютера, доскональное знание системы команд и кодировки, используемой в данном компьютере, знание особенностей программирования устройств ввода/вывода, т.е. программист должен был быть, отчасти, и инженером-электронщиком. На этапе существования компьютеров первого поколения появился класс программ, обеспечивающих определенные сервисные функции программирования — это ассемблеры, первые языки высокого уровня и трансляторы для этих языков, а также простейшие средства организации и использования библиотек программ. Кроме того, можно говорить о зарождении класса сервисных, управляющих программ: представителями этого класса являлись программы чтения и загрузки в оперативную память программ и данных с внешних устройств. Эти программы были предопределены фирмой-разработчиком компьютеров и вводились в оперативную память с использованием аппаратной консоли. Так при помощи консоли было возможно вручную ввести в оперативную память последовательность команд, составляющих управляющую программу, и осуществить ее запуск. В случае если управляющая программа размещалась на внешнем запоминающем устройстве, через аппаратную консоль вводилась последовательность команд, обеспечивающих чтение кода управляющей программы в оперативную память и передачу управления на ее точку входа.

Компьютеры второго поколения: конец 50-х годов — вторая половина 60-х годов ХХ века. Традиционно, с компьютерами второго поколения связывается использование полупроводниковых приборов — диодов и транзисторов, которые по функциональной емкости, размеру, энергопотреблению в десятки раз превосходили возможности электронно-вакуумных ламп. В результате компьютеры второго поколения стали обладать существенно более развитыми логическими возможностями и в тысячи раз превосходили компьютеры первого поколения по производительности. Широкое распространение получили новые высокопроизводительные внешние устройства ЭВМ. Все это определило и активное совершенствование программного обеспечения и способов использования компьютеров. Можно с уверенностью утверждать, что реальное зарождение понятия операционной системы связано именно с появлением и совершенствованием архитектуры компьютеров второго поколения.

Этапом в развитии форм использования компьютеров стала пакетная обработка заданий, суть которой состояла в следующем. В компьютере работала специальная управляющая программа, в функции которой входила последовательная загрузка в оперативную память и запуск на выполнение программ из заранее подготовленного пакета программ. Пакет программ физически может быть представлен в виде «большой» стопки перфокарт, в которой программы находятся последовательно. В этом случае управляющая программа по завершении выполнения текущей программы осуществляет чтение очередной программы через устройство считывания перфокарт, загрузку ее в оперативную память и передача управления на фиксированную точку входа в программу (адрес памяти с которого должно начинаться выполнение программы). По завершении программы или после возникновения в программе ошибки, которая вызывает аварийную остановку выполнения программы, управление передается в управляющую программу (Рис. 1).

Рис. 1. Пакетная обработка заданий.

Такой процесс продолжался до тех пор, пока все программы из пакета не будут выполнены. Развитие подобных управляющих программ послужило основой появлению первых прообразов операционных систем, которые в разных случаях назывались мониторными системами, супервизорами или диспетчерами.

Следующим этапом развития понятия операционная система стало появление компьютеров второго поколения, имевших аппаратную поддержку режима мультипрограммирования — режима, при котором одновременно находилась в обработке не одна, а несколько программ. При этом в каждый момент времени команды одной из обрабатываемых программ выполнялись процессором, другие выполняли обмен данными с внешними устройствами, третьи были готовы к выполнению процессором и ожидали своей очереди. В СССР представителем машин второго поколения, обеспечивавших поддержку мультипрограммной обработки, была вычислительная машина БЭСМ-6, созданная под руководством академика С.А.Лебедева. Для данного компьютера была разработана серия операционных систем, которые по своей структуре и основным функциям были достаточно близки к современным ОС (НД-69, НД-70, ОС ДУБНА, ДИСПАК, ОС ИПМ и др.). Прародительницей подавляющего большинства этих операционных систем была система под названием Д-68 (Диспетчер–68), разработанная под руководством Л.Н.Королева.

Развитие мультипрограммных систем, расширение спектра решаемых задач и существенное увеличение количества пользователей компьютеров потребовало развития «дружественности» интерфейсов между пользователем и системой. С точки зрения инструментальных средств программирования это развитие языков программирования и систем программирования, которое представимо в следующей эволюционной последовательности: система команд компьютера è автокоды и ассемблеры è языки программирования высокого уровня è проблемно-ориентированные языки программирования (Рис. 2).

Операционные системы также получили свое развитие в этот период времени: появились языки управления заданиями, которые позволяли пользователю до начала выполнения его программы сформировать набор требований по организации выполнения программы. Появились первые прообразы современных файловых систем — систем, позволяющих систематизировать и упростить способы хранения и доступа пользователей к данным, размещенным на внешних запоминающих устройствах, что позволило пользователю работать с данными во внешней памяти не в терминах физических устройств и координат местоположения данных на этих физических устройствах, а в терминах имен или адресов некоторых наборов данных. В связи с этим у пользователя появилась возможность абстрагироваться от знания особенностей и способов организации хранения и доступа к данным конкретных физических устройств, что во многом послужило основой для появления виртуальных устройств.

Рис. 2. Развитие языков и систем программирования.

Компьютеры [R2] третьего поколения: конец 60-х — начало 70-х годов ХХ века. Основным отличием компьютеров этого поколения было использование в качестве элементной базы интегральных схем, что определило увеличение производительности компьютеров, существенное снижение их размеров, веса, появление новых, высокопроизводительных внешних устройств. И, наверное, главной особенностью архитектуры компьютеров третьего поколения было начало аппаратной унификации их узлов и устройств, позволившей стимулировать создание семейств компьютеров, аппаратная комплектация которых могла достаточно просто варьироваться владельцем компьютера. Наиболее яркими представителями таких семейств были компьютеры серий IBM-360 фирмы IBM и семейство малых компьютеров PDP-11 фирмы DEC. Компьютеры первых двух поколений строились, как единые, аппаратно-целостные устройства, комплектация и возможности которых были существенно предопределены на этапе их производства. Их аппаратная модификация, обычно, была крайне затруднительна. Третье поколение компьютеров строилось на модульном принципе, что позволяло, при необходимости, осуществлять замену и расширение состава внешних устройств, увеличивать размеры оперативной памяти, заменять процессор на более производительный. Все это повлияло и на развитие и структуру операционных систем, которые вслед за аппаратурой приобрели модульную организацию с унификацией межмодульных интерфейсов. В операционных системах появились специальные программы управления устройствами — драйверы устройств, которые имели стандартные интерфейсы, позволявшие при аппаратной модификации компьютера достаточно просто обеспечивать программный доступ к новым или модифицированным устройствам. Кроме того, для обеспечения простоты и «дружественности» общения пользователя с различными устройствами компьютера появились виртуальные устройства, драйверы которых предоставляли пользователю набор единых правил работы с группой внешних устройств, что позволило создавать программы, не зависящие от типов используемых внешних устройств. Операционные системы компьютеров третьего поколения предоставляли новые режимы использования компьютеров, одним из таких режимов был диалоговый режим доступа к компьютеру. Вершиной идей, заложенных в операционные системы компьютеров третьего поколения, стала операционная система Unix, которая открыла направление развития комплексной стандартизации пользовательских интерфейсов, как на уровне интерфейсов командных языков, так и на различных уровнях программных интерфейсов от правил взаимодействия с драйверами устройств до интерфейсов с прикладными системами.

Завершение формирования сегодняшнего понятия операционной системы может быть связано с появлением четвертого и последующих поколений компьютеров, в построении которых использовалась элементная база, основанная на больших интегральных схемах. Компьютеры четвертого поколения, в первую очередь, ассоциируются с персональными компьютерами, совершившими в полном смысле слова революцию в массовом распространении информационных технологий. Компьютер из инструмента прикладного программиста стал повседневным, массово распространенным и доступным оборудованием. В связи с этим возник целый ряд проблем, решение которых потребовалось в операционных системах. В первую очередь это совершенствование «дружественности» пользовательских интерфейсов, упрощающих взаимодействие пользователя и операционной системы. Здесь лидирующую позицию занимают операционные системы компании Microsoft, которые в полном смысле слова совершили революцию в обеспечении массовости освоения компьютера. Активное развитие получили сетевые технологии, что привело к появлению сетевых и распределенных операционных систем. В этот период времени наибольшее развитие получила всемирная сеть Internet. В свою очередь возникли задачи обеспечения операционными системами безопасности хранения и передачи данных.

Рис. 3. Этапы эволюции.

На данном этапе в результате эволюции понятий образовалось достаточно полное и однозначное определение того, что называется операционной системой, определена типовая структура операционной системы и функции ее основных компонентов. Сформировались принципиально новые разновидности операционных систем и режимов использования компьютеров.

Следует отметить тот факт, что развитие компьютеров, системного программного обеспечения, методов применения вычислительной техники показали, что единственным периодом истории, когда аппаратная часть разрабатывалась исключительно в качестве вычислителя без учета потребностей поддержки решения задач организации вычислительного процесса был период создания и производства компьютеров первого поколения. На сегодняшний день аппаратура и программное обеспечение современных компьютеров представляют единую взаимозависимую вычислительную систему, в которой многие функции операционной системы нельзя рассматривать вне контекста аппаратной поддержки компьютера, а многие аппаратные возможности сложно рассматривать вне контекста операционных систем (Рис. 3).