Основные функции системы Google Map Reduce. Спекулятивное выполнение. Отказоустойчивость

Инфраструктура Google

: Кластеры из бюджетных серверов

, Сотни тысяч машин

, Отказы являются нормой

. Распределенная файловая система GFS

: Поблочное хранение файлов большого размера

, Последовательные чтение и запись в потоковом режиме

, write-once-read-many

, Репликация, отказоустойчивость

.Узлы кластера одновременно отвечают за хранение

и обработку данных

: Перемещение вычислений дешевле, чем перемещение

данных

. Планировщик

- Распределяет ресурсы кластера между приложениями

.

Программа Master: Управляет выполнением одного MapReduce-задания

, Распределяет задачи между рабочими узлами кластера

, Хранит состояния всех задач

, Осуществляет координацию между map- и reduce-задачами

(Получает информацию о файлах с промежуточными данными от map-процессов

и Передает эту информацию reducе-процессам

), Предоставляет информацию о статусе вычислений через

встроенный HTTP-сервер

.