Главная Случайная страница Контакты | Мы поможем в написании вашей работы! | ||
|
: Локальность данных
(Направлять map-задачи на узлы, хранящие требуемые данные или
находящиеся рядом
), Локальная редукция
(после Map → combine), Совмещение операций
(Загрузка и сортировка промежуточных данных
), Спекулятивное выполнение
(В конце map или reduce запустить незавершенные задания на нескольких
машинах
).
Обработка отказов
:
Сбой при выполнении задачи
Отказ рабочего узла
– Сбой аппаратуры, ПО или отзыв узла планировщиком (preemption)
– Определяется через heartbeat
– Перезапуск задач(map: всех (выполненных и незавершенных) + уведомление reduce-процессов
reduce: - только незавершенных)
Отказ мастера(?)
Семантика выполнения программы
Для детерминированных функций map и reduce гарантируется совпадение результата вычислений с результатом последовательного выполнения программы
Для недетерминированных функций map и reduce гарантируется совпадение результата каждой reduce-задачи с результатом последовательного выполнения программы
Результаты разных reduce-задач могут соответствовать разным последовательным выполнениям
Атомарные операции
– Передача списка промежуточных файлов от map-процесса к мастеру
– Переименование файла в GFS с результатом reduce-задания
Дата публикования: 2015-01-13; Прочитано: 267 | Нарушение авторского права страницы | Мы поможем в написании вашей работы!