Подходы к эффективному исполнению итеративных алгоритмов на модели MapReduce

Итеративные алгоритмы представляют собой важный класс задач и встречаются во многих областях, таких, как data-mining, машинное обучение, ссылочный анализ и др. Наиболее известным и часто применимым инструментом обработки «больших данных» является модель MapReduce, и в частности ее открытая реализация Hadoop. В данной статье приводится обзор существующих подходов к реализации модели MapReduce, поддерживающей эффективное выполнение итеративных алгоритмов. Показано, что основным моментом, отрицательно влияющим на производительность итеративных алгоритмов на модели MapReduce, является дисковый и сетевой ввод-вывод, которого в большинстве случаев можно избежать посредством различных модификаций модели и программной среды, ее реализующей.

Авторы: А. В. Митяков, Ю. С. Татаринов

Направление: Информатика, управление и компьютерные технологии

Ключевые слова: Big-data, обработка данных, MapReduce, итеративные алгоритмы

---

Открыть полный текст статьи