Distributed Offline Load Balancing in MapReduce Networks

Themistoklis Charalambous*, Evangelia Kalyvianaki, Christoforos N. Hadjieostis, Mikael Johansson

*Tämän työn vastaava kirjoittaja

Tutkimustuotos: Artikkeli kirjassa/konferenssijulkaisussaConference contributionScientificvertaisarvioitu

Abstrakti

In this paper we address the problem of balancing the processing load of MapReduce tasks running on heterogeneous clusters, i. e., clusters composed of nodes with different capacities and update cycles. We present a fully decentralized algorithm, based on ratio consensus, where each mapper decides the amount of workload data to handle for a single user job using only job specific local information, i. e., information that can be collected from directly connected neighboring mappers, regarding their current workload usage and capacity. In contrast to other algorithms in the literature, the proposed algorithm can be deployed in heterogeneous clusters and can operate asynchronously in both directed and undirected communication topologies. The performance of the proposed algorithm is demonstrated via simulation experiments on large-scale strongly connected topologies.

AlkuperäiskieliEnglanti
Otsikko2013 IEEE 52ND ANNUAL CONFERENCE ON DECISION AND CONTROL (CDC)
KustantajaIEEE
Sivut835-840
Sivumäärä6
ISBN (elektroninen)978-1-4673-5717-3
ISBN (painettu)978-1-4673-5714-2
DOI - pysyväislinkit
TilaJulkaistu - 2013
OKM-julkaisutyyppiA4 Artikkeli konferenssijulkaisuussa
TapahtumaIEEE Conference on Decision and Control - Florence, Italia
Kesto: 10 joulukuuta 201313 joulukuuta 2013
Konferenssinumero: 52

Julkaisusarja

NimiIEEE Conference on Decision and Control
KustantajaIEEE
ISSN (painettu)0743-1546

Conference

ConferenceIEEE Conference on Decision and Control
LyhennettäCDC
MaaItalia
KaupunkiFlorence
Ajanjakso10/12/201313/12/2013

Siteeraa tätä