Innholdsfortegnelse:

Hva er de viktigste konfigurasjonsparametrene som brukeren må spesifisere for å kjøre MapReduce-jobben?
Hva er de viktigste konfigurasjonsparametrene som brukeren må spesifisere for å kjøre MapReduce-jobben?

Video: Hva er de viktigste konfigurasjonsparametrene som brukeren må spesifisere for å kjøre MapReduce-jobben?

Video: Hva er de viktigste konfigurasjonsparametrene som brukeren må spesifisere for å kjøre MapReduce-jobben?
Video: Map Reduce Execution Framework - Running Jobs and Changing Parameters at runtime 2024, April
Anonim

De viktigste konfigurasjonsparametrene som brukere må spesifisere i "MapReduce"-rammeverket er:

  • Arbeidsplasser inndataplasseringer i det distribuerte filsystemet.
  • Arbeidsplasser utdataplassering i det distribuerte filsystemet.
  • Inndataformat for data.
  • Utdataformat for data.
  • Klasse som inneholder kartfunksjonen.
  • Klasse som inneholder reduseringsfunksjonen.

Her, hva er de viktigste konfigurasjonsparametrene i et MapReduce-program?

De viktigste konfigurasjonsparametrene i "MapReduce"-rammeverket er:

  • Legg inn plassering av jobber i det distribuerte filsystemet.
  • Utdataplassering av jobber i det distribuerte filsystemet.
  • Inndataformatet til data.
  • Utdataformatet til data.
  • Klassen som inneholder kartfunksjonen.
  • Klassen som inneholder reduseringsfunksjonen.

Man kan også spørre, hva er parametrene til kartleggere og redusere? De fire parameterne for kartleggere er:

  • Langskrivbar (inndata)
  • tekst (inndata)
  • tekst (mellomutgang)
  • IntWritable (mellomutgang)

Spørsmålet er også, hva er hovedkomponentene i MapReduce-jobben?

  • Hoveddriverklasse som gir jobbkonfigurasjonsparametere.
  • Mapper-klasse som må utvide org. apache. hadoop. kart reduksjon. Mapper klasse og gi implementering for kart () metode.
  • Reduksjonsklasse som skal utvide org. apache. hadoop. kart reduksjon. Reduksjonsklasse.

Hva er partisjonering og hvordan hjelper det i MapReduce-jobbprosessen?

Skillevegg i MapReduce jobb utførelse kontrollerer partisjoneringen av nøklene til de mellomliggende kartutgangene. Med hjelp av hash-funksjon, nøkkel (eller en delmengde av nøkkelen) utleder skillevegg . Poster som har samme nøkkelverdi går inn i det samme skillevegg (innenfor hver kartlegger).

Anbefalt: