Innholdsfortegnelse:

Hvordan starter jeg gnisthistorikkserveren min?
Hvordan starter jeg gnisthistorikkserveren min?

Video: Hvordan starter jeg gnisthistorikkserveren min?

Video: Hvordan starter jeg gnisthistorikkserveren min?
Video: Introduction to Spark History Server and how to keep it running 2024, Kan
Anonim

Slik aktiverer du Spark-historikkserveren:

  1. Opprett en katalog for hendelseslogger i DSEFS-filsystemet: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Når hendelseslogging er aktivert, er standardoppførselen at alle logger skal lagres, noe som får lagringen til å vokse over tid.

Ved siden av dette, hvordan setter jeg opp en spark History-server?

Slik aktiverer du Spark-historikkserveren:

  1. Opprett en katalog for hendelseslogger i DSEFS-filsystemet: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Når hendelseslogging er aktivert, er standardoppførselen at alle logger skal lagres, noe som fører til at lagringen vokser over tid.

På samme måte, hvordan finner jeg nettadressen til gnisthistorikkserveren min? F.eks. for historikk server , vil de vanligvis være tilgjengelige på server - url >:18080/api/v1, og for et program som kjører, på https://localhost:4040/api/v1. I API-en refereres en applikasjon til dens applikasjons-ID, [app-id].

På samme måte, hva er spark History-server?

De Spark History server er et overvåkingsverktøy som viser informasjon om fullført Gnist applikasjoner. Denne informasjonen er hentet fra dataene som applikasjoner som standard skriver til en katalog på Hadoop Distributed File System (HDFS).

Hva er Sparkui?

Spark Web UI lar deg se en liste over planleggingsstadier og -oppgaver, miljøinformasjon, informasjon om kjørende utførere og mer. Se denne 30-minutters demoen for å lære om: Komponenter og livssyklus til et Spark-program. Hvordan Spark-applikasjonen din kjører på en Hadoop-klynge.

Anbefalt: