Hvor finner jeg gnistlogger?

2024 Forfatter: Lynn Donovan | [email protected]. Sist endret: 2023-12-15 23:51

Logg kataloger

Standard SPARK_WORKER_LOG_DIR-plassering er /var/ Logg / gnist /arbeider. Standaren Logg katalog for å starte Gnist SQL Thrift-server er $HOME/ gnist -sparsomme server. Gnist Skall og applikasjon tømmerstokker sendes ut til konsollen. Logg konfigurasjonsfilene ligger i samme katalog som gnist -env.sh.

I forhold til dette, hvordan får jeg gnistlogger?

Gnist jobb eller søknad fra Analyser-siden, kan du få tilgang til tømmerstokker via applikasjonsgrensesnittet og Gnist Applikasjonsgrensesnitt. siden, kan du få tilgang til tømmerstokker via Gnist Applikasjonsgrensesnitt. Du kan også ekstra tømmerstokker for å identifisere feil og unntak i Gnist jobb- eller søknadsfeil.

På samme måte, hvordan sjekker du garnlogger? Viser en Logg fil The tømmerstokker til en applikasjonsmaster kan også vises i en nettleser i ressursbehandlingsgrensesnittet på garn .resourcemanager.webapp.address}/cluster (https://localhost:8088 på en enkelt node "cluster").

På samme måte kan man spørre, hvordan får jeg eksekveringslogger på Spark?

Svar

1. Instruksjoner for å hente Spark-eksekutorloggene:
2. For Amabari -- 1) Gå til Spark-tjenesten og fanen Konfigurasjoner: 2) Finn "Advanced spark-log4j-properties"-oppføringen.
3. For Cloudera -- Sett: spark.executor.extraJavaOptions=-Dlog4j.configuration=fil:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Hvordan finner jeg nettadressen til gnisthistorikkserveren min?

F.eks. for historikk server , vil de vanligvis være tilgjengelige på server - url >:18080/api/v1, og for et program som kjører, på https://localhost:4040/api/v1. I API-en refereres en applikasjon til dens applikasjons-ID, [app-id].